💻 computer science

Verification Without Distrust: Reframing User-Side Oversight as Routine Epistemic Governance in Everyday Human-Chatbot Interaction

本研究挑战了用户对人工智能输出进行验证是由不信任驱动的这一假设，通过对153名用户的混合方法分析揭示了监督作为一种有别于信任的常规认识治理形式，并提出了旨在增强用户满意度与自主性的支架式监督设计方向。

原作者： Aung Pyae

发布于 2026-07-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Aung Pyae

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

信任陷阱：为什么即使我们喜欢 AI 朋友，也会去检查它们

想象一下，你正在学习骑自行车，旁边有一个非常有用、超级聪明且永远不会倒下的辅助轮。在研究人类如何与计算机交流的科学领域（称为人机交互），存在着一个关于这种关系如何运作的长久信念。它是这样说的：如果你完全信任你的辅助轮，你就不会需要去看它或检查它是否在摇晃。你只需骑行即可。这个想法被称为“信任校准”。它暗示，你对机器越信任，你就越不需要担心它，也越不需要去复核它的工作。

但转折点在于：如果这个规则是错的呢？如果即使你热爱你的智能助手，你仍然感到需要窥探一下它的内部构造呢？这篇论文深入探讨了正是这个问题。它研究了人们实际上是如何使用聊天机器人——即那些帮我们写邮件、解数学题以及辅助学习的 AI 工具。研究人员想要知道：当人们信任 AI 时，他们会停止检查 AI 的答案吗？还是无论如何都会继续检查？答案将改变我们未来构建这些工具的方式。

伟大的复核之谜

长期以来，专家们认为信任和检查是天平的两端。如果你向下按压“信任”，那么“检查”的一端就会上升，这意味着你停止了验证。逻辑很简单：如果你相信 AI 是一个优秀的队友，你就不应该表现得像个侦探。但本文的作者 Aung Pyae 及其团队决定用 153 名频繁使用聊天机器人的用户来测试这一理论。他们向这些用户提出了简单的问题：“你在多大程度上信任这个聊天机器人？”以及“在利用其答案之前，你多频繁地进行复核？”

结果令人完全意外。数据表明不存在可检测到的联系，即信任与检查之间没有关联。就好像天平被胶水粘住了一样，处于水平状态。无论用户说他们对聊天机器人的信任程度高还是低，他们复核答案的频率都是完全一样的。研究人员发现相关系数为 0.01，这基本上等于零。这意味着，即使是那些说“我通常信任聊天机器人的答案”的人，在核实事实、数字和工作相关内容方面的概率，与怀疑者完全相同。

论文明确排除了在日常聊天机器人使用中“更好的信任意味着更少的检查”这一观点。它表明，对于频繁使用者来说，检查并不是不信任的表现；它只是一种习惯。想象一下一位厨师信任自己最喜欢的刀具，但仍然会在上菜前尝一下汤的味道。厨师并不是在怀疑那把刀，他们只是在履行职责。作者称之为“常规认识治理”（routine epistemic governance），这是一个高级说法，意思就是：“验证你所知的事物只是日常程序的一部分。”

与 AI 互动的两种方式

这项研究并不仅限于检查。它观察了人们与聊天机器人输出结果互动的四种不同方式：

验证 (Verification)： 阅读答案并说：“嗯，看起来没错，”而不做任何改动。
精炼 (Refinement)： 要求聊天机器人“把这个变短一点”或“换一种方式解释”。
纠错 (Correction)： 告诉聊天机器人：“你把数学算错了，把它改过来。”
批准 (Approval)： 确保在聊天机器人执行自动操作之前获得“准许”。

研究人员发现，这些行为可以分为两个截然不同的阵营。验证（仅仅是检查）就像是一个沉默的观察者。它似乎不会让人们对聊天机器人感到更快乐或更满意，而且与他们对机器人的信任程度无关。

然而，其他三种——精炼、纠错和批准——属于“干预派”。这些是用户改变聊天机器人工作的积极举措。研究发现，这些行动与满意度强相关。当用户觉得他们可以调整、修正或批准聊天机器人的工作时，他们会更享受这种体验。事实上，数据表明，进行这些积极行动的人更快乐，即使他们并不一定更信任机器人。这就像是看电影（检查）与导演电影（干预）之间的区别。导演们（干预者）体验要好得多。

“快乐但无助”的差距

这是故事中最有趣的部分。研究中的用户对他们的聊天机器人非常满意。他们的满意度得分很高，平均为 4.22（总分 5 分）。但当被问及他们觉得自己对聊天机器人的控制感有多少时，得分降到了 3.33。

研究人员称之为“满意度-控制感差距”。这是一个巨大的差距，统计学规模为 0.72。想象一下，你正在享用由机器人厨师准备的美食。你热爱它的味道（高满意度），但你觉得你无法参与配方的制定，无法告诉厨师下次少放点盐，也不知道食物是如何做出来的（低控制感）。研究发现，即使聊天机器人做得很好，用户也觉得自己不是在掌舵，而是在随波逐流。他们觉得自己是乘客，而不是驾驶员。

用户真正想要什么

当研究人员询问用户什么能让他们在使用这些聊天机器人时感觉更好时，答案很明确。用户并不希望聊天机器人变得仅仅是“更聪明”从而让他们不必检查。他们想要的是有助于他们更好地进行检查的工具。

具体来说，他们要求：

来源归属 (Source Attributions)： “告诉我你在哪里得到了那个事实。”
过程透明度 (Process Transparency)： “展示你的思考步骤，而不仅仅是答案。”
纠错持久性 (Correction Persistence)： “如果我告诉你修复一个错误，请记住这一点，以便下次使用。”
可治理的记忆 (Governable Memory)： “让我查看并更改你学到的关于我偏好的内容。”

论文建议，与其试图构建完美的聊天机器人让我们停止检查，不如构建能让检查变得容易且有用的聊天机器人。目标不是消除用户的监督，而是支持监督。

总结

这篇论文颠覆了我们看待 AI 的方式。它表明，对于每天使用聊天机器人的人来说，检查工作并不是不信任 AI 的表现。这是一种正常的流程，就像校对文章一样。让人们感到快乐的关键不仅仅是建立信任，而是赋予他们修复、精炼和批准 AI 工作的权力。

作者总结道，我们不应该再问“我们如何建立信任以让用户停止检查？”，而应该开始问“我们如何支持用户已经在进行的检查？”通过将用户验证和纠错的需求视为一项功能而非缺陷，我们可以构建出不仅聪明、而且真正有用的合作伙伴。

技术摘要：无须信任的验证

问题陈述

人类与人工智能交互的研究传统上基于“依赖-校准”（reliance-calibration）范式，认为信任与验证存在于同一个反向连续体上：随着用户对系统信任度的增加，用户验证其输出的需求应当减少。这种继承自自动化信任文献的假设，规定设计工作的重点应放在建立“适当的信任”上，从而使监督变得不再必要。然而，本研究识别出了一个关键的经验性空白：在日常、开放且迭代的人机对话场景中，这种反向关系尚未得到直接测试。此外，用户侧“人机回环”（human-in-the-loop, HITL）实践的普遍性、结构以及结果——即用户为了管理聊天机器人输出而进行的自发性、自导向型工作——仍未被明确界定。本研究挑战了消除用户检查这一隐含的设计目标，转而探讨验证是否作为一种脱离信任水平的常规实践而持续存在。

研究方法

本研究采用了交叉截面混合方法设计，对 153 名频繁使用聊天机器人的用户 进行了调查。样本主要由年轻人组成（56.2% 为 18–24 岁），学生身份占比高（69.9%），且具有 STEM 背景（75.9% 为计算/IT 或工程领域），使用频率高（67.3% 每日使用）。

工具设计：
调查采用 5 点李克特量表，涵盖七个部分，包括人口统计学、心理模型、信任、监督行为、感知控制、满意度和设计偏好。

信任： 被操作化为一种概括性的倾向性取向（“我通常信任聊天机器人的回答”）。
监督行为： 测量了四种不同的用户侧实践：
1. 验证（Verification）： 在采取行动前双重检查信息。
2. 精炼（Refinement）： 要求聊天机器人重新表述、缩短或改进答案。
3. 纠错（Correction）： 告知聊天机器人其错误之处。
4. 监督/批准（Oversight/Approval）： 在自动执行前确认操作。
结果： 通过任务促进、愉悦度（满意度综合指标）和感知控制（感知的代理感）进行衡量。

分析：
定量分析包括描述性统计、皮尔逊（Pearson）和斯皮尔曼（Spearman）相关性分析（配合 Fisher 转换后的 95% 置信区间）以及调节回归。来自开放式问题的定性数据通过主题分析（单编码员）进行处理。研究还进行了敏感性分析，以排除不合格参与者（未满 18 岁或非使用者）及低参与度受访者（李克特评分完全一致），从而确认了主要发现的稳健性。

核心结果

1. 未检测到信任与验证之间的关联 (RQ1)

与经典预测相反，研究发现信任与验证之间没有检测到显著关联（ $r = .01$ , 95% CI $[-.15, +.17]$ , $p = .90$ ）。置信区间排除了中等程度的反向线性关系。这一零结果在敏感性分析和专业程度子组中依然成立。验证并非一种随信任增长而递减的信任依赖型行为；相反，它似乎是一种无论信任水平如何都会维持的常规实践。

2. 评估性监督与干预性监督的区别 (RQ2)

研究识别了用户侧 HITL 实践在结构上的异质性：

评估性监督（验证）： 与信任没有检测到关联，且仅与满意度呈弱相关（ $r = .21$ ）。
干预性监督（精炼、纠错、批准）： 这些实践与信任呈弱正相关，并且与满意度强相关（精炼 $r = .48$ ，监督 $r = .39$ ，纠错 $r = .38$ ）。
用户广泛认可这些干预性实践（Top-2 认可度为 67–75%），这表明在人机交互中，满意度是由用户主动塑造输出的能力而非被动接受输出所驱动的。

3. 满意度–控制感差距 (RQ2)

任务满意度与感知控制之间存在显著的分离现象。用户报告了较高的满意度（ $M = 4.22$ ），但感知控制水平明显较低（ $M = 3.33$ ），导致了中到大的差距（ $d = 0.72$ ）。有效的任务结果并不意味着拥有代理感。回归分析表明，信任和监督行为仅能解释感知控制中极小部分的方差，这表明当前的界面未能使用户的干预变得足够“具有后果性”（consequential），从而无法产生掌控感。

4. 定性洞察

定性研究结果显示，用户主要将聊天机器人视为工具性工具而非协作伙伴。信任是条件性的且具有特定失效模式（例如，由数学错误或虚假引用触发），而非全局性的。验证被描述为“常规的认识论卫生”（routine epistemic hygiene）（类比于校对），而非对不信任的反应。用户表达了对认识论基础设施的需求，具体包括来源归因、推理透明度以及能够跨会话持久存在的纠错能力。

核心贡献

本文做出了五个具体的贡献：

经验证据： 证明了在频繁用户中，验证与信任之间没有检测到关联，从而复杂化了“依赖-校准”范式。
理论区分： 提出了评估性监督（脱离信任、与满意度弱相关）与干预性监督（与信任弱相关、与满意度强相关）的划分。
满意度–控制感差距： 量化了一个差距（ $d = 0.72$ ），表明有效的结果并不产生感知的代理感，挑战了“满意度意味着控制力”的假设。
理论综合： 将用户侧 HITL 重新定义为系统侧 HITL 的“快过程”补充，其围绕着常规的认识论治理而非信任校准展开。
设计方向： 基于用户需求推导了四个具体的设计方向：
- 溯源线索： 内嵌的来源归因。
- 过程透明度： 推理轨迹和不确定性指标。
- 纠错持久性： 确保纠错能在轮次/会话间传播。
- 可控的偏好记忆： 可检查、可配置且可逆的个性化。

重要性与主张

本文认为，“更好的校准信任能减少检查”这一假设在对话场景中缺乏经验支持。相反，本文提出验证是一种与信任兼容的常规认识论治理形式。作者将设计问题从“我们如何通过建立信任来让用户停止检查？”重新定义为**“我们如何支持用户已经在进行的检查行为？”**

研究结论认为，用户侧监督应被视为一种一等公民级别的交互模式。设计不应仅仅试图通过透明度或建立信任来消除用户干预的需求，而应专注于搭建支架（scaffolding）来支持现有的验证、精炼和纠错实践。这种方法承认有效的任务结果与代理感是不同的，并且有意义的人类控制需要使用户的干预具有可见性和后果性。研究结果表明，目前的聊天机器人界面虽然令人满意，但往往无法提供产生掌控感所需的“后果性”。