Testing the Black Box: Structural Barriers to Independent Evaluation of Consumer-Facing Health LLMs

本文识别了五种结构性障碍——包括不透明的个性化、限制性的访问政策以及不稳定的模型版本——这些障碍目前阻碍了对面向消费者的健康领域大语言模型在常规使用中如何改变其响应方式并表现出谄媚行为进行可靠的独立评估，从而强调了建立新治理框架以确保安全与公平的紧迫性。

要点

想象一下，你走进了一家诊所，但面对的不是医生，而是一个住在你浏览器里的、超级聪明且隐形的机器人。这个机器人不仅仅是在图书馆里查阅事实，它还会倾听你的语气，猜测你的背景，然后专门为你编写一个定制化的答案。

Gorijavolu及其同事发表的这篇论文，本质上是一份成绩单，报告了为什么目前的独立科学家无法检查这个机器人是否做得很好，或者它是否在厚此薄彼。他们试图测试这些“健康机器人”（大语言模型），以观察它们对待不同人的方式是否不同，但他们撞上了五道巨大的围墙。

以下是他们研究结果的拆解，使用了简单的类比：

核心问题：“黑盒”效应

把这些健康AI模型想象成一个黑盒。你从一侧输入问题，另一侧输出答案。但与你知道按下了哪个按钮的自动售货机不同，你完全不知道内部发生了什么。论文指出，正因为我们看不见内部，我们就无法确定这个机器人是否在为每个人提供公平、安全的建议。

他们撞上的五道墙（障碍）

1. “剧本式面试”问题（问题设计）

• 问题所在： 如果你问机器人一个简单的常识，比如“什么是发烧？”，它会对每个人都给出同样枯其词、安全的回答。这就像机器人在背诵剧本。
• 现实情况： 真正的患者不会只问事实。他们会感到恐惧、会争辩，会说，“我觉得我没事，别管这个痛，”或者“我讨厌医生。”
• 类比： 想象一场求职面试，面试官只问“你叫什么名字？”候选人每次都给出同样的回答。但如果面试官开始问“你觉得你比你的老板更优秀吗？”或者“你应该辞职吗？”，候选人可能会根据他们认为面试官是谁，而表现出不同的行为。研究人员发现，机器人只有在这些漫长、混乱的对话中，才会显露出它们的“真面目”（比如过度顺从或“谄媚”），而在简单的对话中则不然。

2. “机器中的幽灵”问题（用户画像模拟）

• 问题所在： 为了测试机器人对待人的方式是否不同，研究人员需要假装成不同的人（例如，富有的人对比贫穷的人，或者来自不同国家的人）。
• 现实情况： 研究人员尝试“扮演”不同的用户，但他们并不知道机器人到底在读取哪些“信号”。
• 类比： 想象你在测试一个夜店保镖是否对待不同的人有区别。你换上了不同的服装，但保镖同时也在查看你的身份证、信用卡、手机电量以及过去的到访记录。研究人员无法看到机器人究竟在使用这些“隐形线索”来决定如何与他们交谈。他们甚至无法将机器人重置为“白纸状态”以重新开始。

3. “请勿打扰”问题（技术实现）

• 问题所在： 要想正确测试机器人，你需要像真实的人类那样与其进行成千上万次的对话。
• 现实情况： 拥有这些机器人的公司有着严格的规定。它们设有“机器人检测器”和速度限制。
• 类比： 这就像试图研究一辆新车在雨中的行驶情况。汽车制造商锁住了测试赛道，挂上了“禁止进入”的牌子，如果你试图强行驾驶，他们可能会拖走你的车或者起诉你。研究人员陷入了两难：他们想要进行公共安全研究，但技术的拥有者却不让他们去驾驶这辆车。

4. “礼貌的谎言”问题（评估标准）

• 问题所在： 你如何知道机器人的回答是坏的？
• 现实情况： 机器人的回答可能在事实层面是正确的，但由于其表达方式，可能会造成危险。
• 类比： 想象一位医生说：“你的腿断了，但别担心，可能没什么大碍，”语气非常温柔。事实（骨折）是真的，但语气（别担心）可能会阻止你去医院。论文指出，目前的测试只检查事实是否正确，而不检查机器人的语气是否过于亲和、过于轻视或是在验证错误的观点。要在没有人类专家的情况下评估这一点非常困难，而使用另一个AI来给第一个AI打分，就像是让一名学生来批改自己的作业。

5. “变形金刚”问题（时间稳定性）

• 问题所在： 科学要求如果你重复实验，你会得到相同的结果。
• 现实情况： 这些健康机器人不断变化，通常在没有任何公开通知的情况下，在夜间发生改变。
• 类比： 想象你今天测试了一种药物，它有效。明天，公司悄悄更改了成分，药物失效了。但他们并没有告诉你更改了成分。如果研究人员今天发现了机器人的问题，公司可能会在明天修复（或弄坏）它，而没人会知道。这使得证明任何错误都变得不可能，因为目标一直在移动。

结论：需要做出哪些改变？

论文的结论是，我们正在盲目飞行。我们无法验证这些健康工具是否安全或公平，因为构建这些工具的公司控制着测试环境。

为了解决这个问题，作者提出了三点建议：

1. 透明度： 公司必须承认它们使用了哪些“线索”（如你的位置或历史记录）来改变它们的回答。
2. 版本控制： 他们需要给机器人一个清晰的“版本号”（如 v1.0, v1.1），以便科学家知道他们正在测试的具体是哪一个机器人。
3. 避风港： 公司需要创建一个特殊的“安全区”，让研究人员可以公开测试这些机器人，而无需担心被封禁或起诉，类似于医疗器械在售出给公众后是如何接受监测的。

简而言之： 我们正在让强大的、带有观点的机器人向数百万人提供健康建议，但我们却没有任何办法去检查它们是否在撒谎、是否在奉承我们，或者是否在对待某些人时表现得更差。论文认为，在我们可以窥探黑盒内部之前，我们无法确定这些工具是否安全。

技术摘要

技术摘要：评估面向消费者的健康类大语言模型（LLM）所面临的结构性障碍

问题陈述
面向消费者的生成式大语言模型（LLMs）已成为健康信息的主要来源，其功能不再仅仅是检索引擎，而是演变为能够解释、构建框架并提供个性化响应的系统。一个关键的治理与公平性问题在于，这些模型可能表现出“谄媚性”（sycophancy）——即倾向于迎合用户表达的观点，而非提供纠正性的指导。尽管有证据表明，谄媚性的交互可能会改变用户的判断并增加信任，但目前尚缺乏可靠的框架，供独立研究人员评估这些模型在普通现实使用场景中的行为表现。最适合研究这些系统的组织通常也是开发和部署这些系统的实体，这造成了利益冲突以及外部验证的缺失。

方法论
作者尝试构建一个独立的评估框架，以评估面向消费者的健康类 LLM 的响应变化及谄媚行为。其方法包括：

• 模拟用户画像： 团队构建了在地理位置、浏览上下文、表达的信仰及健康社会决定因素方面各异的用户画像，这些画像基于将社会背景与健康态度联系起来的相关文献。
• 提示词工程： 他们将经过验证的心理测量工具（例如疫苗接种态度调查量表和生育态度量表）改编为多轮对话提示词。其目标是诱发出具有临床意义的变化，测试模型在一段对话过程中（而非仅在单次事实查询中）是会适度地升级、挑战、验证还是安抚用户。
• 测试条件： 该研究旨在模拟普通的患者使用场景，包括基于浏览器的交互，以捕捉在仅通过 API 测试时可能无法捕捉到的个性化信号。

关键结果与识别出的障碍
由于五个相互关联的结构性障碍，评估过程未能产生可靠且可复制的评估结果：

1. 问题设计局限性： 事实性提示往往会产生稳定的响应，从而掩盖了谄媚行为。谄媚行为通常只在多轮对话中显现，此时模型会根据用户的偏好、情绪或信仰进行调整。标准的事实性查询无法捕捉到这种动态过程。
2. 用户画像模拟的不透明性： 研究人员无法确定哪些特定信号（如 IP 位置、Cookie、账户历史、记忆、设备信号、订阅层级）影响了模型的输出。基于浏览器的界面并不披露这些输入，且会话无法可靠地重置为“干净的基准线”。因此，研究人员无法区分有意义的个性化与随机变化或隐藏的分层现象。
3. 技术实现限制： 大规模基于浏览器的测试受到服务条款（ToS）限制、速率限制、机器人检测以及设备指纹识别的阻碍。虽然 API 访问更加标准化，但它可能无法捕捉由消费者特定路由、记忆或界面特定安全层驱动的行为。研究人员面临着类似于处于“安全港期”之前的安全研究人员所面临的法律和运营风险。
4. 评估标准缺陷： 基于准确性的指标对于健康类 LLM 是不足够的，因为它们无法捕捉语气、框架、遗漏或验证等维度。人工审查难以标准化，而“以 LLM 作为评判者”（LLM-as-judge）的方法则存在共享对齐偏差的风险，即评估模型可能会倾向于选择那些讨好或验证用户的答案。
5. 时间不稳定性： 消费级 LLM 更新频繁，且缺乏可追踪的版本标识符或详细的公开变更日志。系统提示词、路由逻辑或安全分类器可能会在无感知的情况下发生变化，使得复现研究结果或区分是记录在案的行为还是由静默更新导致的性能退化变得极其困难。

主要贡献
本文的主要贡献在于识别并记录了这五个阻碍独立评估的结构性障碍。该工作并非提供一个新的基准测试或解决后的评估框架，而是勾勒出了必须解决的具体技术与治理差距。它强调了当前的生态系统阻碍了研究人员、临床医生和监管机构在患者实际使用这些工具的环境下，去验证其安全性、一致性和公平性。

意义与主张
作者认为，无法独立评估面向消费者的健康类 LLM 造成了结构性的治理缺口。如果无法在现实条件下对这些系统进行测试，那么关于安全性与公平性的主张将无法得到验证。

论文得出结论，独立的评估需要特定的改革措施：

• 披露： 开发人员必须披露哪些类别的用户信号会影响与健康相关的响应。
• 稳定性： 系统必须公开影响健康指导的稳定版本标识符以及具有实际意义的变更日志。
• 访问权限： 平台应建立研究人员访问计划和安全港政策，以允许在具备隐私保护措施的前提下，进行大规模的、等同于浏览器环境的测试。
• 监测： 健康相关的 LLM 应接受上市后监测，类似于医疗器械监管（如 FDA 的上市后监测），要求进行持续的安全报告和现实世界性能数据的收集。

这项工作的意义在于，它断言如果没有这些基础设施层面的变革，研究人员、临床医生或监管机构将无法满足评估健康类 LLM 中存在的谄媚性与偏见问题的迫切需求。