技术摘要：LINGUA-AUDIT

问题陈述

随着大语言模型（LLMs）越来越多地被部署为多语言社会中公共服务和民生保障计划的对话式界面，一个关键挑战也随之浮现：人工智能介导的信息不平等（AI-mediated information inequality）。这一现象被定义为：在不同语言条件下，寻求相同信息需求的公民所获得的实质性、事实性和可操作性信息的系统性偏差。

在高度敏感的公民事务场景中（例如医疗资格、法定文件、福利计划），性能差异不仅仅体现在风格或流畅度上。相反，它们表现为实质性的损害，即与英语查询相比，非英语或语码转换（如 Hinglish）的查询会导致信息不完整、过时或提供错误的事实性指导。现有的多语言评估主要关注表面能力（困惑度、翻译得分或多项选择题），未能评估是否在不同语言之间实现了平等的公民信息需求满足。

方法论

本文提出了 LINGUA-AUDIT，这是一个旨在系统性评估实质性信息不平等的、可复现的框架。它是一个基准设计与测量协议，而非对实时模型的经验性比较。

1. 基准设计与任务构建

• 范围： 该框架锚定了涵盖印度五个核心公民领域的 150 个真实行政任务：医疗保健、教育、公共服务、金融和常识。
• 地面真值（Ground Truth）： 每个任务都基于公开的法定权威机构进行锚定，记录在主任务注册表中（来源包括官方指南、公报通知、部委通告和部门领域）。然而，地面真值代表的是项目作者的内部策划，而非经过独立认证的法律金标准。注册表记录了计划名称和截止日期，但缺乏直接的 URL、逐字法定摘录以及“条款-事实”的对齐映射。任务通过**底层信息需求（Ulying Information Needs, UINs）**进行索引，UIN 是关于沟通意图和事实范围的语言无关的概念规范，从而消除了英语规范偏见。
• 事实结构： 每个任务包含：
  • 关键事实（Critical Facts, CF）： 每个任务包含 3 个强制性的法定标准（例如收入上限、截止日期）。
  • 重要事实（Important Facts, IF）： 每个任务包含 2 个必要的程序背景。
  • 安全约束（Safety Constraints）： 每个任务包含 1 个明确的边界，以防止财务剥削。

2. 实验配置

该框架定义了一个用于数据收集和评分的完整因子矩阵：

• 150 个任务 × 3 种语言条件（正式英语、天文地文/德瓦那加里文印地语、罗马化 Hinglish） × 4 个目标模型槽位（Google, OpenAI, Anthropic, Meta） × 3 次重复。
• 总单元格数： 5,400 个因子单元格。
• 当前状态： 本文报告的是一个确定性软件固定件（deterministic software fixture）（合成基线），该固定件在内存中生成，用于验证流水线的完整性。目前尚未执行任何实时模型 API 查询；这 5,400 条记录是程序化生成的固定件，而非真实的模型输出。

3. 测量指标

该框架在五个维度上将13 项响应质量指标进行了操作化定义：

• 事实精确度： 声明级精确度 (M1) 和仅针对矛盾的精确度 (M1b)。
• 完整性与遗漏： 关键事实覆盖率 (M2a)、加权完整性 (M2c) 和关键事实遗漏率 (M3)。
• 事实错误： 去重后的错误计数 (M4a)、二元错误指示器 (M4b) 和归一化错误率 (M4c)。
• 真实性与安全性： 引用质量等级 (M5)、领域安全水平 (M6) 以及相对于 UIN 的语义保持度 (M7)。
• 随机一致性： 跨重复的完整性方差 (M8a) 和关键事实 Jaccard 一致性 (M8b)。

4. 统计分析计划

预设的统计计划利用以下工具：

• 广义线性混合模型 (GLMMs) 用于比例结果（针对 M1, M2a, M3 使用二项分布；针对 M4a 使用负二项分布）。
• 累积链路混合模型 (CLMMs) 用于序数评分 (M5, M6, M7)。
• 两部分障碍模型 (Two-Part Hurdle models) 用于方差和一致性指标。
• 多重性控制： 通过 Holm–Bonferroni 逐步校正，对包含 9 个假设（3 个终点 × 3 种语言对比）的主要确认性家族进行全家族误差率控制。

核心贡献

1. 公民信息基准设计： 一套通过语言无关的 UIN 索引的 150 个行政任务，超越了单纯的翻译语料库，旨在测试真实的本土化问题解决能力。
2. 多维操作化指标： 针对实质性信息不平等（遗漏、幻觉、安全风险）而非表面流畅度的 13 项指标的数学规范。
3. 方法论治理： 明确隔离了无效的先前合成评估器验证伪影（即自动评估器被克隆以充当“人类”地面真值的情况），并清晰界定了软件正确性与经验构念效度之间的区别。
4. 可复现的软件流水线： 一个开源的 Python 评分架构，通过了针对 5,400 个因子单元格的 115 项单元测试和回归测试。
5. 语码转换集成： 将印地语-英语语码转换（Hinglish）作为与正式英语和印地语并列的第一类主要评估条件。

结果与验证状态

论文明确指出，并未报告任何经验性的模型比较或语言差异排名。所呈现的结果严格属于该框架本身的各项技术验证：

• 流水线完整性： 软件成功生成并验证了 5,400 条合成记录，实现了因子矩阵的 100% 覆盖。
• 密码学验证： 数据集固定件文件经过了 SHA-256 哈希值的加密审计。
• 基准诊断： 合成固定件在重复实验中显示出零延迟和零方差，证实了流水线能够正确解析和序列化数据。
• 验证局限性： 所有 13 项质量指标在进行真实的双语人工标注之前，仍处于经验未验证状态。此前的一次自动评估器验证被发现依赖于克隆的合成参考资料，已被隔离。

意义与主张

本文将 LINGUA-AUDIT 定位为多语言社会中算法治理的必要基础设施。其意义在于：

• 转变评估范式： 从“表面流畅度”转向“实质性信息公平”，认识到在公民事务中，缺失一份强制性文件或一个过时的截止日期构成了一种切实的行政损害。
• 防止循环验证： 通过暴露并隔离“循环自我验证”错误（即合成输出被误认为人类地面真值的情况），该框架建立了一个关于方法论透明度的严谨标准。
• 面向未来的基础设施： 该框架提供了预设的测量工具和统计架构，一旦完成实时数据收集（实时模型响应和人工评估员校准），即可用于审计前沿模型。

作者总结道，LINGUA-AUDIT 尚无法回答特定模型是否表现出不平等；相反，它提供了一个开放、可复现且具有统计严谨性的框架，用于在收集到必要的经验数据（实时模型响应和人工标注）后，检测并量化这种不平等。