Same Claim, Different Judgment: Benchmarking Scenario-Induced Bias in Multilingual Financial Misinformation Detection

1. 研究背景与问题 (Problem)

大型语言模型（LLM）在金融分析、预测和决策支持中应用日益广泛。然而，由于训练数据源自人类语料，LLM 继承了人类的行为偏差（Behavioral Biases）。

• 核心问题：现有的金融虚假信息检测研究主要集中在固定评估设置下的声明验证，缺乏对复杂现实金融环境、多语言场景以及高利害、上下文敏感任务的考量。
• 具体痛点：当相同的金融声明（Claim）在不同的利益相关者角色（如散户 vs 机构）、市场区域（如新兴市场 vs 发达市场）或文化背景（如种族、宗教信仰）下被评估时，LLM 可能会产生系统性且上下文依赖的错误判断。这种微小的不一致可能导致下游决策和叙事出现实质性差异的风险评估偏差。
• 现有局限：现有的基准（如 FinFact, FinDVer）通常将检测视为简单的分类任务，未系统性地改变语言或评估上下文；关于 LLM 认知偏差的研究多基于直接提问或简化任务，未能捕捉金融声明验证中的偏差表现。

2. 方法论 (Methodology)

为了解决上述差距，作者提出了 MFMD-Scen，这是一个由金融专家设计的综合基准，旨在评估 LLM 在多样化经济场景下的金融虚假信息检测行为偏差。

2.1 任务定义

任务形式化为在特定场景 $s$ 下判断金融声明 $c$ 的真伪。

• 偏差量化：定义为有场景信息下的预测结果 ($l_{scen}$) 与无场景信息下的基准预测结果 ($l_{base}$) 之间 F1 分数的差异：$Bias_{scen} = |F1(l_{scen}, l_{gold}) - F1(l_{base}, l_{gold})|$。

2.2 三大核心子任务 (场景构建)

研究构建了三种互补的场景轴，以模拟现实世界的复杂性：

1. MFMD-persona (角色与性格)：
   • 角色：散户投资者 (Retail Investor)、专业/机构投资者 (Professional)、公司所有者 (Company Owner)。
   • 行为偏差：结合五种经典行为金融学偏差（过度自信、损失厌恶、羊群效应、锚定效应、确认偏误）。
   • 形式：分为显式（Explicit，直接陈述偏差）和隐式（Implicit，通过叙事线索暗示）。
2. MFMD-region (角色与区域)：
   • 覆盖六大经济区域：欧洲、美国、亚太、中国大陆、澳大利亚、阿联酋。
   • 模拟不同区域的监管框架、风险文化、宏观经济环境和市场成熟度差异。
3. MFMD-identity (角色与身份)：
   • 结合种族/民族（如华裔、非裔、拉美裔等）与宗教信仰（基督教、伊斯兰教、佛教、犹太教等）。
   • 评估文化价值观和长期原则如何影响对金融信息的解读。

2.3 数据集构建 (Multilingual Financial Misinformation Dataset)

• 来源：基于 Snopes 事实核查数据（通过 FinFact 获取），并扩展收集 2024-2025 年的新闻。
• 筛选：由金融专家筛选出 144 条具有全球相关性的新闻（121 条虚假，23 条真实）。
• 多语言翻译：翻译为中文、希腊语和孟加拉语。
  • 使用 GPT-4.1 进行初译。
  • 由母语人士进行质量评估和人工修订，确保准确性和流畅性（Kappa 一致性系数高）。
• 规模：最终数据集包含英语、中文、希腊语、孟加拉语四种语言，覆盖上述三种场景类型。

2.4 评估设置

• 模型：评估了 22 种主流 LLM，包括开源（Qwen, Llama, Mistral, DeepSeek）和闭源（GPT-4.1/5, Claude, Gemini）模型，涵盖推理型（Reasoning）和非推理型（No-think/Chat）模型。
• 指标：宏观 F1 分数、算术平均值 (AM，表示偏差方向) 和平均绝对值 (MAV，表示偏差幅度)。

3. 主要发现与结果 (Key Results)

对 22 个模型在 MFMD-Scen 上的评估揭示了显著的偏差现象：

3.1 总体表现

• 真假判断差异：模型在判断“虚假”声明时表现成熟且保守（决策边界紧密），但在判断“真实”声明时表现较差，倾向于保守地将其判为假。
• 场景诱导偏差：注入真实的金融场景会导致可测量的行为偏差，即使底层声明不变，预测结果也会发生系统性偏移。场景信息并非随机扰动，而是会覆盖声明本身的信号。

3.2 具体场景发现

• MFMD-persona (角色与性格)：
  • 散户与羊群效应：当引入“散户投资者”角色或“羊群效应”场景时，模型表现出显著的负面偏差（倾向于认为声明为假）。
  • 专业 vs 日常：模型在专业化语境下检测虚假信息更有效，而在散户日常语言语境下表现较差。
  • 显式 vs 隐式：隐式偏差对模型判断的影响比显式偏差更大，因为模型更难从上下文线索中推断隐含意图。
  • 语言影响：低资源语言（如孟加拉语）的偏差更大；中文在评估真实信息时偏差尤为明显。
• MFMD-region (区域)：
  • 新兴市场偏差：在亚太和中国大陆等新兴市场场景下，模型倾向于表现出更强的风险厌恶和怀疑态度（负面偏差）。
  • 欧美场景：美国和欧洲场景下的偏差相对较小，模型表现更乐观。
  • 交互影响：零售投资者在阿联酋和亚洲场景下的偏差最大。
• MFMD-identity (身份)：
  • 角色驱动的身份偏差反转：相同的种族/宗教群体在不同角色下偏差方向可能完全相反。例如，美国群体在大多数角色下表现为正偏差（倾向于相信），而中国群体常表现为负偏差。
  • 伊斯兰教与基督教：在“零售投资者”角色下，伊斯兰教背景群体常表现出系统性负偏差；但在“公司所有者”角色下，偏差方向反转。这表明角色语境比单一的身份特征更能决定偏差的方向。

3.3 模型规模与类型

• 规模效应：大型模型（如 GPT-5-mini, DeepSeek-R）通常比小型模型更稳定，偏差更小。小型模型（尤其是低资源语言下）更容易出现大幅度的负偏差。
• 推理能力：对于小型模型，推理能力（Reasoning）并未带来一致的收益；对于大型模型，推理模型在各类别中表现更优。

4. 主要贡献 (Key Contributions)

1. MFMD-Scen 基准：首个专门针对多语言、多场景下 LLM 金融虚假信息检测行为偏差的综合基准，涵盖了角色、性格、区域、种族和信仰等多个维度。
2. 多语言数据集：构建了一个包含英语、中文、希腊语和孟加拉语的高质量金融虚假信息数据集，填补了多语言金融事实核查数据的空白。
3. 系统性评估与洞察：评估了 22 个主流模型，揭示了当前模型在涉及散户、羊群心理及新兴市场场景下的显著偏差，并指出了低资源语言和身份 - 角色交互作用对偏差的放大效应。
4. 开源项目：代码和数据已开源（GitHub: lzw108/FMD），为后续研究提供了基础。

5. 意义与影响 (Significance)

• 理论意义：揭示了 LLM 在金融领域并非客观的“真理机器”，其判断深受上下文、角色设定和文化背景的干扰。这挑战了静态评估的有效性，强调了动态场景评估的重要性。
• 实际应用：
  • 风险提示：如果将此类模型直接用于投资决策工具，可能会无意中传播虚假信息、误导投资者，或加剧不同文化/地区间的金融不平等。
  • 公平性策略：研究结果强调了在金融应用中需要针对不同种族、信仰和角色制定差异化的公平性缓解策略。
• 未来方向：为开发更鲁棒、更少偏差的金融 LLM 提供了评估标准，并指出了在低资源语言和复杂身份交互场景下进一步优化的必要性。

6. 局限性 (Limitations)

• 数据不平衡：由于源自 Snopes，数据集中虚假信息的比例较高，虽然通过分类分析进行了缓解，但仍可能引入偏差。
• 人类评估样本量：受资源限制，部分区域的人类评估样本量较少（仅 2 人），可能无法完全代表该区域所有人类专家的判断。

---

总结：该论文通过 MFMD-Scen 基准，有力地证明了 LLM 在金融虚假信息检测中存在严重的场景诱导偏差。这种偏差不仅取决于声明本身，更取决于“谁在看”（角色）、“在哪里看”（区域）以及“带着什么背景看”（身份/信仰）。这一发现对于构建安全、公平且可靠的金融 AI 系统至关重要。