IndicContextEval: A Benchmark for Evaluating Context Utilisation in Audio Large Language Models Across 8 Indic Languages
本文介绍了 IndicContextEval，这是一个涵盖 8 种印度语言和 23 个领域的全面多语言基准测试，旨在通过一种新颖的 7 级提示框架，严格评估音频大语言模型究竟是真正利用了显式的上下文提示，还是依赖于预训练知识。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一个非常聪明、精通多种语言的助手，他可以倾听人们说话并准确地记录下他们所说的话。这就是 AudioLLMs（音频大语言模型）所做的事情。它们就像是功能强大的听写工具，而且还能听取你事先给出的一个小提示，比如“这是一场医学会议”或者“这里有一份需要关注的名字列表”。
这个研究的核心问题是：这个助手是真的读了你的笔记并利用它来提供帮助，还是只是在假装倾听，其实是在依赖它在训练期间已经记住的内容？
为了找到答案，作者构建了一个全新的测试场，叫做 IndicContextEval。以下是他们所做工作的简单分解，并使用了日常生活的类比。
1. 测试厨房：IndicContextEval
把这个基准测试想象成一个大型且有组织的厨房，他们在其中制作了 56 小时的自然语音，涵盖了来自 555 个不同的人 说的 8 种不同的印度语言（如印地语、孟加拉语和泰米尔语）。
- 原料： 他们不仅仅是录制随机的闲聊。他们专注于 23 个不同的专业领域，范围从“机器人技术与自动化”到“烹饪艺术”以及“法律”。这确保了说话者会使用一些难以仅凭听觉就能猜出来的复杂、技术性词汇。
- 目标： 他们想看看，如果给 AI 一个“提示”（上下文），它是否能正确转录这些复杂的词汇，还是在没有提示的情况下只能靠猜测。
2. 七级提示（“提示词”阶梯）
研究人员设计了一个巧妙的 7 级 阶梯来测试 AI。想象一下你在要求一位朋友写下一个关于特定主题的故事，你给出的提示会变得越来越具体：
- 第 0 级（空白状态）： “只写下你听到的内容。”（完全没有提示）。
- 第 1 级（语言提示）： “用印地语写下你听到的内容。”（仅告知语言）。
- 第 2 级（结构化笔记）： “这是一场由医生进行的印地语医学讲座。”（仅提供事实）。
- 第 3 级（故事笔记）： “这是一位医生用印地语解释手术的过程。”（一段自然的句子描述）。
- 第 4 级（英文列表）： “这里有一份英文医学术语列表：Heart (心脏), Scalpel (手术刀), Antibiotic (抗生素)。”（但 AI 仍必须用印地语书写答案）。
- 第 5 级（母语列表）： “这是同样的列表，但用印地语脚本书写。”（提示语与答案语言一致）。
- 第 6 级（陷阱）： “这是一份针对医学讲座的烹饪术语列表（如 Flour (面粉), Oven (烤箱), Spice (香料)）。”（这是一个陷阱，用来观察 AI 是否会在即使提示错误时也会盲目跟随）。
3. 结果：谁在真正倾听？
他们测试了五种不同的 AI 模型。以下是发生的情况，使用了“朋友”这个类比：
“聪明且具有怀疑精神”的朋友 (GPT-4o Transcribe)：
这位朋友很优秀。当你给他们正确的单词列表时（第 5 级），他们表现得很好。但当你给他们错误的列表时（第 6 级，烹饪陷阱），他们会忽略它并坚持写下他们实际听到的内容。他们知道何时该使用提示，以及何时该忽略提示。“渴望学习”的朋友 (Gemini 3 Flash)：
这位朋友非常喜欢提示。当你给他们正确的列表时，他们的书写水平显著提高。他们似乎真的在利用上下文来正确处理那些复杂的词汇。“盲目跟随者”的朋友 (Gemma-3N)：
这位朋友太容易相信别人了。当给你错误的列表时（第 6 级），他们会感到困惑，并根据那个错误的列表开始写出一些乱七八糟的内容。他们过度依赖笔记，而忘记了去听实际的声音。“对笔记充耳不闻”的朋友 (Sarvam Audio)：
这位朋友实际上最擅长单纯地听并写下单词（整体错误率最低）。然而，无论你是否给他们提示，他们的行为几乎没有变化。这就像是他们听得太好了，以至于不需要笔记，或者他们干脆忽略了笔记。“感到困惑”的朋友 (GPT-4o 及其他模型在第 0 级时)：
当没有指定语言时（第 0 级），许多模型会对使用哪种语言脚本感到困惑，从而产生很多错误。一旦你告诉他们“说印地语”，他们的表现立即大幅提升。
4. 核心要点
- “提示”的形式很重要： 告诉 AI“这里有一份英文单词列表”（第 4 级）并没有像提供用本地语言脚本书写的列表（第 5 级）那样有效。这就像尝试阅读一份用你不懂的语言写的食谱；它不像拥有母语版本的食谱那样有帮助。
- 自然 vs. 机器人： 用自然的句子描述音频（第 3 级）比提供枯燥的事实列表（第 2 级）效果更好。
- 陷阱测试： “第 6 级”陷阱至关重要。它证明了有些模型足够聪明，知道何时使用提示以及何时忽略提示。而另一些模型则因为太想讨好用户，反而被错误的提示误导并犯错。
总结
论文得出结论，虽然这些 AI 模型功能强大，但它们使用上下文的方式并不尽相同。有些模型足够聪明，知道何时使用提示，何时忽略提示。而另一些模型要么对提示视而不见，要么太容易被提示所迷惑。
作者构建了这个测试（IndicContextEval），旨在帮助开发者了解这些差异，以便在未来为印度语言构建更强大、更可靠的语音助手。他们公开了所有数据和测试，以便他人继续进行这项研究。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。