Ebisu: Benchmarking Large Language Models in Japanese Finance
本文介绍了 Ebisu，这是一个由两个经专家标注的任务组成的创新基准，旨在评估大语言模型在理解日语金融中复杂的语言与文化细微差别方面所面临的挑战，并揭示了即使通过规模扩大或适配处理，最先进的模型在处理隐性承诺和层级术语提取方面仍然存在困难。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图理解一场日本公司与其投资者之间极其礼貌且高度复杂的对话。在这场对话中，公司很少直接说“不”。相反，他们可能会说，“我们会考虑各种可能性，”或者“目前很难给出明确的答复。”对于母语者来说，这些短语是清晰的拒绝信号。但对于主要在英语环境下训练、倾向于表达直白的 AI 来说，这些短语看起来像是“也许”甚至“是”。
这篇题为 EBISU 的论文介绍了一种全新的“考试”，旨在测试人工智能（AI）能否理解这些具有日本文化特性的微妙金融对话。
以下是使用简单类比对该论文进行的解析：
1. 问题所在：“迷失在翻译中”的陷阱
作者认为，目前的 AI 模型就像是那些只读过日语教科书、却从未真正去过日本的游客。
- 语言障碍： 日语是一种“头后置”语言（动词位于句子的末尾），并且混合使用了三种不同的书写系统。这就像是在阅读一个句子时，最重要的词隐藏在最后，而且这些词同时用三种不同的字体书写。
- 文化障碍： 在日本商业文化中，过于直接通常被认为是不礼貌的。公司使用“高语境”沟通，这意味着真实的含义隐藏在语气、沉默或句子的结尾方式中，而不是隐藏在显性的文字里。
- 结果： 即便是最聪明的 AI 模型也会在这些金融文档中“迷失”。它们会错过微妙的“不”以及复杂的金融术语，因为它们在寻找符合英语风格的直接答案。
2. 解决方案：EBISU 基准测试
为了解决这个问题，研究人员创建了 EBISU，这是一个包含两个不同挑战（任务）的专门测试。可以将其想象为 AI 的两部分驾驶考试。
任务 1：“读懂言外之意”测试 (JF-ICR)
- 场景： 一位投资者提出了一个尖锐的问题，而公司给出了一个礼貌且含糊的回答。
- 挑战： AI 必须判断：公司是在说“是的，我们会去做”、“也许，但有风险”，还是“不，绝对不会”？
- 陷阱： 由于 AI 不理解间接拒绝的文化规则，它经常将礼貌的“不”误认为是“也许”。
- 数据： 他们使用了来自 4 家主要日本公司、跨度 3 年的真实会议记录，并由了解礼貌性回避与硬性拒绝之间区别的人类专家进行了仔细标注。
任务 2：“大海捞针”测试 (JF-TE)
- 场景： 日本的财务报告就像是密集的文本森林。重要的金融术语往往埋藏在冗长的嵌套短语中，并混杂着随时间演变而改变含义的英语和中文外来词。
- 挑战： AI 必须找到特定的金融术（术语）并按重要性进行排序。
- 陷阱： 由于这些词汇是混合的（汉字、平假名、片假名）且相互嵌套，AI 经常会对一个术语在哪里结束以及另一个术语在哪里开始感到困惑。这就像是在一锅汤里寻找特定的食材，而标签是用三种不同的语言书写的，且食材本身又粘在一起。
3. 结果：AI 表现挣扎
研究人员测试了 22 种不同的 AI 模型，包括来自美国的著名模型（如 GPT-4 和 Claude）以及专门针对日语或金融数据训练的模型。
- 成绩单： 结果令人惊讶地差。即使是最“聪明”的 AI 模型也只能答对约 40% 的题目。
- 规模并不代表一切： 增加 AI 的“规模”（增加更多数据和参数）虽然有一点帮助，但不足以解决问题。
- 专业化并无助益： 出人意料的是，在某些情况下，专门针对日语金融数据进行训练的模型表现反而比通用模型更差。这就像是学习了特定教科书的学生变得过度自信且缺乏灵活性。
- 偏差： 使用英语数据训练的 AI 模型往往过于乐观。当一家日本公司表现得含糊其辞时，受英语训练的 AI 会假设他们在同意，而实际上他们是在拒绝。
4. 结论
论文得出结论，我们不能仅仅通过“扩大规模”AI 或将英语的金融规则进行翻译来解决问题。要真正理解日本金融，AI 需要学习的是文化的细微差别和语言的奇特性，而不仅仅是词汇量。
简而言之： EBISU 基准测试是一个现实的警示。它表明，尽管 AI 在许多方面都很出色，但它目前还非常不擅长理解日本公司谈论金钱时那种礼貌、间接且复杂的方式。作者已经发布了他们的测试数据和工具，以便其他研究人员尝试构建更好的“文化翻译器”。
注：作者明确指出，这些模型仅用于研究和评估。他们警告说，即使 AI 在这项测试中得分很高，在没有人类专家进行双重检查的情况下，也不应将其用于实际的投资决策或法律合规。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。