💬 NLP

FIND: Toward Multimodal Financial Reasoning and Question Answering for Indic Languages

本文介绍了 FinVQA，这是一个涵盖六种印度语言、用于金融推理的综合多语言基准，并提出了 FIND，这是一个结合监督微调与约束感知解码的框架，旨在增强高风险金融环境中的多模态和数值推理能力。

原作者： Sarmistha Das, Vaibhav Vishal, Syed Ibrahim Ahmad, Manish Gupta, Sriparna Saha

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Sarmistha Das, Vaibhav Vishal, Syed Ibrahim Ahmad, Manish Gupta, Sriparna Saha

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《FIND：迈向印地语等多模态金融推理与问答》的解释，已用通俗易懂的语言并辅以类比进行翻译。

大局观：为人工智能打造的新型“金融健身房”

想象一下，你正在教一个机器人如何理财。你不会只让它读书，而是会展示给它看银行对账单、股票图表和收据，并让它进行数学计算。

问题在于，目前大多数人工智能机器人仅接受过英语训练，并且极不擅长同时“看图”和“做数学题”。它们往往根据看到的文字来猜测答案，而忽略了图片中的数字。

这篇论文提出了两样东西来解决这个问题：

FinVQA：一个庞大且极具挑战性的“考试”（数据集）。
FIND：一种新的“训练方法”（框架），旨在帮助人工智能通过这场考试。

这两者都是专门为印地语系语言（如印地语、孟加拉语、泰米尔语等）设计的，这些语言在印度有数千万人使用，但长期以来在金融人工智能研究中一直被忽视。

第一部分：考试（FinVQA）

可以将FinVQA想象成由作者创建的一个巨大的多语言题库。

内容：它包含近 19,000 道题目。这些不仅仅是简单的"2+2 等于几？”的问题，而是涉及复杂金融谜题的题目，包括：
- 14 个不同主题：从基础会计和税务到商业经济及决策制定。
- 3 个难度等级：简单（如热身）、中等（真正的锻炼）和困难（奥林匹克决赛）。
- 视觉元素：许多题目包含图表、表格或收据等图片。人工智能必须同时“阅读”图片和文字。
语言：该考试提供英语以及五种主要印度语言：印地语、孟加拉语、马拉地语、古吉拉特语和泰米尔语。
目标：旨在测试人工智能是否真的能用这些语言对金融问题进行“推理”，而不仅仅是猜测。

构建过程：
作者从印度国家教育研究与培训委员会（NCERT）的教科书和专业会计课程中取材。他们将这些英语题目翻译成当地语言，甚至利用人工智能将图片内部的文字（例如将图表上的标签从英语改为印地语）也进行了翻译，以确保视觉线索与问题相匹配。

第二部分：训练方法（FIND）

如果学生（人工智能模型）不知道如何备考，那么拥有考试也是徒劳。作者提出了FIND，这是一种三步训练策略。

想象一下你正在教一名学生参加数学考试。

第一步：“零样本”尝试（猜测）：
你直接把试卷交给学生，没有任何帮助。他们尝试仅凭已有的知识来解题。
- 结果：他们经常感到困惑，写太多内容，混淆语言，或者因为匆忙而算错数学题。
第二步：“约束解码”规则（严格的监考员）：
你告诉学生：“你可以随意思考问题，但在写下最终答案时，你必须只写 A、B、C 或 D 字母。不要写多余的字。”
- 结果：这阻止了学生啰嗦或格式混乱地作答。它迫使他们精确作答，但他们可能仍然会算错数学题。
第三步：监督微调（导师）：
这是最关键的一步。你坐在学生旁边，展示正确答案，并解释为什么它们是正确的。你专门训练他们正确查看图表并进行数学计算。
- 结果：学生学会了真正理解金融概念并进行计算，而不仅仅是猜测。

发现：论文表明，虽然“严格监考员”（第二步）有助于规范格式，但“导师”（第三步）才是让人工智能变聪明的关键。当他们把“导师”与“严格监考员”结合使用时，人工智能的表现显著提高，尤其是在当地印度语言方面。

第三部分：测试时的表现

作者在这个新考试上测试了几种不同的人工智能模型（有些较小，有些巨大）。

规模很重要：就像人类一样，大脑越大（人工智能模型越大），表现通常越好。最大的模型（如 320 亿参数模型）得分最高，准确率通常超过 60-70%。
语言差距：人工智能在英语、印地语和孟加拉语中表现最好。它在泰米尔语、马拉地语和古吉拉特语中表现较为吃力，但训练方法（FIND）显著缩小了这一差距。
“幻觉”问题：如果没有经过特殊训练，较小的人工智能模型会自信地解释其推理过程，但最终数字却是错的。这就像学生写了一篇完美的文章，但数学计算却错了。FIND 框架帮助解决了这个问题，使推理与答案相匹配。

核心结论

这篇论文指出：“我们构建了一个困难、包含视觉元素且多语言的金融考试（FinVQA），以及一种训练人工智能通过考试的方法（FIND）。我们发现，要让人工智能在印度语言中擅长金融数学，你需要巨大的模型，并且必须专门训练它们去查看图表并进行计算，而不仅仅是阅读文字。”

论文中的重要提示：
作者警告说，即使经过这种训练，人工智能也尚未完美。它仍可能犯小的数学错误或误解复杂的图表。他们强调，此工具仅用于研究和评估，而非向人们提供真实的财务建议，因为在金融领域算错数字可能会产生现实世界的后果。

技术摘要：FIND：面向印地语系语言的多模态财务推理与问答

问题陈述
在 multilingual 语境下，特别是在印度，财务决策需要基于多种模态（文本、表格、图表）的准确数值推理。然而，现有的基准测试在很大程度上忽视了这一高风险挑战，主要聚焦于英语，缺乏对印地语系语言、多模态财务数据以及受控推理复杂性的覆盖。现有的视觉 - 语言模型（VLMs）在混合推理方面往往表现不佳，存在数值准确性错误、多模态对齐不一致的问题，并且过度依赖文本线索，未能充分利用视觉财务信号。此外，现有的数据集如 FinQA 和 TAT-QA 主要以英语为中心，通常仅限于浅层算术或表格提取，无法评估现实财务场景中所需的复杂、领域感知的推理能力，尤其是在区域语言中。

方法论
为了弥补这些差距，作者引入了 FinVQA（一个大规模多语言基准测试）和 FIND（一个旨在实现可靠多模态财务推理的框架）。

FinVQA 数据集构建：
- 来源： 数据选自权威的印度教育资源，包括国家教育研究与培训委员会（NCERT）的教科书（9–12 年级）和 ICMAI–CMA 的专业材料。
- 规模与范围： 该数据集包含 18,900 个样本，涵盖 14 个财务领域（如高级会计、财务数学、税务）。它覆盖六种语言：英语、印地语、孟加拉语、马拉地语、古吉拉特语和泰米尔语。
- 结构： 样本按三个难度级别（简单、中等、困难）和四种问题格式组织：选择题、填空题、表格匹配题和是非题。
- 多语言适配： 英语实例使用 GPT-4O 翻译成五种印地语系语言，通过句子嵌入余弦相似度进行验证，并由母语者进行润色。对于多模态样本，使用 OCR（PaddleOCR）从图像中提取文本，然后将其翻译并使用特定的印地语系字体重新渲染到原始边界框中，以保留布局。
- 标注： 一个包含六名标注员（四名初级标注员，两名高级领域专家）的流程确保了质量。高级专家标注种子样本，标注员间一致性（Fleiss' Kappa）达到 0.78。
FIND 框架：
作者提出了一个三阶段实验流程，用于评估和改进推理能力：
1. 零样本推理： 评估未经特定任务适配的预训练 VLMs，以建立基线。
2. 约束解码： 实施推理时的约束（使用 VLLM），将输出限制为有效的答案选项令牌（例如 A/B/C/D）。这减轻了格式不稳定性和冗长性，同时保留了内部推理。应用了特定语言的令牌约束（例如，英语/印地语为单令牌，孟加拉语/泰米尔语最多三个令牌）。
3. 监督微调（SFT）： 使用仅答案的监督在数据集上微调 VLMs。为了确保参数效率，作者采用秩为 $r=8$ 的低秩适配（LoRA），仅更新自注意力和交叉注意力层中的查询、键和值投影。模型被训练为根据输入生成正确的答案序列。

主要贡献

FinVQA 基准测试： 推出了首个针对印地语系语境下财务视觉问答的大规模多语言基准测试，包含 18,900 个样本，涵盖 14 个领域和六种语言。
FIND 框架： 一个结合监督微调与结构化解码的感知约束框架，旨在增强数值忠实度、多模态对齐和结构化决策能力。
全面评估： 对最先进的 VLMs（Qwen2.5-VL、Qwen3-VL、Gemma-3）在不同参数规模（3B 至 32B）和训练机制（零样本、约束解码、SFT）下进行了严格评估。

实验结果

性能层级： 模型性能主要受规模和训练机制的支配。大规模模型（例如 Qwen3-VL-32B、Gemma-3-27B）显著优于较小的对应模型。
SFT 的影响： 监督微调对性能的影响最大，相比零样本基线带来了显著提升，特别是在印地语系语言方面。例如，SFT 将 Qwen3-VL-4B 的马拉地语准确率从零样本的 26.2% 提高到了 47.8%。
约束解码的作用： 虽然约束解码有助于结构有效性，但相比 SFT 带来的提升较为有限。然而，将 SFT 与约束解码结合能产生最稳健的结果。
语言趋势： 印地语和孟加拉语通常取得最高的准确率，反映了更好的资源可用性。泰米尔语由于类型学距离和文字复杂性仍然是最具挑战性的，尽管 SFT 仍能提供一致的改进。
人工评估： 人工评估显示，虽然在较低的计算规模下可以实现格式合规，但高保真的财务推理（领域理解、问题解读、数学正确性）严格依赖于模型容量。大型模型（27B–32B）接近天花板性能（0.9–1.0 分），而小型模型（3B–4B）在逻辑连贯性和视觉对齐方面存在困难。
错误分析： 小型模型经常在视觉对齐和逻辑一致性方面失败。中型模型（7B–12B）显示出改进的解析能力，但在数学执行方面表现脆弱。只有大规模模型（27B–32B）展示了稳健的端到端视觉 - 数学任务执行能力。

意义与主张
该论文提出，在多语言环境中实现可靠、高风险的财务推理，需要结合大规模模型容量、与特定领域数据的监督对齐以及严格的输出约束。作者声称，FIND 和 FinVQA 建立了一个用于多模态财务推理的严格评估范式，突显了当前模型往往表现出“流利但不正确”的现象。他们强调，虽然感知约束的解码提高了格式合规性，但这并不能保证推理的准确性，这凸显了人工监督的必要性以及当前模型在规范性财务决策中的局限性。这项工作为弥合印地语系语言使用者在财务素养工具方面的差距奠定了基础性的一步，尽管作者承认存在样本多样性（源自翻译来源）方面的局限性，并且由于资源限制排除了闭源基线。

大局观：为人工智能打造的新型“金融健身房”

第一部分：考试（FinVQA）

第二部分：训练方法（FIND）

第三部分：测试时的表现

核心结论

类似论文