💬 NLP

HIPPO: Enhancing the Table Understanding Capability of LLMs through Hybrid-Modal Preference Optimization

本文提出了 HIPPO 模型，通过结合文本与图像的双模态表示及模态一致性采样策略优化多模态大语言模型，显著提升了其在表格问答和事实验证等任务中的理解与推理能力。

原作者： Haolan Wang, Zhenghao Liu, Xinze Li, Xiaocui Yang, Yu Gu, Yukun Yan, Qi Shi, Fangfang Li, Chong Chen, Ge Yu

发布于 2026-02-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Haolan Wang, Zhenghao Liu, Xinze Li, Xiaocui Yang, Yu Gu, Yukun Yan, Qi Shi, Fangfang Li, Chong Chen, Ge Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 HIPPO（混合模态偏好优化）的新方法，旨在让大型人工智能模型（LLM/MLLM）更聪明地“读懂”表格数据。

为了让你轻松理解，我们可以把表格想象成一份复杂的菜单，把AI 模型想象成一位正在学习点餐的实习生。

1. 痛点：实习生为什么经常看错菜单？

以前的 AI 在理解表格（菜单）时，主要有两种“看”法，但都有缺陷：

纯文字版（Text-only）： 就像把菜单上的菜名和价格抄在一张白纸上，去掉了所有的排版、边框和颜色。
- 缺点： 实习生虽然能读到字，但容易搞混哪行是哪列。比如，它可能把“红烧肉”的价格误认为是“宫保鸡丁”的，因为它失去了表格的“骨架”结构。
纯图片版（Image-only）： 就像直接把菜单拍张照片给实习生看。
- 缺点： 实习生能看清排版和颜色（比如红色的字代表特价），但它是个“文盲”，很难进行复杂的数学计算（比如算出总价），或者从密密麻麻的像素里精准提取数字。

现状是： 以前的研究要么只给文字，要么只给图片，导致实习生要么算不对数，要么认不清结构。

2. 解决方案：HIPPO 的“双管齐下”策略

这篇论文提出的 HIPPO 就像给这位实习生配备了一位**“全能导师”，并设计了一套“特训营”**。

核心策略：混合模态（Hybrid-Modal）

HIPPO 不再让实习生只选一种方式，而是同时给它看“文字版菜单”和“图片版菜单”。

文字负责提供精准的逻辑和数字（比如：红烧肉 30 元）。
图片负责提供结构和视觉线索（比如：红烧肉在第二行，且背景是黄色的，代表特价）。
两者结合，实习生就能既算得对，又认得清。

关键创新：如何训练？（偏好优化 DPO）

光把两种资料给实习生看还不够，还得教它怎么纠正错误。这里用了一个非常巧妙的“找茬”游戏：

出题： 导师问一个问题（比如：“美国队总共赢了多少场？”）。
模拟回答： 让实习生分别用“只看文字”、“只看图片”、“两者结合”三种方式回答，并收集它给出的所有答案（包括对的和错的）。
寻找“典型错误”（Modality-Consistent Negative）：
- 以前的训练方法可能会随机挑一个错误答案来批评。
- HIPPO 的高明之处在于： 它会观察，如果实习生在“只看文字”时算错了，在“只看图片”时也犯了同样的错，那么这个错误就是**“顽固的、跨模态的共性错误”**。
- HIPPO 会专门挑选这种最频繁出现的错误答案作为“反面教材”，告诉模型：“看，无论你用哪种方式，你都在这个坑里摔倒了，必须彻底改掉这个思维定势！”
强化训练（DPO）： 通过这种对比（正确答案 vs. 顽固错误答案），模型学会了如何综合两种信息，避开那些容易混淆的陷阱。

3. 效果如何？（实战演练）

论文在多个表格问答任务上进行了测试，结果非常亮眼：

成绩提升： 相比之前的顶尖模型，HIPPO 的平均成绩提升了约 4%。这在 AI 领域已经是非常显著的进步了。
互补优势：
- 当文字版让模型算错数时，图片版的视觉线索能帮它修正。
- 当图片版让模型看错行时，文字版的逻辑能帮它拉回正轨。
举一反三： 即使以后只给它看文字（没有图片），经过 HIPPO 特训的模型，因为学会了如何提取结构化的逻辑，表现也比没受过训的模型要好。

4. 总结：一个生动的比喻

想象你在教一个盲人（擅长逻辑但看不见结构）和一个色盲（看得见结构但不懂逻辑）一起拼乐高：

以前的方法： 要么只让盲人摸积木，要么只让色盲看积木，结果拼出来的东西总是歪歪扭扭。
HIPPO 的方法：
1. 让两人同时工作（混合模态）。
2. 当两人都把积木拼错位置时（跨模态错误），导师会重点指出：“看！你们俩都犯了这个错，说明这个位置是陷阱，必须重新思考！”
3. 通过这种**“抓共性错误”**的特训，两人学会了如何配合，最终拼出了完美的乐高城堡。

一句话总结：
HIPPO 通过让 AI 同时利用“文字”和“图片”两种视角，并专门针对“两种视角下都会犯的错误”进行强化训练，成功让 AI 变成了既懂逻辑又懂结构的“表格阅读专家”。

这是一篇关于提升大语言模型（LLM）表格理解能力的论文《HIPPO: Enhancing the Table Understanding Capability of LLMs through Hybrid-Modal Preference Optimization》的技术总结。

1. 研究背景与问题 (Problem)

背景：表格数据在数据库、科学文献和网页中无处不在，其结构化特征对信息组织至关重要。现有的表格推理方法主要分为两类：
- 基于文本的方法：将表格线性化为文本（如 Markdown），利用 LLM 的语言推理能力。但这种方法容易丢失布局语义（如单元格对齐、行列关系），且对格式敏感。
- 基于图像的方法：将表格作为截图输入多模态大语言模型（MLLM），利用视觉感知捕捉布局、颜色和边框信息。但这种方法在符号推理（如求和、查找）方面存在困难。
核心问题：
1. 现有研究主要关注单模态（仅文本或仅图像）的表格理解，未能充分利用文本和图像模态的互补优势。
2. 直接结合多模态输入时，模型容易产生模态偏差（Modality Bias），即过度依赖某一种模态而忽略另一种，或者在训练过程中学习到虚假的模态特定线索。
3. 缺乏一种有效的机制来构建偏好数据，以引导模型在混合模态下学习更全面的语义，同时保持推理的一致性。

2. 方法论 (Methodology)

论文提出了 HIPPO (HybrId-modal Preference oPtimizatiOn) 框架，旨在通过混合模态偏好优化来增强 MLLM 的表格推理能力。

2.1 混合模态表示

模型同时接收三种输入形式：

仅文本 (Text-only)：表格的 Markdown 线性化表示。
仅图像 (Image-only)：表格的截图。
混合模态 (Text+Image)：同时输入文本和图像。

2.2 基于混合模态采样的直接偏好优化 (DPO)

HIPPO 的核心在于构建高质量的偏好对（Preference Pairs）用于 DPO 训练：

采样策略：对于同一个问题和表格，模型分别在三种输入模式下采样生成 $K$ 个候选回答（例如 $K=10$ ）。
正样本选择：选择与真实答案（Ground Truth）一致的回答作为正样本（Chosen）。
负样本选择（关键创新）：
- 摒弃随机选择负样本的做法。
- 提出模态一致性负样本选择策略 (Modality-Consistent Negative Selection)。
- 从所有模态生成的错误回答集合中，统计出现频率最高的错误回答（Most Frequent Incorrect Answer），将其选为负样本（Rejected）。
- 原理：这种高频错误代表了跨模态的、稳定的错误模式（Modality-invariant error pattern）。通过惩罚这种普遍存在的错误，模型被迫学习如何综合不同模态的信息来避免此类错误，从而减少模态偏差。

2.3 优化目标

使用标准的 DPO 损失函数，最大化正样本的概率，最小化负样本的概率，使模型在混合模态输入下更倾向于生成准确且逻辑一致的回答。

3. 主要贡献 (Key Contributions)

提出 HIPPO 框架：首个利用文本和图像双重表示，通过偏好优化（Preference Optimization）联合增强 MLLM 表格推理能力的框架。
模态一致性负样本策略：设计了一种基于跨模态自一致性（Cross-modal Self-Consistency）的负样本选择机制。通过选择跨模态出现频率最高的错误作为负样本，有效缓解了模态偏差，提升了偏好学习的效果。
广泛的实验验证：在表格问答（TQA）和表格事实验证（TFV）任务上进行了大量实验，证明了该方法在多种基座模型（如 MiniCPM-V, Qwen-VL, Table-LLaVA）上的有效性。

4. 实验结果 (Results)

整体性能提升：
- HIPPO 在多个基准数据集（TABMWP, WTQ, TAT-QA, TabFact 等）上均取得了显著提升。
- 在 MiniCPM-V-2.6 模型上，HIPPO 相比零样本（Zero-Shot）基线在 TQA 任务上提升了 3.6%，在 TFV 任务上提升了 2.8%。
- 相比传统的监督微调（SFT），HIPPO 表现更稳定，SFT 在某些数据集上甚至出现性能下降（过拟合），而 HIPPO 始终带来增益。
消融实验：
- 负样本选择：使用随机负样本的 DPO 效果提升有限，而使用“高频错误”作为负样本的 HIPPO 效果显著（提升超过 1%），证明了该策略的有效性。
- 采样数量：每个模态采样 $K=10$ 时效果最佳，过采样（ $K=20$ ）会引入噪声。
跨模态一致性与多样性：
- 一致性：HIPPO 在不同模态输入下生成的回答具有更高的 Jaccard 相似度，表明模型不再过度依赖单一模态，输出更加稳定。
- 多样性：在思维链（CoT）分析中，HIPPO 展现了更丰富的推理行为，能够根据模态特性灵活调整推理路径。
单模态失败时的补偿能力：
- 在“文本错误但图像正确”或“图像错误但文本正确”的困难样本测试中，HIPPO 表现最佳。它能够有效利用互补模态的信息来纠正单模态的失败，证明了其强大的跨模态补偿能力。

5. 意义与结论 (Significance)

理论意义：揭示了文本和图像模态在表格理解中的互补性。文本擅长数值计算和逻辑提取，图像擅长布局感知和视觉线索识别。HIPPO 通过偏好优化成功地将两者融合，而非简单的拼接。
实践价值：提供了一种无需大规模重新预训练，仅通过高效偏好优化（DPO）即可显著提升现有 MLLM 表格理解能力的方案。
通用性：该方法不仅提升了多模态输入下的性能，还增强了模型在单模态输入下的泛化能力，表明模型学到了更本质的表格结构语义。

总结：HIPPO 通过创新的“模态一致性负样本选择”策略，解决了多模态表格推理中的模态偏差问题，使大模型能够更稳健、更准确地理解复杂的表格数据，为未来的多模态表格处理任务提供了新的范式。