Decoupling Skeleton and Flesh: Efficient Multimodal Table Reasoning with Disentangled Alignment and Structure-aware Guidance
本文介绍了 DiSCo 和 Table-GLS，这是一个新颖的框架，通过解耦结构与语义对齐并采用结构引导的推理，在无需昂贵监督训练或外部工具的情况下，高效提升了大型视觉 - 语言模型的表格推理能力。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在尝试教一个非常聪明、博览群书的机器人（大型视觉 - 语言模型）如何阅读一张杂乱复杂的电子表格。这个机器人擅长阅读书籍和查看图片，但一旦看到表格，它就会感到困惑。它试图一次性阅读整个表格，将表格的形状（行和列的位置）与单元格内的文字混淆在一起。这就像试图在记忆每一块路牌的同时学习一座新城市的布局；大脑会因此过载。
本文介绍了一种教机器人的新方法，称为DISCO和Table-GLS，其运作方式类似于一个两步的“解耦”过程。
问题：“纠缠”的混乱
当前的方法试图通过向机器人同时展示表格图像及其文本版本（如 HTML 或 Markdown）来教导它。本文认为，这就像试图通过同时盯着引擎和方向盘来学习开车。机器人难以将骨架（网格线、行和列）与血肉（实际的数字和单词）区分开来。由于它们紧密混合，机器人经常猜错，或者在它未曾见过的复杂表格中迷失方向。
解决方案：“解耦骨架与血肉”
作者提出了一种框架，将这两项任务分离开来，就像建筑师先绘制蓝图（骨架），然后由室内设计师挑选家具（血肉）一样。
第一步：DISCO（建筑师）
DISCO代表Disentangled（解耦）Structure–Content Orientation（结构 - 内容导向）。它教导机器人分两个截然不同的阶段来查看表格：
- 学习骨架（结构对齐）： 向机器人展示表格图像，但将所有内部文字替换为“内容”之类的通用占位符。机器人被要求仅描述形状：“该表格有 5 行 3 列。顶部有一个标题。”它在不受特定单词干扰的情况下学习布局。
- 学习血肉（内容对齐）： 一旦机器人知道了形状，就教导它填补空白。它学会说：“在第 1 行第 2 列，单词是‘苹果’。”
通过将这些任务分离，机器人先学习表格的“地图”，然后再学习该地图上的“地标”。这使其在理解从未见过的表格时表现要好得多。
第二步：Table-GLS（侦探）
一旦机器人更好地理解表格，作者便引入了Table-GLS（全局到局部结构引导推理）。这是一种让机器人在不需要昂贵工具或额外训练的情况下回答问题新方法。
将其想象成一名侦探在破案：
- 全局探索： 侦探不是直接深入细节，而是先审视整个犯罪现场（整个表格），以确定哪里可能有线索。“我需要查看‘销售’列和'2023'行。”
- 自我修正： 侦探停下来问：“我选对线索了吗？我需要更多吗？”如果计划有误，它会在继续前进之前进行修正。
- 局部提取与推理： 最后，侦探只剪下包含相关线索的那一小块纸（子表格），并仅使用这一小块纸来解决数学或逻辑问题。
这防止了机器人因同时看到过多信息而被无关数据混淆，或编造事实。
为何这很重要
本文声称这种方法既高效又轻量：
- 无需重型工具： 它不需要外部软件或复杂代码即可运行；机器人自行完成所有工作。
- 所需数据更少： 它仅用 10,000 个示例就能取得优异成绩，而其他方法可能需要 100,000 个或更多。
- 更好的泛化能力： 因为它将“骨架”单独学习，所以比以往的方法更能处理奇怪、复杂或未见过的表格布局。
结果
在他们的测试中，这种新方法帮助机器人在理解和推理表格方面比之前有了显著提升。它特别擅长：
- 在网格中查找特定单元格。
- 回答关于复杂财务或科学表格的问题。
- 处理从未见过的表格（未见过的结构）。
简而言之，这篇论文教导机器人不要试图一次性吞下整个表格。相反，它教导机器人先理解网格，然后找到所需的特定拼图碎片，最后用该特定碎片解决问题。这使得机器人在处理数据表格时更聪明、更快速、更可靠。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。