Thinking with Tables: Enhancing Multi-Modal Tabular Understanding via Neuro-Symbolic Reasoning

这是一篇关于**多模态表格理解（Tabular-Vision Multi-Modal Understanding, TVMU）的学术论文总结。论文提出了一种名为Thinking with Tables (TWT)**的新框架，旨在通过神经符号推理（Neuro-Symbolic Reasoning）增强多模态大语言模型（MLLMs）处理复杂表格数据的能力。

以下是该论文的详细技术总结：

1. 研究背景与问题定义 (Problem & Motivation)

背景：
多模态大语言模型（MLLMs）在图像和文本推理方面表现卓越，但在处理现实世界中至关重要的表格数据方面仍显不足。表格数据广泛存在于金融、医疗和工业制造等领域，但现有的 MLLM 研究主要关注纯文本或图像，对“表格 - 视觉”多模态理解（TVMU）关注较少。

TVMU 任务定义：
TVMU 旨在利用文本上下文和与表格相关的视觉信息（如表格图像、图表），从文档图像或扫描件中解析表格结构并进行深度语义推理。核心任务包括：

1. 多模态表格问答 (Multimodal Table QA)
2. 多模态表格预测 (Multimodal Table Prediction)

核心挑战 (Three Core Challenges)：
论文指出当前方法面临三大挑战：

1. 结构多变性与数据不完整 (Structural Variability & Incompleteness)： 现实中的表格形式多样（如三线表、合并单元格、嵌入文档中），且常因扫描质量差、遮挡或布局退化导致数据缺失或识别错误。现有模型过度依赖完整的表格输入，缺乏在信息缺失时的鲁棒性。
2. 隐式且复杂的特征依赖 (Implicit & Complex Feature Dependencies)： 模型难以捕捉特征与预测目标之间复杂的非线性关系及特征间的相互依赖（例如，宠物受欢迎程度不仅取决于图片，还取决于表格中的多个属性组合）。
3. 任务异质性 (Task Heterogeneity)： 不同下游任务（如问答 vs. 预测）对信息源和推理流程的需求差异巨大，缺乏统一的框架能同时适应多种任务。

2. 方法论：Thinking with Tables (TWT)

为了解决上述挑战，作者提出了 TWT，这是一个程序辅助的神经符号推理框架。其核心思想是将表格理解建模为与外部表格环境交互的推理过程，通过生成和执行代码来动态提取信息、建模元素和进行计算。

2.1 核心架构与交互机制

• 沙箱环境 (Sandbox Environment)： 模型被置于一个受控的 Python 沙箱中，可以访问原始数据文件（CSV）、图像文件及预训练模型。
• 交互协议： 模型输出遵循严格的格式：
  • <analy>：显式的推理过程分析。
  • <code>：在沙箱中执行的 Python 代码（用于数据读取、清洗、建模等）。
  • <code_results>：代码执行返回的结果或错误信息。
  • <answer>：最终答案。
• 优势： 这种机制允许模型通过“思考 - 执行 - 反馈”的循环，逐步解决复杂问题，而非仅依赖一次性生成。

2.2 两阶段训练策略 (Two-Stage Training Strategy)

为了应对任务异质性和复杂推理，TWT 采用了独特的两阶段训练流程：

1. 面向任务的监督微调 (Task-Oriented Supervised Fine-Tuning, TO-SFT)：

   • 目标： 让模型掌握不同任务（QA 和预测）的解决范式，并学会解析复杂表格格式和特征依赖。
   • 数据合成： 由于现有数据集缺乏推理轨迹，作者利用更强的 MLLM（Qwen3-VL-Plus）和 LLM 协作，构建了包含“问题 - 推理轨迹 - 代码 - 答案”的高质量合成数据集。
   • 训练细节： 采用单轮对话训练，掩码代码执行结果，仅对模型生成的文本和代码序列计算损失，防止模型死记硬背结果。

2. 自适应损失缩放强化学习 (Adaptive Loss-Scaled Reinforcement Learning, AL-GRPO)：

   • 目标： 进一步提升模型处理多样表格结构和复杂特征依赖的能力，优化输出的正确性和稳定性。
   • 奖励设计： 摒弃了传统的格式奖励，专注于最终答案的正确性。
     • 对于回归任务，使用相对误差作为连续奖励。
     • 对于分类任务，使用二元奖励。
   • 自适应损失缩放： 为了解决代码生成奖励稀疏的问题，仅对成功执行的代码片段计算梯度。如果代码执行失败或异常，则不更新梯度。这鼓励模型生成可执行且稳定的代码，同时避免了复杂的代码级奖励定义。

3. 主要贡献 (Key Contributions)

1. TVMU 问题形式化与分析： 系统性地分析了表格结构多变、数据不完整、特征依赖复杂及任务异质性这三大挑战。
2. 新型神经符号推理机制： 提出了 TWT 框架，通过代码辅助的交互式推理，实现了对复杂表格信息的鲁棒建模。
3. 卓越的实证性能： 在 8 个代表性数据集上的实验表明，TWT 在问答和预测任务上均显著优于现有基线。

4. 实验结果 (Experimental Results)

• 数据集： 涵盖了 4 个 QA 数据集（WikiTQ, TabMWP, FinQA, TAT-QA）和 4 个预测数据集（Adoption, SkinCA, Pawpularity, Paintings）。
• 性能对比：
  • TWT 在 8 个数据集上的平均准确率（Accuracy）比现有最佳开源基线高出约 10%。
  • 在多项任务上，TWT 的表现媲美甚至超越了专有的商业 SOTA 模型（如 GPT-5.1, Qwen3-VL-Plus）。
  • 特别是在表格预测任务中，TWT 通过代码执行捕捉特征依赖，并有效利用预训练视觉模型（ResNet50），显著降低了回归误差（nRMSE）。
• 消融实验：
  • TO-SFT 阶段： 使模型掌握了基本的解题流程和代码交互能力。
  • AL-GRPO 阶段： 进一步提升了在复杂问题和多模态融合上的表现，显著提高了代码执行的准确性和最终任务的鲁棒性。
• 鲁棒性测试： 即使在图像中缺失表格特征（信息不完整）的情况下，TWT 仍能通过图像理解和特征对齐保持竞争力，证明了其在现实场景中的适应性。

5. 意义与影响 (Significance)

• 填补空白： 解决了 MLLM 在表格数据这一关键现实模态上推理能力不足的问题。
• 方法论创新： 将神经符号推理（Neuro-Symbolic）引入多模态表格理解，通过“代码即工具”的方式，将不可控的端到端黑盒推理转化为可解释、可验证的逐步推理过程。
• 实际应用价值： 该方法特别适用于金融分析、医疗诊断等需要处理非结构化文档、不完整数据且对推理准确性要求极高的场景。它展示了如何通过结合大模型的语义理解能力和代码执行的精确计算能力，构建更可靠的 AI 系统。

总结：
这篇论文通过 Thinking with Tables (TWT) 框架，成功地将神经符号推理引入多模态表格理解领域。通过两阶段训练（TO-SFT + AL-GRPO）和外部代码沙箱的交互，TWT 有效克服了表格结构多变、数据缺失和任务异质性的挑战，在多项基准测试中取得了 SOTA 性能，为未来复杂多模态数据的智能分析提供了新的范式。