MolTabReco: Table-Coordinate-Grounded Chemical Table Recognition with SMILES Recovery for Molecular-Structure Cells

技术摘要：MolTabReco

问题陈述
化学文献表格是提取结构化化学知识的关键来源，包含异质性内容，包括文本、数值、脚注以及二维分子结构图示。虽然现有的光学字符识别（OCR）、通用表格识别和视觉语言模型（VLM）在恢复表格布局和普通文本方面取得了进展，但在处理分子结构单元格时表现显著不佳。这些模型通常仅返回占位符、空字符串或较弱的语义描述，无法生成可计算的简化分子线性输入系统（SMILES）表示。此外，独立的光学化学结构识别（OCSR）模型虽然能够将图像转换为 SMILES，但无法独立确定复杂表格布局中分子的特定行/列坐标。这种脱节导致无法将基于表格的结构图示转换为与其实验背景相联系的可计算数据。

方法论：MolTabReco 框架
作者提出了 MolTabReco，这是一个多阶段、基于表格坐标定位的框架，旨在恢复化学表格中的异质单元格，特别是将分子结构图示转换为与精确行/列位置相链接的规范 SMILES。其工作流程如下：

1. 表格坐标定位：

   • 区域检测： 基于 Table Transformer 的模型在全页图像上定位主表格区域，以排除标题、反应方案和脚注等干扰元素。
   • 网格解析： VLM 预测逻辑行列网格和初始文本内容。该逻辑结构与微调后的 Table Transformer 结构识别模型相结合，生成像素级的行和列边界框。
   • 单元格生成： 系统通过交集预测的行框和列框来生成单元格边界框，并受限于 VLM 预测的行列计数，以确保空间一致性。

2. 异质单元格判别：

   • 一个二分类器（使用类别平衡焦点损失训练的 EfficientNet-B0）用于区分“结构单元格”（包含分子图示）和“非结构单元格”（文本、数字、混合内容）。这种路由机制至关重要，因为它决定了后续的处理分支。

3. 内容恢复分支：

   • 非结构单元格： 采用一种保守的“VLM 优先”融合策略。除非 VLM 输出为空或无效，否则保留其文本输出；若无效，则以 TrOCR 作为后备。这最大限度地降低了向稳定的 VLM 文本引入错误的风险。
   • 结构单元格（OCSR-SMILES 分支）： 被识别为包含结构的单元格进入专门的恢复流水线：
     • 预处理： 进行裁剪扩展、图像增强和前景分割（U-Net），以减轻表格线条干扰和边缘截断问题。
     • 识别： 使用 MolScribe 作为主要识别器生成候选 SMILES。
     • 验证与规范化： 使用 RDKit 进行有效性检查、规范化和片段过滤。
     • 一致性选择： 在诊断设置中，通过 Tanimoto 相似度比较来自 MolNexTR 和 MolGrapher 的候选结果，以选择最具化学一致性的 SMILES，尽管主系统依赖于 MolScribe。

4. 后处理与 LLM 集成：

   • 该框架将大语言模型（LLM）的使用限制在“受限审查”模式下。仅在出现低置信度单元格、格式异常或多源冲突时才会触发 LLM。至关重要的是，LLM 的建议不会被自由应用；在接受之前，必须通过针对数值保真度、单位一致性和化学格式有效性的基于规则的检查。

核心贡献

1. 异质单元格恢复框架： MolTabReco 将化学表格识别从布局和文本扩展到了通过显式表格坐标约束，将分子结构单元格恢复为规范 SMILES。它将异质内容类型映射到特定的行/列索引，保留了分子结构与其实验条件之间的联系。
2. 针对小尺寸结构单元格的 SMILES 恢复： 本文介绍了一种专门针对表格中出现的微小、多噪结构图示的流水线。通过结合裁剪扩展、图像增强和基于 RDKit 的验证，提高了在 standalone 模型经常失败的表格语境下的 OCSR 稳定性。
3. VLM 优先策略与受限 LLM 审查： 研究建立了一种针对表格骨架和普通文本的 VLM 优先方法，分析了 LLM 辅助的安全边界。研究表明，自由形式的生成式修正会在化学表格中引入显著的“由正确变错误”的误差，因此提倡使用经过规则验证、可追溯的 LLM 审查来处理特定边缘情况。

结果
在 ChemTable 数据集（1,382 页，在共享 VLM 预测网格下有 1,682 个系统级结构单元格）上进行评估：

• SMILES 恢复： MolTabReco 在结构单元格上实现了 44.05% 的规范精确匹配 (EM)，相比之下，VLM 基准仅为 8.09%（主要由占位符或弱匹配组成），实现了显著提升。
• 维度匹配子集： 在行列维度与地面真值（Ground Truth）匹配的页面上，规范 EM 升至 54.79%，无立体化学信息 EM 达到 60.31%。
• 有效性： 在维度匹配的子集中，94.48% 的结构单元格生成了有效的、可解析的 SMILES。在可解析的预测中，65.8% 的 Tanimoto 相似度 ≥0.9。
• 整体指标： 由于结构单元格较为稀少（约占总单元格的 2%），整体指标增幅较小：整体数值准确率从 82.53% 提升至 83.29%，树编辑距离 (TEDS) 相似度从 0.8537 提升至 0.8595。
• 误差分析： 研究发现误差通过三个耦合瓶颈传播：行列维度失配、结构单元格判别假阴性以及 OCSR 识别错误。判别器中的假阴性被发现特别致命，因为它们会完全绕过 SMILES 恢复路径。

意义与主张
本文声称 MolTabReco 提供了一条可复现的路径，能够将原本只能作为图像占位符存在的分子结构单元格，转换为与其原始行/列上下文相连的可计算化学数据。作者强调，虽然 VLM 擅长处理表格骨架和文本，但缺乏将结构图示转换为 SMILES 的特定能力；相反，独立的 OCSR 模型缺乏表格坐标系统。MolTabReco 通过在坐标约束下整合这些能力弥补了这一差距。

作者也谦逊地指出，虽然该框架显著改善了可计算结构数据的恢复，但尚未实现针对所有复杂场景的全自动数据库构建。他们强调，由于结构单元格在总数据集中占比极小，整体准确率指标对这些改进并不敏感，但恢复这些特定单元格对于分子检索、相似性分析和反应组织等下游任务至关重要。该研究同时也作为一个警示，提醒不要在没有规则约束的情况下不受控制地使用生成式 LLM 进行化学表格修正。