论文技术总结：从手写体到结构化数据——AI 手写表格数字化基准测试

1. 研究背景与问题 (Problem)

医疗档案的数字化是信息科学和医疗基础设施现代化的关键瓶颈。传统的 OCR（光学字符识别）技术在处理高质量打印文档时表现良好，但在面对非约束性手写体（如医疗记录）时，受限于笔画宽度不一致、字符重叠、非标准符号以及复杂的版面布局，其效果往往不佳。

特别是在资源匮乏的中低收入国家（如南非），医疗数据通常以纸质形式存在，依赖人工录入不仅成本高昂、效率低下，还容易因人为错误导致数据碎片化和患者安全风险。现有的解决方案难以处理以下挑战：

• 手写体多样性：不同医护人员笔迹差异大，且常因时间紧迫导致字迹潦草。
• 结构异常：信息常写在预定框外、垂直书写或使用非标准缩写（如"NAD"表示无异常，"?"表示未知）。
• 数据稀疏与噪声：表格中存在大量空白字段、模糊的日期和数值，以及自定义的编码规则（如用"1/2/3"代表用户状态）。

本研究旨在评估前沿的多模态大语言模型（MLLMs）和开源模型在真实世界复杂医疗手写表单数字化任务中的能力。

2. 方法论 (Methodology)

2.1 数据集

• 来源：南非 UBOMI BUHLE 项目的妊娠暴露登记（UBPER）中的母婴病历（MCR）。
• 规模：
  • 合成数据集：4 份包含模拟数据的表格，用于初步筛选模型（无需符合 POPIA 隐私法）。
  • 真实数据集：49 份经过完全脱敏的真实患者病历。
• 字段类型：
  1. 离散选择字段：复选框或预定义列表（如分娩类型、HIV 状态）。
  2. 格式约束字段：隐含结构的数据，如日期（DD/MM/YYYY）和数值。
  3. 自由文本字段：无固定格式的临床笔记。

2.2 模型评估对象

测试了 17 种前沿闭源模型和开源模型，包括：

• Google Gemini (2.5 Flash/Pro, 3.1 Flash Lite/Pro)
• OpenAI GPT (4.1, 5-Mini, 5-Nano, 5.2, 5.4 等)
• Anthropic Claude (Haiku 4.5, Opus 4.6, Sonnet 4.6)
• 开源模型：Qwen2-VL, Qwen2.5-VL, dots.ocr 等。

2.3 处理流程与提示工程

• 端到端架构：利用 MLLM 的视觉编码器将图像转换为视觉 Token，结合语言解码器直接生成结构化 JSON 输出，无需传统的分割和字符分类步骤。
• 提示优化 (Prompt Engineering)：
  • 基础提示：仅包含提取指令。
  • 优化提示：包含 16 条特定领域的归一化规则（如日期格式、缩写解析、复选框编码），并在 JSON 模板中对离散字段进行离散化（Discretisation），明确列出有效选项（如 ["NVD", "C/S"]），以约束模型输出空间。
• 评估指标：
  • 离散字段：精确率 (Precision)、召回率 (Recall)、F1 分数（宏平均与加权平均）。
  • 格式字段：格式准确率。
  • 自由文本：词错误率 (WER) 和字符错误率 (CER)。
  • 幻觉率：模型生成不存在于原文中的内容的比例。

3. 关键贡献 (Key Contributions)

1. 首个针对复杂医疗手写表单的 MLLM 基准测试：提供了一个包含日期、缩写、手写变体及结构异常的真实世界挑战集。
2. 揭示了提示优化的巨大价值：证明了针对特定领域的提示优化（特别是离散化模板和归一化规则）能显著提升宏观 F1 分数（>60%），尽管对加权指标影响较小。
3. 模型性能分层洞察：
   • 证实了最新一代的闭源模型（Gemini 3.1, GPT-5.4, Claude Sonnet）在复杂任务上远超旧模型和小型开源模型。
   • 发现模型性能与推理能力（Reasoning Tokens）并非完全正相关，某些轻量级模型在特定任务（如日期提取）上表现优异。
4. 开源模型的局限性：在消费级 GPU 内存限制下，当前的小型开源模型（<5B 参数）在处理此类复杂任务时表现不佳，难以与前沿闭源模型竞争。

4. 主要结果 (Results)

4.1 整体性能

• 最佳模型：Google Gemini 3.1 Pro 和 GPT 5.4 表现最佳。
  • 整体准确率：在真实数据集上，最佳模型达到约 85% 的精确字符串匹配准确率。
  • 加权 F1 分数：在离散字段上达到约 90%。
• 开源模型表现：Qwen 和 Dots.ocr 等开源模型在填充字段上的准确率较低（约 34%），无法有效处理复杂的结构化提取。

4.2 细分领域表现

• 离散选择字段：
  • Gemini 3.1 Pro 在所有分类指标（宏平均和加权）上均领先，加权 F1 为 0.91。
  • GPT 5-Mini 和 Haiku 4.5 等小型模型在离散化模板下表现极差，常直接输出选项列表而非选择正确项，但在移除离散化约束后（基础提示）表现反而有所提升，说明它们更依赖视觉识别而非结构化推理。
• 格式字段（日期/数值）：
  • Claude Sonnet 4.6 表现最佳（排除空字段后准确率 77%）。
  • 有趣的是，模型规模和推理能力并未显著提升此类任务的准确率，表明结构化任务可能不需要过强的推理能力。
• 自由文本字段：
  • 这是所有模型最弱的环节。Gemini 3.1 Pro 表现最好，WER 为 0.50，CER 为 0.31。
  • 高错误率主要源于医疗缩写（如"P83"）、非标准书写和模型对长文本的遗漏。
• 幻觉率：
  • GPT 5.4 的幻觉率最低（6%），其次是 Gemini 3.1 系列（8%）。尽管数值较低，但在医疗场景下仍构成风险。

4.3 提示工程的影响 (Ablation Study)

• 使用优化提示（含离散化模板和归一化规则）相比基础提示：
  • 宏观 F1 分数提升超过 60%。
  • 加权 F1 分数仅提升 2-5%（因为空字段主导了权重）。
  • 对于 Gemini 3.1 Pro 等模型，优化提示显著减少了输出截断和结构错误，提高了稳定性。

4.4 难点分析

• 最弱字段："Investigations"（检查）部分，由于手写混乱、非结构化笔记和缩写，准确率最低（中位数约 56%）。
• 最易幻觉字段："EDD method"（预产期计算方法），模型常错误地将未勾选的复选框识别为选中。
• 最易出错字段：妊娠期糖尿病筛查（数值 + 单位），因单位书写不规范（mmol vs mmol/L）导致模型混淆。

5. 意义与结论 (Significance & Conclusion)

1. 技术可行性：研究证明，最新的多模态大语言模型（MLLMs）已具备处理复杂、非结构化手写医疗文档的能力，能够以约 85% 的准确率实现端到端的自动化数字化，这在中低收入国家具有极高的应用价值。
2. 成本效益：虽然顶级模型（如 Gemini 3.1 Pro, GPT 5.4）成本较高，但其高准确率和低幻觉率使其成为替代昂贵人工录入的可行方案，特别是结合提示优化后，可大幅降低后期数据清洗成本。
3. 未来方向：
   • 需要进一步解决自由文本字段（特别是医疗缩写）的识别问题。
   • 数据集的扩展将有助于缓解稀疏性效应，并更好地评估模型对罕见类别的识别能力。
   • 提示工程（特别是离散化和领域规则注入）是释放 MLLM 潜力的关键，而非单纯依赖模型微调。

总结：该研究标志着医疗文档数字化从传统 OCR 向基于语义理解的 MLLM 范式的转变。尽管仍存在挑战（如自由文本和极端潦草字迹），但前沿模型已展现出构建全自动、可扩展医疗数据基础设施的潜力。