論文概要：手書きから構造化データへ：AI による手書きフォームのデジタル化ベンチマーク

本論文は、南アフリカの医療現場で使用される複雑な手書きの産科記録（Maternity Case Records）を対象に、最先端のマルチモーダル大規模言語モデル（MLLMs）とオープンソースモデルのデジタル化能力をベンチマークした研究です。以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義 (Problem)

医療分野における紙ベースのアーカイブのデジタル化は、情報科学における最大の課題の一つです。特に、手書きの臨床記録は、以下のような要因により従来の OCR（光学文字認識）技術や従来のコンピュータビジョン手法では処理が困難です。

• 多様性と不規則性: 複数の医療従事者による異なる筆跡、一貫性のないストローク幅、重なり合う文字、非標準的な記号。
• 構造的な複雑さ: 日付、構造化された印刷テキスト、手書きの回答、チェックボックス、自由記述欄が混在している。
• 文脈の曖昧さ: 医療用語の略語（例："NAD" は "No abnormalities detected"）、記号の誤用、フォームの枠外への記入、時間的圧力による乱雑な筆記。
• コストとリスク: 従来の手作業によるデータ入力（データキャプチャ）は時間とコストがかかり、人的エラーや患者安全へのリスクを伴います。

本研究は、南アフリカの「UBOMI BUHLE プロジェクト（妊娠曝露登録）」の実際の医療フォームを用いて、これらの課題を AI がどの程度解決できるかを検証することを目的としています。

2. 手法 (Methodology)

データセット

• 合成データ: 初期ベンチマーク用に作成された 4 枚のフォーム（POPIA 規制の対象外）。
• 実データ: 南アフリカ 3 州の 17 診療所から収集された 49 枚の実際の産科記録（個人情報は完全に匿名化）。
• フィールド分類:
  1. 離散選択フィールド: チェックボックスや事前定義されたリスト。
  2. フォーマット制約フィールド: 日付（DD/MM/YYYY）、数値値など。
  3. 自由記述フィールド: 構造化されていないテキスト。

モデル評価

17 種類の最先端モデル（Frontier MLLMs）とオープンソースモデルを比較しました。

• 対象モデル:
  • Google Gemini: 3.1 Pro, 3.1 Flash Lite, 2.5 Pro, 2.5 Flash
  • OpenAI GPT: 5.4, 5.2-Pro, 5.2, 5-Mini, 4.1, 5-Nano
  • Anthropic Claude: Sonnet 4.6, Opus 4.6, Haiku 4.5
  • その他: Grok 4.1, Qwen2-VL/2.5-VL, Dots.ocr など。
• パイプライン:
  • 画像を Base64 エンコードし、システムプロンプト（指示と JSON テンプレート）と共に API に送信。
  • 温度（Temperature）を 0 に設定し、出力を決定論的にする。
  • 出力が有効な JSON 形式か検証し、必要に応じて自動修復（json-repair）を行う。
  • 正解データ（Ground Truth）とフィールドレベルで厳密な一致（Exact Match）を比較。

評価指標

• 精度 (Accuracy): 厳密な文字列一致率。
• 離散選択フィールド: 精度、再現率、F1 スコア（マクロ平均および加重平均）。
• 自由記述フィールド: 単語誤り率 (WER)、文字誤り率 (CER)。
• 幻覚率 (Hallucination Rate): 存在しない情報を生成した割合。

プロンプトエンジニアリング

• 最適化プロンプト: 離散フィールドの選択肢を明示的に列挙（例：["NVD", "C/S"]）し、日付フォーマットや略語の正規化ルールを 16 項目含める。
• ベース（アブレーション）プロンプト: 離散化されたテンプレートなし、簡易的な指示のみ。

3. 主要な結果 (Key Results)

全体的な性能

• 最先端モデルの優位性: 最新の Google (Gemini 3.1) および OpenAI (GPT 5.4) モデルが、約 85% の正確な文字列一致率と、加重 F1 スコアで約 90% の高い性能を達成しました。
• 小規模・旧モデルの限界: 小規模なオープンソースモデルや古いモデルは、特に実データにおいて性能が低く、多くの場合 40% 以上劣っていました。
• モデル間の差: 最先端モデル間では性能差が小さく（5% 以内）、実データへの移行でも安定していました。

モデルごとの特長

• Gemini 3.1 Pro: 全体的な性能が最も高く、離散選択フィールドの加重 F1 スコア (0.91) や自由記述の誤り率 (WER=0.50, CER=0.31) でトップクラスでした。
• GPT 5.4: 日付抽出（特にノイズの多い場合）と信頼性において卓越しており、幻覚率が最も低く (6%)、自由記述の誤り率も低かったです。
• Claude Sonnet 4.6: フォーマット制約フィールド（日付や数値）の平均性能が最も高かった（77%）。
• 小規模モデル: GPT 5-Mini や Haiku 4.5 は、離散化テンプレートを解釈できず、リストをそのまま出力してしまうなど、構造化タスクで苦戦しました。

プロンプト最適化の影響

• 離散選択フィールド: プロンプトの最適化（選択肢の明示）により、マクロ精度、再現率、F1 スコアが60% 以上向上しました。これは、モデルが事前定義されたカテゴリから選択するよう誘導されたためです。
• 加重指標への影響: 加重指標への影響は小さく（2〜5% の改善のみ）、頻出クラス（特に null 値）の性能はプロンプト変更に関わらず安定していました。

課題と失敗要因

• 自由記述フィールド: 最も性能が低く、医療略語の欠落や文脈の誤解により、WER/CER が高くなりました。
• 特定のフィールド: 「EDD 方法（予定分娩日）」などのチェックボックス構造の誤解釈による幻覚や、「妊娠糖尿病スクリーニング」の数値と単位の混同が課題となりました。
• 構造的な問題: フォームの枠外への記入や、縦書きの日付など、人間でも解釈が難しいケースではモデルの性能が低下しました。

4. 主要な貢献 (Key Contributions)

1. 実世界医療データでの大規模ベンチマーク: 合成データだけでなく、南アフリカの実際の産科記録（多様な筆跡、略語、構造的欠陥を含む）を用いた包括的な評価を行いました。
2. MLLMs の能力限界と可能性の明確化: 最先端のマルチモーダル LLM が、従来の OCR では不可能だった複雑な手書きフォームの構造化において、85% 以上の精度を達成できることを実証しました。
3. プロンプトエンジニアリングの重要性の示唆: 離散選択タスクにおいて、プロンプトの最適化（特に選択肢の明示）が精度を劇的に向上させることを実証しました。
4. 低・中所得国（LMIC）への適用可能性: 医療インフラが未整備な地域においても、AI による自動化がデータアクセスと研究を促進する可能性を示しました。

5. 意義と結論 (Significance & Conclusion)

本研究は、マルチモーダル大規模言語モデルが、複雑でノイズの多い手書き医療文書のデジタル化において、実用的かつスケーラブルな解決策となり得ることを示しています。

• 医療データインフラの変革: 手作業によるデータ入力というボトルネックを解消し、膨大な医療アーカイブを構造化データとして再利用可能にします。
• 研究と医療の質の向上: 迅速なデータアクセスにより、妊娠中の薬物曝露と出生結果の関連性などの研究が促進され、臨床意思決定の改善につながります。
• 今後の展望: 小規模なオープンソースモデルは現状では不十分ですが、モデルの進化とプロンプト技術の進歩により、さらに高精度な自動化が期待されます。今後は、より大規模なデータセットでの検証や、多様なフォームタイプへの展開が重要です。

結論として、AI 技術は、特にリソースが限られた環境において、医療データのデジタル化と活用を加速させるための有望な基盤を提供しています。