技術的サマリー：読み取るか推測するか？古代ギリシャ語版 OCR における視覚言語モデルの視覚的グラウンディング失敗

問題提起

最近の視覚言語モデル（VLM）は、標準的なベンチマークにおいて光学文字認識（OCR）で人間に近い性能を達成している。しかし、新たな証拠は、これらのモデルが視覚的証拠よりも言語的事前知識に大きく依存しており、言語的コンテキストが撹乱された際に、視覚的に裏付けられていないが意味的に妥当なテキストを生成している可能性を示唆している。この現象は高リソース環境で研究されてきたが、低リソースの歴史的文書におけるその振る舞いは未だ十分に探求されていない。

本論文は、以下の特性を持つ困難な領域である古代ギリシャ語の批判的校訂本を用いてこの問題を調査する：

• 低リソースな事前知識： 一般的な事前学習中に学習された語彙やフォーマットパターンに対するサポートが限られている。
• 複雑なレイアウト： 高密度なテキスト、多音節文字（アクセントと呼吸記号）、頁外注記、およびアルファベット数字。
• 高いリスク： 学術的校訂本のデジタル化における誤りは、下流の研究を静かに汚染する可能性がある。

核心的な研究課題は以下の通りである：

1. VLM と従来の OCR システムは、異なる方法で失敗するか？
2. VLM は視覚的証拠に対してどの程度、言語的事前知識に依存しているか？
3. 推論時の介入により、視覚的グラウンディングを回復できるか？

手法

著者らは、90 ページの古代ギリシャ語批判的校訂本のスキャン画像からなるデータセットを用いて、5 つのオープンウェイト VLM（OlmOCR-2-7B や DeepSeek-OCR などの OCR 特化モデル、および Qwen3-VL-2B/8B などの汎用モデルを含む）を、2 つの従来の OCR ベースライン（Tesseract-grc と Kraken-CLLG）と比較評価した。

本研究は、多面的な分析フレームワークを採用している：

1. 誤り分布分析

著者らは、アクセント/発音記号の誤り、文字の混同、異スクリプト置換、単語置換、過剰生成、欠落を含む 8 つの相互排他的なカテゴリからなる単語レベルの誤り分類体系を確立した。彼らは、文字誤り率（CER）と単語誤り率（WER）を分析し、「ノイズの多い」認識誤りと「流暢な」幻覚を区別した。

2. 反実仮想撹乱実験

言語的事前知識への依存を分離するために、著者らはページ上のテキストをレンダリングする前に破損させた合成刺激を生成した。正解は撹乱された文字列であった。

• 論理： 視覚的にグラウンディングされたシステムは、無意味なものであっても破損したグリフを転写するはずである。事前知識に依存するシステムは、テキストを妥当なギリシャ語方向に「修復」しようとし、撹乱された正解に対する誤り率を増加させるはずである。
• 撹乱： 単語レベルの再順序付け（構文的）と文字レベルのシャッフル（語彙的/正書法的）を含んだ。

3. トークンレベルの画像ゲイン分析

グラウンディングをメカニズム的に測定するために、著者らは各トークンに対して画像ゲインを計算した：
$$\text{gain}(t) = \log p(t \mid \text{image}, \text{prompt}) - \log p(t \mid \text{prompt})$$
この指標は、テキストのみのベースラインと比較して、画像がトークンの確率をどの程度増加させるかを定量化する。彼らは、正しいトークン、知覚的誤り（グリフの混同）、異スクリプト誤り、語彙的誤り（流暢な単語置換）というトークンクラス間でこれを比較した。

4. 推論時の介入

本研究は、グラウンディングを回復するための 3 つの介入ファミリーをテストした：

• 出力制約： スクリプトマスキング（出力をギリシャ文字に制限）と長さの棄却（誤った長さの出力を抑制）。
• 対照的デコーディング： 視覚的対照的デコーディング（VCD）と画像なし対照的デコーディング（M3ID）を用いて、視覚入力なしでも依然として確からしいトークンを罰する。
• OCR 後の修正： 生成後にテキストのみの言語モデルを用いて認識されたテキストを書き換える。

主要な結果

1. 異なる失敗モード

• 従来の OCR： 誤りは主に局所的な認識ノイズ（句読点、ページ装飾、文字の混同など）であり、目に見えるグリフに密接に結びついている。
• VLM： 誤りは知覚的表面正書法の誤り（アクセント/発音記号）と流暢な語彙的置換が支配的である。VLM は頻繁に誤った単語を、妥当で語彙に含まれる古代ギリシャ語の単語に置換し、従来のシステムに比べて有意に高い WER/CER 比をもたらす。

2. 事前知識依存の証拠

• 撹乱への反応： 文字レベルの撹乱下では、VLM の誤り率は急激に上昇し（撹乱された正解から乖離）、従来の OCR は比較的一貫性を保った。
• モデル固有のグラウンディング： トークンレベルの分析により、事前知識への依存は普遍的ではないことが明らかになった：
  • OlmOCR（OCR 特化モデル）： 流暢な語彙的誤りに対して「低画像ゲイン」のシグネチャーを示した（中央値ゲイン 0.17）。これは、これらの誤りが画像への依存がほとんどなく（事前知識のオーバーライド）生成されたことを示している。
  • Qwen3-VL（汎用モデル）： 誤っていても画像に関与した状態であった。彼らの語彙的誤りは高い画像ゲインを持っていた（例：Qwen3-VL-8B で 1.97）。これは、画像を無視して推測するのではなく、視覚入力に基づいて条件付けられたが、それを誤って解釈したことを示唆している。
  • 異スクリプト誤り： すべてのモデルにおいて、スクリプト混合誤り（ギリシャ語 $\to$ ラテン語）は最も高い画像ゲインを示し、視覚的にトリガーされたことを確認した。

3. 介入の非効率性

• 出力制約： スクリプトマスキングは壊滅的な性能低下を引き起こし（CER が 7〜10 倍増加）、長さの棄却はカバー率を低下させる一方で何の利益ももたらさなかった。
• 対照的デコーディング： VCD は有意な効果を持っていなかった。M3ID は汎用 VLM（Qwen）を改善したが、OCR 特化モデル（OlmOCR）には役立たず、モデルに依存しない解決策が存在しないことを示している。
• OCR 後の修正： これは最も広範な利益を提供し、7 つのシステムのうち 5 つで誤りを大幅に減少させた。しかし、この改善は生成後に生じており、デコーディング中の視覚的グラウンディングの喪失を防ぐのではなく、テキストを修正するものであった。

意義と主張

本論文は、流暢な OCR 出力が視覚的グラウンディングを保証するものではないと主張する。VLM が文法的かつ語彙的に正しい古代ギリシャ語を生成する能力は、特に低リソースで複雑な歴史的設定において、視覚的証拠からの根本的な断絶を隠蔽する可能性がある。

主な貢献は以下の通りである：

1. 先行研究の拡張： 言語的事前知識への依存が、高リソース環境を超えて低リソースの歴史的文書およびより広範なモデル群に及ぶことを実証。
2. ニュアンスのあるグラウンディング分析： 「事前知識のオーバーライド」がモデル依存であることを示す。それは OCR 特化モデルにおける明確な失敗モード（画像を無視して推測する）であるが、汎用 VLM においては必ずしもそうではない（画像に注意を向けつつも、それを正しく解釈できない場合がある）。
3. 現在の修正法の限界： 単純なデコーディング制約と対照的手法ではグラウンディングを回復するのに不十分であることを確立し、これらのアーキテクチャにおける視覚的証拠と生成デコーディングの間のより深いミスマッチを示唆。

著者らは、歴史的領域におけるマルチモーダルモデルの評価は、集約的な精度指標（CER/WER）を超えて、モデル出力が関連する入力証拠に真にグラウンディングされているかをテストする解釈可能性駆動の評価へと移行すべきであると結論付けている。流暢だがグラウンディングされていない誤りがデジタル化されたコーパスを静かに汚染する可能性があるため、人間の検証なしに、リソースが不足した文化遺産資料に VLM を展開することには警告を発している。