Do VLMs Read or Rewrite? On Transcription Faithfulness in Vision-Language Models
本論文は、視覚言語モデルが不完全なテキストを忠実に転写するのではなく、しばしばもっともらしい形式へと書き換えてしまうことを示すためにFaithC4ベンチマークを導入し、モデルのタイプ間で異なる劣化パターンを明らかにし、この書き換え行動を誘発する特定の層の表現と単語の長さを特定するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、ロボットに祖母の手書きのメモを読ませる方法を教えていると想像してください。あなたは、ロボットが完璧なコピー機のように振る舞い、あらゆるうねり、汚れ、綴りの間違いさえも、見たまま正確に捉えることを期待しています。これは、画像のテキストをデジタル文字に変換する、数十年前から存在する技術である「光学文字認識（OCR）」の仕事です。しかし最近、新しい種類のロボットが登場しました。それが「視覚言語モデル（VLM）」です。これらは、単に文字を「見る」だけでなく、その文章が本来どうあるべきかという「意味」を「考える」ロボットだと考えてください。カメラと、インターネット上のあらゆる知識で訓練された非常に賢い脳を組み合わせた存在です。
ここで大きな疑問が生じます。これらの賢いロボットは、乱れた単語を見たとき、それを忠実にコピーするのでしょうか、それとも「修正」しようとするのでしょうか？ これは、人間が経験する「タイポグリセミア（typoglycemia）」効果に似ています。私たちは、単語の真ん中の文字が入れ替わっていても、文全体の意味を推測できるため、文章を読むことができます。これは人間にとっては有用ですが、法的な契約書や歴史的な手紙など、完璧かつ逐語的なコピーが必要な場合、ロボットにとっては災難となります。もしロボットが、元の文書の一部であったはずのタイポ（誤字）を「修正」してしまったら、それは記録ではなく、歴史の書き換えになってしまうからです。この論文では、これらの新しいAIロボットが、忠実な書記官なのか、それともお節介な編集者なのかを掘り下げます。
VLMは読むのか、それとも書き換えるのか？
この研究において、Amazonの研究者たちは、これらの視覚言語モデル（VLM）が持つ特定の癖をテストすることにしました。つまり、少し奇妙に見える単語を見たとき、彼らはそれをそのまま読み取るのか、それとも密かに、より意味の通るものへと書き換えてしまうのか、という点です。
これを確かめるために、チームはFaithC4と呼ばれる特別な遊び場を作りました。まず、英語、中国語、韓国語の、クリーンで標準的なテキストページを数千枚用意します。次に、それらの画像を生成する前に、言葉に対して「伝言ゲーム」のような細工を施しました。対象となる単語の8%を取り出し、以下の3つの独創的な方法でめちゃくちゃにしました：
- Scramble（シャッフル）: 内部の文字を入れ替える（例：「standard」を「sdanartd」にする）。
- Random（ランダム）: 文字を全く別のランダムな文字に入れ替える（例：「xkpmewqi」）。
- Visual（視覚的）: 見た目が非常によく似ている文字に入れ替える（例：「a」を「c」に、「o」を「0」にする）。
その後、これらの「壊れた」画像を見せた対象として、15種類のシステムを用意しました。これらのシステムは3つのグループに分類されます：
- The Old Guard（旧世代）: ピクセルを見て「これは『a』に見える」と判断するだけの、伝統的なOCRツール（Tesseractなど）。
- The Specialists（スペシャリスト）: 文書を読むことに特化して訓練されたVLM。
- The Generalists（ジェネラリスト）: 数学から詩まで何でもこなす、強力で汎用性の高い大規模VLM（Qwen、GPT-4V、Geminiなど）。
結果： 「賢い」ロボットは賢すぎる
結果は驚くべきものであり、完璧なコピーを必要とする人々にとっては、少々不安な内容でした。研究者たちは、「ロボットが賢ければ賢いほど、テキストを書き換える傾向が強い」という事実を発見しました。
- The Old Guard（旧世代）: これらは最も忠実でした。テキストがめちゃくちゃになっても、回答はほとんど変わりませんでした。エラー率は0.6パーセントポイント未満の上昇にとどまりました。彼らはただ、目の前の混乱をそのままコピーしたのです。
- The Specialists（スペシャリスト）: ジェネラリストよりはマシでしたが、それでも修正を行いました。エラー率は0.2〜2パーセントポイント上昇しました。
- The Generalists（ジェネラリスト）: 忠実さに関しては最悪でした。テキストがシャッフルされたり視覚的に変更されたりすると、エラー率は最大で4.5パーセントポイントも跳ね上がりました。
なぜでしょうか？ これらの汎用モデルは、文章が「どう見えるべきか」を予測するのが非常に上手いため、実際に書かれているものを無視してしまうことがよくあるからです。もし彼らが「prbolem」を見たら、画像が明らかに「prbolem」であっても、自信満々に「problem」と出力してしまいます。これは、答えを熟知している生徒が、先生が黒板に書いた間違いを無視して、正しい答えを書いてしまうようなものです。
隠されたメカニズム：書き換えはいつ起こるのか？
なぜこのようなことが起こるのかを理解するために、研究者たちはモデルの一つであるQwen3-VL-4Bの内部を、レイヤーごとに調べていきました。彼らは、ロボットがエラーに対して「盲目」なのか、それともエラーを「無視している」のかを知りたかったのです。
そこで、興味深いルールを発見しました：ロボットは、その単語がまだ「馴染みがある」と感じている場合にのみ、書き換えを行うのです。
- もし、シャッフルされた単語の内部表現が、元の単語の表現に非常に近い状態（例：ぼやけた写真でも、まだ猫に見える状態）であれば、ロボットは「ああ、これは間違いなく『猫』だ！」と判断し、書き換えます。
- しかし、シャッフルがひどすぎて、内部表現が元の単はから大きく逸脱してしまった場合（例：写真がただの塊になってしまった状態）、ロボットは推測をやめ、ようやく見たままを読み取ります。
これが、なぜ単語の長さが非常に重要なのかを説明しています。短い単語（4〜6文字）は、ロボットが元の単語を推測しやすいため、最大10%の確率で書き換えられます。しかし、単語が8文字以上になると、書き換えは**0%**にまで落ち込みます。シャッフルがあまりに激しいため、ロボットの「推測する脳」では元の形を復元できず、諦めて忠実に転写するのです。
波及効果
最も驚くべき部分はここにあります：わずかな単語をめちゃくちゃにするだけで、その特定の単語だけに影響が留まりません。研究者たちは、文書内のわずか5%の単語を破損させるだけで、ジェネラリスト・モデルにおける「完璧で手つかずの」単語のエラー率が5〜10倍に跳ね上がることを発見しました。
まるで、ロボットがたった一つのタイポによって混乱し、その周囲のパラグラフ全体を読み間違え始めるかのようです。伝統的なOCRシステムにはこのような問題はなく、混沌に囲まれていても冷静かつ正確な状態を維持していました。
これが意味すること
この論文は、これらの洗練された新しいAIモデルは、文書を理解することには長けているものの、文字通りの完璧なコピーを必要とするタスクにおいては信頼できないと結論付けています。歴史的な写本をデジタル化したり、法的な契約書をチェックしたり、あるいは一文字のタイポが重要な医療記録を分析したりする場合は、伝統的なOCRや特化したツールを使用すべきです。汎用的なVLMは、直すべきではないものを直そうとする、あまりにも「お節介」すぎるのです。
研究者たちは、これらのモデルの使い方には注意が必要だと示唆しています。モデルが文書を「読める」からといって、それが「忠実に」読んでいるとは限らないのです。現時点では、書かれた通りの真実が必要な場合は、古き良き時代のロボットこそが、最も誠実な書記官なのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。