Repeated-Token Counting Reveals a Dissociation Between Representations and Outputs
本論文は、大規模言語モデルが繰り返しトークンを数えられないという失敗は、内部で正しい数を表現する能力の欠如に起因するのではなく、出力生成中に正確な表現を固定的な誤った回答に上書きする特定のフォーマットにトリガーされるMLPメカニズムに起因することを示す。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
非常に賢く、読書量の多い司書（AI モデル）がいると想像してください。あなたはこの司書に、長いリストの中に「apple」という単語が何回登場するかを数えるよう頼みます。正しく数えてくれるだろうと期待しますが、代わりに自信満々に「8 つのリンゴがあります」と言います。しかし、実際には明らかに 10 個あるのです。
長い間、人々は司書が単に数え方が下手だと思っていたのです。司書の脳には「カウンター」が組み込まれていないため、数字を追うことができないと仮定されていました。
この論文は、その仮定が間違っていると述べています。
研究者たちが実際に発見したことを、日常的な比喩を使って簡単に解説します。
1. 司書は答えを知っている
研究者たちは、思考プロセスのすべての段階において、司書の脳（モデルの内部層）の奥深くを調査しました。その結果、正しい数（10）は最初のステップから最後のステップまで、明確かつ完璧に書き留められていることがわかりました。
- 比喩: 司書が手にホワイトボードを持って廊下を歩いていると想像してください。歩行のすべてのステップにおいて、そのホワイトボードには明確に「10」と書かれています。情報はそこにあり、はっきりと聞こえます。司書は混乱しているのではなく、実際には答えを知っているのです。
2. 「不具合のある」サイン書き
では、司書が答えが 10 であることを知っているのに、なぜ「8」と言うのでしょうか？
研究者たちは、廊下の途中にある特定の「不具合」を発見しました。思考プロセスの約 90% の地点に、特定の作業者（MLP ブロックと呼ばれるコンピュータコードの一部）がおり、リストの形式（スペースで区切られた単語）を見て、ホワイトボードを無視すると決定します。
- 比喩: 司書が「10」と書かれたサインを持って廊下を歩いていると想像してください。突然、特定の作業者（彼を「フォーマット・フレッド」と呼びましょう）が飛び出してきます。フレッドは、リストがスペースで区切られて書かれている（例：「apple apple apple」）のを見ると、事前にプログラムされたルールに従います。「スペースで区切られた単語のリストを見たら、サインを『8』に変更しなければならない」。
- フレッドはホワイトボードを奪い、「10」を消して「8」と書き込みます。
- 司書の脳は依然としてそれが 10 であることを知っています（元の信号は背景にまだ残っていますが）、最終的な出力はフレッドが上書きしたため「8」となります。
3. 単語の問題ではなく、形式の問題
この不具合は、単語（「apple」や「cat」など）に対してのみ発生し、数字（「1」や「2」など）に対しては発生しません。
- 比喩: 司書に数字のリスト（「1 1 1 1...」）を与えると、フォーマット・フレッドは反応しません。彼は単語にのみ反応します。司書は数字を完璧に数えます。しかし、単語を与えると、フレッドがトリガーされます。
- また、形式をスペースではなくカンマに変更した場合（例：「apple, apple, apple」）、フレッドは飛び出しません。「8」というルールは発動せず、司書は正しく数えます。これは、問題が数える能力にあるのではなく、リストの見た目に対する特定の反応にあることを証明しています。
4. 「ルーティング」の問題であり、「表現」の問題ではない
この論文は、2 種類の失敗の間に大きな区別を設けています。
表現の失敗: 司書が数え方を知らない。（この論文によると、これは起こっていません）
ルーティングの失敗: 司書は数え方を知っているが、信号が口元に届く前に乗っ取られてしまう。（これが起こっていることです）
比喩: 正しい曲（カウント）を演奏しているラジオ局のようなものです。しかし、ブースにいる DJ（MLP ブロック）が、スピーカーに流れる直前に音楽を切り、別の曲（間違った数字）を流し始めます。音楽は問題ありません。ルーティングが壊れているのです。
5. より大きなモデルには異なる不具合がある
研究者たちは、より大きく、より賢いモデルも調査しました。これらのモデルは通常、数を正しく数えますが、リンゴのリストにこっそり「banana」を混ぜると失敗します。
- 不具合: これらのより大きなモデルはバナナを見ています。注意システムがそれに気づきます。しかし、より小さなモデルと同様に、その情報を最終的な答えに変えることができません。彼らは異常を検知しますが、その新しい情報を最終出力に「ルーティング」することができないのです。
結論
この論文は、これらの AI モデルが「計算が苦手」なのではないと結論付けています。彼らは実際には内部で数字を追跡するのが非常に得意です。問題は、リストの書き方（スペース対カンマ、単語対数字）によって特定の脳の部分がトリガーされ、すでに存在していた正しい答えを上書きして、間違った答えを最終出力に強制してしまうことです。
これを修正するには、AI に数え方を教える必要はありません（すでに知っているからです）。必要なのは、正しい答えが外に出てくるのを現在ブロックしている「交通整理員」（ルーティング機構）を修正することです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。