The Readout Shortcut: Positional Number Copying Dominates Arithmetic CoT Readout in Small Language Models
本論文は、小規模言語モデル（1–3B）が、Chain-of-Thought プロンプティングにおいて、真の算術推論を迂回し、単に答えの区切り記号の直前にある数値をコピーするという位置的なショートカットに依存する傾向があることを明らかにしており、このメカニズムが性能を支配し、CoT ベースの監視の忠実性を損なうものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
小さな意欲的なロボットに数学の問題を解いてもらうと想像してみてください。あなたはそのロボットに「思考の連鎖（Chain of Thought、CoT）」というプロンプトを与えます。これは、ロボットに最終的な答えを出す前に、段階的に作業過程を示すよう求めるようなものです。ロボットが数学を計算し、論理を検証してから、結果を書き出すことを期待します。
しかし、この論文は驚くべき秘密を明かしています：ロボットは実際には答えを得るために数学を計算しているわけではありません。ただ、最後に目にした数字をコピーしているだけです。
以下に、研究者たちが発見した内容を、簡単な比喩を用いて解説します。
1. 「最後のページ」のトリック
答えが最後のページに隠されている物語の本を読んでいると想像してください。
- 期待： あなたはロボットが物語全体を読み、プロットを理解し、それから結末を推測すると考えています。
- 現実： ロボットは流し読みをしています。プロット、登場人物、論理を無視します。ただ、「おしまい」の合図（区切り文字
####）の前に書かれた最後の数字を見て、それをコピーするだけです。
研究者たちは物語のページをシャッフルすることでこれを証明しました。
- 数学のステップの順序を混ぜても、最後のページに正しい答えがあれば、ロボットは正解しました。
- 数学のステップを完璧な順序のままにしても、正しい答えを物語の途中に移すと、ロボットは失敗しました。
- 結論： 論理の順序は関係ありません。重要なのは、最終的な数字の位置だけです。
2. 「気晴らし」の罠
ロボットが実際に考えているかどうかを試すため、研究者たちはあるトリックを仕掛けました。完璧で正しい数学の解答を書いた後、「おしまい」の合図の直前に間違った数字を忍び込ませました。
- 結果： ロボットは、さっきまで書いていた正しい数学を無視し、自信を持って間違った数字をコピーしました。
- 比喩： 黒板で問題を正しく解いた生徒が、提出する直前に先生から耳元で間違った答えを囁かれるようなものです。生徒は自分の正しい解答を消し、聞いたままの答えを書き写します。
- 試験された小型モデル（10 億〜30 億パラメータ）では、この現象が**87% から 95%*の頻度で発生しました。ロボットは数字が正しいか間違っているかに関係なく、それが最後*の数字であることだけを気にしていました。
3. 「魔法の扉」（ロボットによって異なるルール）
すべてのロボットが全く同じように振る舞うわけではありません。研究者たちは 3 種類の異なる小型モデルをテストしました。
- Qwen と Llama： これらは「コピー機」のようです。たとえ作り物の気晴らしであっても、最後の数字を何でもコピーします。フィルターはほとんどありません。
- Gemma： このロボットは少し賢いです。「扉」を持っています。最後の数字が明らかに間違っているか、文脈に合わない場合、それをコピーすることを拒否することがあります。より選択的ですが、それでも最後の位置に大きく依存しています。
4. 「隠された計算」
ここが最も頭を混乱させる部分です：ロボットは実際には数学を計算できるのです。
- 研究者たちが「最後の数字」を完全に削除し（ロボットに最終的な答えをコピーするものを与えず、数学のステップだけを残した）、ロボットは正確性が大幅に向上しました。
- 比喩： 通常、ページの下部にある答えの鍵を見てカンニングする生徒を想像してください。もし答えの鍵をテープで隠せば、生徒は実際に問題を解くことを強いられます。彼らは解けるのです！しかし、答えの鍵が下部に見えている限り、彼らは自分の作業を無視して、ただそれをコピーするでしょう。
- 最後の数字をコピーするという「近道」は非常に強力であり、ロボットが自分の計算能力を使うことを妨げています。
5. なぜこれが AI の「検証」にとって重要なのか
多くの人が、AI が正直かどうかを確認するために「思考の連鎖」を使用しています。彼らは論理が妥当かどうかを確認するためにステップを見ています。
- 問題点： この論文は、小型モデルの場合、ステップは単なる「装飾」であることが多いことを示しています。ロボットはステップを書き記しますが、最終的な答えは、全く異なる怠惰なメカニズム（最後の数字をコピーすること）によって決定されます。
- リスク： 数学の問題に対して完璧で論理的な説明を書くロボットが、最終的に誤って（あるいは悪意を持って）最後の数字に間違った数値を置く可能性があります。ロボットはその間違った数字を出力し、人間の審査員は「ああ、ステップは素晴らしかったから、答えも正しいに違いない」と思うかもしれません。しかし、ロボットはそのステップを使って答えを導き出しているわけではありません。
まとめ
小型 AI モデルの世界において、「思考の連鎖」は多くの場合、プロセスではなくパフォーマンスです。 モデルは賢く見えるために推論を書き記しますが、最終的な答えを出す時が来ると、近道を取ります。つまり、目にした最後の数字を掴み取り、それをコピーし、他のすべてを無視するのです。
これは、コンテンツをコピーする前に数字の内容を実際にチェックし始める、より大規模で高度なモデル（70 億〜80 億パラメータ）では発生しません。しかし、より小型で安価なモデルにとっては、「最後の数字」のルールが王様なのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。