💬 NLP

From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks

この論文は、大規模言語モデルが文字数カウントなどの単純な記号タスクで失敗する原因が、情報の欠如ではなく、後続の層（特に最終層のMLP）における正解信号を抑制する「負の回路」による構造的な干渉にあることを示し、モデルの推論プロセスが正解と誤答の競合と抑制によって成り立っていることを明らかにしたものです。

原著者： Ayan Datta, Mounika Marreddy, Alexander Mehler, Zhixue Zhao, Radhika Mamidi

公開日 2026-04-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ayan Datta, Mounika Marreddy, Alexander Mehler, Zhixue Zhao, Radhika Mamidi

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

天才が「リンゴ」の文字数を数えられない理由：AI の「隠れた悩み」を解き明かす

この論文は、現代の巨大な AI（大規模言語モデル）が、なぜ人間にとって簡単な「リンゴ（apple）の中に p が何個あるか？」といった文字数のカウント問題で、なぜか失敗してしまうのかを、AI の「頭の中」を覗き込んで解き明かした興味深い研究です。

結論から言うと、**「AI は答えを知っているのに、あえて間違える」**という現象が起きていることがわかりました。

以下に、専門用語を排して、身近な例え話を使って解説します。

1. 問題：なぜ天才が簡単な計算でつまずく？

AI は小説を書いたり、複雑なプログラミングをしたりする天才ですが、**「単語の中に特定の文字が何回出てくるか」**を数えるような、小学生でもできるような単純なタスクになると、なぜかボロを出します。

リンゴ（apple）の中に「p」は 2 個ある。
イチゴ（strawberry）の中に「r」は 3 個ある。

これらを AI に聞くと、多くの場合、間違った答え（「1 個」や「3 個」など）を返してきます。なぜでしょうか？

2. 調査：AI の「頭の中」を覗いてみた

研究者たちは、AI がどう考えているかを探るために、以下のような「手術」を行いました。

A. 「答えは最初からわかっていた！」

AI の内部（隠れ層）を調べると、「リンゴ」の文字を処理している瞬間には、すでに「p が 2 個ある」という正しい情報が、AI の頭の中にしっかり刻み込まれていることがわかりました。

例え話： 料理人が野菜を切っている最中に、「この野菜は 2 切れだ」と正確に認識している状態です。

B. 「しかし、最後の瞬間に裏切られた」

問題は、その情報が**「出力（答えを言う）」の直前で消されてしまう点にあります。
AI の最後の数段（層）にある特定の部品が、「正しい答え（2）」を無視して、間違った答え（1 や 3）を強く押し出してしまう**のです。

例え話：
料理人が「2 切れ」と正確に認識しているのに、「お皿に盛る直前」に、別の誰かが「いや、1 切れだ！」と大声で叫んで、料理人の口を塞いでしまうような状態です。
料理人（AI の前半部分）は正しい知識を持っていますが、最後の発表者（AI の後半部分）が、より「確からしい（頻出する）」間違った答えを選んでしまうのです。

3. 発見：AI の「悪の回路」

研究チームは、この「正しい答えを消し去る」働きをする部品を**「ネガティブ・サーキット（悪の回路）」**と呼びました。

どこにいる？ 主に AI の「最後の数段」にいます。
何をしている？ 正しい情報を「弱める」か、逆に「1」という簡単な答えを「強くする」ように働いています。
なぜ？ AI は過去の学習データ（本やネット記事）で、「1 個」という答えが最も多いことに慣れてしまい、複雑に数えるよりも「とりあえず 1 個」と答える方が確率的に楽だと学習してしまったようです。

4. 驚きの事実：大きくしても、教訓しても直らない

サイズを大きくしてもダメ： 20 億パラメータの小さなモデルから、90 億パラメータの大きなモデルまで試しましたが、「答えを知っているのに消してしまう」という癖は、モデルが大きくなっても直りませんでした。
教えてもダメ： 人間のように「丁寧に教えて（インストラクションチューニング）」も、この癖は消えませんでした。むしろ、AI は「1 と 2 を交互に言う」という新しい間違った癖をつけてしまいました。

5. この研究が教えてくれること

この研究は、AI の失敗は「知識不足」や「頭が小さいから」ではなく、「正しい情報を処理する仕組み」と「それを出力する仕組み」の間に、邪魔をする回路があるからだと示しています。

重要な教訓：
AI は、単に「答えを覚える」だけでなく、「答えを信じて出力する」ことにも失敗しています。
これまでの AI 開発は「もっと大きくすれば良くなる」という考えでしたが、この研究は**「AI の内部構造そのものを見直さないと、単純なミスは直らない」**という警鐘を鳴らしています。

まとめ

AI は、「リンゴの p は 2 個だ」という事実を、最初から最後までしっかり理解しているのに、最後の瞬間に「いや、1 個だ！」と嘘をついてしまうのです。

これは、AI が「計算できない」のではなく、**「計算した結果を、自分の信じる（間違った）直感に押しつぶされてしまう」**という、人間にはない独特の「脳の歪み」を持っていることを意味します。

この発見は、より信頼性の高い AI を作るために、単に大きくするだけでなく、**「正しい情報を出力まで届けるための道筋」**を設計し直す必要があることを示唆しています。

この論文「From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks（初期エンコーディングから後期抑制へ：文字数カウントタスクにおける LLM の解釈）」の技術的な要約を以下に示します。

1. 問題設定 (Problem)

大規模言語モデル（LLM）は複雑なベンチマークでは高い性能を発揮する一方で、「apple」という単語に「p」がいくつ含まれるかといった、人間にとっては自明な記号論理的タスク（文字数カウント）において、体系的な失敗を示します。
既存の研究ではこの現象が報告されていますが、その内部メカニズム（なぜ失敗するのか）については十分に解明されていません。本研究は、LLM が文字レベルの情報を「表現していない（欠落している）」のか、それとも「表現しているが利用できない（干渉されている）」のかを明らかにすることを目的としています。

2. 手法 (Methodology)

著者らは、LLaMA 3.2、Qwen 2.5、Gemma 2 の各ファミリー（ベースモデルおよび指示微調整済みモデル）を対象に、以下の手法を組み合わせることで、モデル内部の計算過程をメカニズム的に解析しました。

制御されたタスク設計: WordNet や Wiktionary から抽出した単語を用い、特定の文字の出現回数を問うプロンプト（例：「The number of 'p's in apple is」）を作成しました。
プロービング分類機 (Probing Classifiers): モデルの各層の隠れ状態（残差ストリーム）から、文字カウント情報を線形に復元できるかを確認しました。これにより、情報がモデル内に存在するかを判定します。
Logit Lens 分析: 中間層の隠れ状態を語彙空間に投影し、各層で正解のトークンの確率がどのように変化するかを追跡しました。
活性化パッチング (Activation Patching): 「クリーンな入力（正解が必要な入力）」と「汚染された入力（文字や単語を変更した入力）」の中間活性化を交換し、どの層やコンポーネントが正解の生成に因果的に寄与しているか、あるいは阻害しているかを特定しました。
評価指標: 正解トークンのロジットと競合する不正解トークンのロジットの差（ $\Delta$ ）、および正解確率と観測された予測確率の差（ $\Delta_p$ ）を用いて、情報の抑制度を定量化しました。

3. 主要な発見と結果 (Key Findings & Results)

A. 情報のエンコーディングと利用の乖離

初期・中期層での正確なエンコーディング: プロービング実験により、モデルは初期層から中期層にかけて、文字レベルの情報を非常に高い精度（80% 以上）で残差ストリームにエンコードしていることが判明しました。これは、モデルが文字情報を「持っていない」わけではないことを示しています。
後期層での情報の喪失: しかし、この情報は最終的な予測位置（プロンプトの最後のトークン）へ伝達される過程で失われます。特に、最終層に近い部分で情報の整合性が崩れ、正解への確信度が低下します。

B. 「負の回路 (Negative Circuits)」による能動的な抑制

最も重要な発見は、正解が出力されない原因は情報の欠如ではなく、後期層における「能動的な抑制」であるという点です。

抑制のメカニズム: 最終層の MLP（多層パーセプトロン）と、場合によっては最終層の Attention ヘッドが、正解の信号を意図的に減衰させ、確率的に高いが誤った出力（例：Qwen は常に「1」と予測する、LLaMA はほぼ均一なランダム予測をする）を優先する回路として機能しています。
負の回路の特定: 活性化パッチングにより、これらの後期コンポーネントに「クリーンな」活性化をパッチしても性能が回復せず、むしろ悪化することが確認されました。これは、これらのコンポーネントが正解を**積極的に阻害する「負の回路」**として働いていることを示唆しています。

C. スケーリングと微調整の影響

パラメータ数の増加（2B〜9B）: モデルを大きくしても、この抑制パターンは解消されず、むしろ維持されました。
指示微調整 (Instruction Tuning): 指示微調整済みモデルでも同様の抑制が見られ、単に予測戦略が「1 と 2 を交互に予測する」などに変化するのみで、根本的な文字数カウント能力の向上は認められませんでした。

4. 貢献と意義 (Contributions & Significance)

失敗のメカニズムの解明: LLM の記号論理的失敗は、表現能力の不足やスケール不足によるものではなく、計算グラフ内の**構造的な干渉（後期層による正解信号の抑制）**に起因することを初めて実証しました。
競争的デコーディングの提示: LLM のフォワードパスは、単なる情報の伝達ではなく、正解と誤った仮説が共存し、最終的に**「増幅」だけでなく「抑制」によって出力が決定される競争的デコーディング**のプロセスであることを示しました。
アーキテクチャ設計への示唆: 単に情報をエンコードするだけでなく、その情報を最終出力まで確実に利用できるようにする新しい設計戦略の必要性を浮き彫りにしました。現在の Transformer アーキテクチャでは、低レベルの記号情報が後期層で上書き・抑制されやすいという構造的な弱点が存在します。

結論

この研究は、LLM が「文字数カウント」のような単純なタスクで失敗する根本的な理由が、**「知っているのに言えない（表現はあるが、後期処理で抑制される）」**というメカニズムにあることを明らかにしました。これは、LLM の解釈可能性（Interpretability）とロバスト性の向上において、単なるデータ量の増加や微調整ではなく、モデル内部の信号伝達経路と抑制メカニズムの制御が重要であることを示唆しています。