Towards Mechanistically Understanding Why Memorized Knowledge Fails to Generalize in Large Language Model Finetuning
本論文は、記憶された知識が汎化に失敗する、ファインチューニングされた大規模言語モデルにおける「知っていることと使いこなすことの乖離（Knowing–Using Gap）」を調査し、自己パッチング介入を用いることで、不整合な内部知識回路が効果的な推論を妨げていることを明らかにし、潜在的な汎化性能の58〜75%を回復させるヒューリスティックな戦略を提案するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
想像してみてください。あなたは、新しい事実「シドニーはオーストラリアにある」を学んだばかりの、超スマートなロボット司書を所有しています。あなたが「シドニーはどこ？」と尋ねると、ロボットは完璧に答えます。しかし、次にあなたが「シドニーがある国の首都は何ですか？」と尋ねると、ロボットはフリーズし、何のことだかさっぱり分からないような素振りを見せます。
これは、HKUST(GZ)およびHKUTの研究者たちが解決しようとしているまさにこのパズルです。彼らはこれを**「Knowing–Using Gap（知っていることと使うことのギャップ）」*と呼んでいます。これは、大規模言語モデル（LLM）が新しい情報を明らかに記憶しているにもかかわらず、それを少し複雑なパズルを解くために使う*ことに失敗するという、もどかしい瞬間です。
ミステリー：なぜロボットは立ち往生するのか
研究者たちは、これがロボットが「忘れている」からでも、論理的に考えるのが「馬鹿すぎる」からでもないことを突き止めました。実際、ロボットは答えを知っています。ただ、それを間違った部屋に隠してしまっているだけなのです。
これを理解するために、ロボットの脳を巨大な多層建てのオフィスビルだと考えてみてください。
- 初期のフロア（レイヤー1〜10）： これらはロビーや郵便室のようなものです。届いた荷物（事実の記憶）を保管することには長けています。
- 中間のフロア（レイヤー10〜20）： ここは「思考」部門であり、複雑な推論が行われる場所です。
- 上層のフロア（レイヤー20〜30）： ここは最終的なレポートが作成され、送出される場所です。
ロボットが新しい事実を学ぶとき、それは素早く情報をロビーや最上階に放り込みます。そこなら安全ですから！しかし、中間の「思考部門」にはそのメモが届きません。そのため、ロボットが多段階のパズル（シドニーをオーストラリアに結びつけ、さらにオーストラリアをその首都に結びつけること）を解こうとすると、情報は間違った場所に留まってしまうのです。それは、ポケットに図書カードを入れているのに、スーパーのレジでそれを使おうとしているようなものです。
探偵の仕事：「セルフ・パッチング（自己修復）」
どうやって、情報が存在しているのに配置が間違っているだけだと証明したのでしょうか？彼らは**「セルフ・パッチング（Self-Patching）」**と呼ばれる巧妙なトリックを編み出しました。
隣り合わせで動いている2台のロボットを想像してください。
- ロボットAは難しい質問に答えようとして失敗しています。
- ロボットBは、その答えを「ロビー」に保存しています。
研究者たちはロボットBの中に手を伸ばし、「シドニーはオーストラリアにある」という特定の記憶を掴み取り、それをロボットAの「思考部門」へと物理的に移動させました。
結果はどうだったでしょうか？ ロボットAは即座に問題を解決しました！
この実験は、知識が欠落していたのではなく、単に**「位置がずれていた（misaligned）」ことを示しました。ロボットはデータを持っていましたが、計算を行うために正しい脳の部分へとルーティングされていなかったのです。研究者たちはこれを「知識・回路の不一致仮説（Knowledge–Circuit Misalignment Hypothesis）」**と呼んでいます。
そうではないこと
研究者たちは、他の可能性を排除するために細心の注意を払いました。
- 脳のパワー不足ではない： 彼らはより大きく、より賢いモデルでもテストしましたが、問題は依然として発生しました。
- 「プロンプト」の問題ではない： ヒント（「ステップバイステップで考えて」と頼むなど）を与えても、効果はわずかでした。真の解決策は、より良い質問をすることではなく、メモリを移動させることでした。
- ロボットが新しい論理を学んでいるわけではない： ロボットは推論の方法を学ぶ必要があったのではなく、単にすでに知っている事実にアクセスする必要があっただけなのです。
朗報：シンプルな解決策
最も素晴らしい点は、どのメモリがどの事実に属しているかを正確に知らなくても、この問題を解決する方法を見つけたことです。
彼らは「思考部門（中間のレイヤー）」が鍵であることを突き止めました。彼らはシンプルなルールを作成しました。「もしロビーや最上階に事実が保存されているなら、それを中間フロアへ移動せよ」。
彼らはこのシンプルなルールを、異なるロボットモデルや、生物学から学術論文に至るまで、さまざまな種類の知識に対してテストしました。
- この修正を行わない場合、ロボットが推論問題を正解できた割合は、わずか**7%から18%**でした。
- この「メモリを移動する」というシンプルなルールを用いると、正解率は**35%から45%**に達しました。
このシンプルなトリックにより、ロボットが完璧に整列していれば達成できたはずの成功の**58%から75%**を回収することができました。これはすべてを解決する魔法の杖ではありませんが、問題が解決可能であることを証明しています。
まとめ
この論文は、AIモデルが学習した内容を使用できないとき、それは多くの場合、学習の問題ではなく**「ルーティング（経路設定）の問題」**であることを示しています。事実はそこにあり、脳の誤った隅々に安全に保管されています。それらの事実を「思考レイヤー」へと移動させるだけで、ロボットが点と点を結びつけ、パズルを解く手助けができるのです。
研究者たちは現在、将来のトレーニングにおいて、単にモデルに事実をより速く記憶させるだけでなく、それらの事実を推論のために正しい場所へと**「ルーティング」**することを教えるべきだと提案しています。それは「より多く教える」ことから「より良く整理する」ことへの転換なのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。