💬 NLP

Recursive Concept Evolution for Compositional Reasoning in Large Language Models

本論文は、推論中にモデルの内部表現幾何学を動的に修正し、既存の概念の再結合ではなく新たな抽象化を構築可能にする「再帰的概念進化（RCE）」フレームワークを提案し、Mistral-7B への統合により ARC-AGI-2 や GPQA などの構成的推論ベンチマークで大幅な性能向上を実現したことを報告しています。

原著者： Sarim Chaudhry

公開日 2026-02-18

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Sarim Chaudhry

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、**「巨大な AI（大規模言語モデル）が、新しいことを学ぶために、自分の『頭の構造』自体をリアルタイムで書き換えることができる」**という画期的なアイデアを提案しています。

タイトルは**「再帰的概念進化（RCE）」**です。

以下に、専門用語を排し、日常の比喩を使ってわかりやすく解説します。

1. 今の AI の問題点：「完成された地図」の罠

今の AI は、膨大なデータで「勉強」を終えた後、**「完成された地図」**を持って旅に出ます。
この地図には、AI が事前に学んだあらゆる知識やパターンが描かれています。

現状のやり方： 難しい問題（例：複雑なパズルや数学）が出ると、AI はこの地図を頼りに「A なら B、B なら C」というように、地図の上をぐるぐる回ることで答えを見つけようとします。
問題点： もし、その問題が**「地図に描かれていない新しい地形」**（例えば、全く新しい法則や、過去の経験にない抽象的な概念）を要求する場合、AI はどうなるでしょうか？
- 地図にない場所なので、AI は無理やり「一番近い既存の道」を辿ろうとします。
- その結果、**「一見正しそうな、しかし根本的に間違っている答え」**を出してしまいます。
- どれだけ「考え直す（Chain of Thought）」時間を増やしても、地図そのものが古いままだと、新しい道は開拓できません。

2. RCE の解決策：「その場で地図を描き足す」

この論文が提案する**「RCE（再帰的概念進化）」は、AI に「旅の途中で、新しい地図の部分をその場で描き足す力」**を与えます。

AI は「完成された地図（固定された重み）」を保持しつつ、**「新しい概念（新しい道）」**を必要に応じて作り出し、地図に追加していくのです。

具体的な仕組みを 4 つのステップで説明します

① 失敗の検知（「あ、この道じゃ通れない！」と気づく）
AI が問題を解こうとして、自信が持てない（答えが曖昧になる）と、システムが「今の地図ではこの問題は解けない」と察知します。これを「失敗シグナル」と呼びます。

② 概念の誕生（「新しい道具」をその場で発明する）
失敗した瞬間、AI は**「新しい低ランクの概念（新しい道具）」**をその場で発明します。

比喩： 山登りで道に迷った時、既存の地図にはない「新しい登山道」を、その場で即興で描き足すようなものです。
この新しい道具は、AI の内部にある「低ランクのサブスペース（小さな概念の箱）」として作られます。

③ 選別と淘汰（「本当に必要な道具か？」をチェックする）
何でもかんでも新しい道具を作ると、脳がパンクしてしまいます。そこで**「最小記述長（MDL）」**というルールで選別します。

ルール： 「この新しい道具を使うことで、問題が劇的に簡単になるなら OK。でも、道具自体が複雑すぎて、メリットがデメリットを上回らないなら捨てる」。
比喩： 荷物を増やすなら、その荷物が「旅を劇的に楽にする」ものでなければなりません。単なる「重り」になるものは捨てられます。

④ 融合と進化（「道具の組み合わせ」でレベルアップ）
同じように使われる「道具」同士は、**「融合」**してより高度な概念になります。

例：「色を変える」という道具と「形を反転させる」という道具が、いつもセットで使われるなら、これらを合体させて**「反射して色を変える」という新しい高度な戦略**として保存します。
これにより、AI は単純なルールから、複雑な抽象概念へと**「進化」**していきます。

3. なぜこれがすごいのか？

計算コストが低い：
従来の方法（答えを何回も試すなど）は、AI に「何回も考えさせる」ことで精度を上げようとし、計算量が爆発的に増えます。
RCE は、「頭の構造（地図）」を少しだけ書き換えるだけなので、計算コストはほとんど増えません（約 4% のオーバーヘッドのみ）。
分布外（未知）の強さ：
従来の AI は「見たことのあるパターン」には強いですが、少し変則的な問題（色が変わったパズルなど）には弱いです。
RCE は「構造そのもの」を捉える新しい概念を作るため、「色が変わっても、ルールは同じだ」と理解し、高い精度を維持します。

4. 実験結果：どれくらい良くなった？

Mistral-7B という AI にこの仕組みを導入したところ、以下のような劇的な改善が見られました。

ARC-AGI-2（高度な推論パズル）： 正解率が12〜18% 向上。
GPQA（大学院レベルの科学問題）： 正解率が8〜14% 向上。
MATH（数学）： 深い論理推論が必要な問題で、エラーが大幅に減少。

特に、**「既存の知識に頼らず、新しい法則を発見する必要がある」**ようなタスクで、他のどんな方法よりも圧倒的に良い結果を出しました。

5. まとめ：AI の「学習」の定義を変える

この論文の核心は、**「AI は、事前に勉強した知識（地図）をただ使うだけでなく、問題に直面した瞬間に、新しい概念（地図の新しい部分）を自分で作り出し、進化させられる」**という点です。

従来の AI： 完成された辞書を引いて、最も似ている答えを探す。
RCE を使った AI： 辞書に載っていない新しい言葉を、その場で作り出し、辞書に追加して、より賢くなる。

これは、AI が単なる「知識の引き出し」から、**「経験を通じて知性を進化させる生き物」**へと一歩近づいたことを示す、非常に重要な研究です。

論文要約：Recursive Concept Evolution for Compositional Reasoning in Large Language Models

1. 概要

本論文は、大規模言語モデル（LLM）が複雑な推論タスクにおいて高い性能を発揮する一方で、**構成推論（Compositional Reasoning）を必要とするベンチマーク（ARC-AGI-2, GPQA, MATH など）では精度が急激に低下する問題に焦点を当てています。既存の手法はトークンレベルの探索を拡張するものの、モデルの潜在的な表現空間（Latent Representation Space）そのものを固定したままです。著者らは、推論中にモデルが内部表現の幾何学的構造を動的に変更し、新しい抽象概念を構築できる枠組み「Recursive Concept Evolution (RCE)」**を提案しました。

2. 問題の定義と背景

既存の限界: 現在のトランスフォーマーモデルの隠れ状態は、事前学習によって固定された有限次元のベクトル空間に存在します。Chain-of-Thought (CoT) や Tree-of-Thought (ToT) などの手法は、この固定された空間内での探索を深めるだけであり、タスクに必要な新しい抽象化（例：ARC グリッドの隠れた対称性の発見）が事前学習の表現空間に存在しない場合、モデルは既存のパターン間の補間を行って誤った結論を導き出してしまいます。
構造的ボトルネック: 推論中に必要な方向性（Invariant や抽象化）が事前学習で学習されていない場合、トークンの生成を増やしてもそれらを表現することはできません。モデルは「間違った地図」でより詳しく探索しているに過ぎません。

3. 提案手法：Recursive Concept Evolution (RCE)

RCE は、事前学習済みのモデルの重みを凍結したまま、推論時に**低ランク概念部分空間（Low-rank Concept Subspaces）**を動的に生成・評価・統合するフレームワークです。

3.1 主要メカニズム

概念部分空間の定義:
- 各概念 $C_i$ は、低ランク基底行列 $B_i \in \mathbb{R}^{d \times r}$ （ $r \ll d$ ）、ゲート関数 $g_i(x)$ 、および射影演算子 $P_i = B_i B_i^\top$ で構成されます。
- 特定のデコーダ層（例：層 18）において、隠れ状態 $h$ に以下の更新を適用します：
  $h' = h + \sum_{i \in A(x)} g_i(x) B_i B_i^\top h$
- ここで $A(x)$ はスパースなトップ- $k$ ゲートによって選択されたアクティブな概念の集合です。
概念の生成（Spawn）:
- 予測エントロピーが高く、トップトークンのマージンが低い場合（モデルが現在の表現基盤では不十分と判断した場合）、失敗スコア $F(x)$ が閾値を超えます。
- この信号に基づき、MLP による「概念生成器」が、入力状態に特化した新しい低ランク基底 $B_i$ を生成します。
最小記述長（MDL）による選別:
- 生成された候補概念は、タスク損失の削減とモデル複雑さの増加のバランスを取る**最小記述長（MDL）**基準で評価されます。
- 概念がタスク表現を圧縮する効果（損失削減）が、モデルの複雑さ（記述コスト）の増加を上回る場合にのみ、ライブラリに採用されます。これにより、過学習や無意味な概念の増加を防ぎます。
相乗効果による統合（Merge）:
- 異なる概念が頻繁に同時に活性化し、その組み合わせが個別の概念よりも優れた性能（相乗効果）を示す場合、それらは特異値分解（SVD）を通じてより高次の抽象概念に統合されます。これにより、階層的な概念構造が自然に形成されます。
正則化と安定化:
- 直交性ペナルティ: 異なる概念間の重複を抑制。
- ゲートエントリペナルティ: 疎な活性化を促進。
- 使用率に基づく剪定: 一貫して活性化しない概念を削除。
- クリスタライゼーション（結晶化）: 長期にわたり安定して有用な概念を、LoRA などのアダプターとしてベースモデルに定着させるプロセス。

4. 実験結果

Mistral-7B をベースモデルとして、ARC-AGI-2, MATH, BBH, GPQA, HLE の 5 つのベンチマークで評価されました。

性能向上:
- ARC-AGI-2: ベースモデル（12.4%）から 28.0% へ（CoT や GRPO などの強固なベースラインを大きく上回る）。
- GPQA: 24.1% → 41.4%
- BBH: 51.3% → 70.5%
- MATH: 28.6% → 47.4%
- HLE: 8.2% → 18.7%
- 既存の CoT、Self-Consistency、ToT、GRPO、DisCO などの手法をすべてのベンチマークで上回りました。
分布外（OOD）頑健性:
- ARC-AGI-2 における色の変更、空間回転、ダミー要素の追加などの分布シフトに対して、RCE は標準精度の 91% 以上 を維持しました（ベースラインは 68-80%）。これは RCE が表面の手がかりではなく、構造的な不変性を学習していることを示しています。
計算効率:
- RCE はベースモデルの計算コストを 1.04 倍（4% のオーバーヘッド）に抑えつつ、Self-Consistency (16 倍) や ToT (24.5 倍) が達成する精度を凌駕しました。これはトークン生成を増やすのではなく、表現の質を高めるアプローチの効率性を示しています。
概念ライブラリの分析:
- 学習後、ライブラリは 47 の概念に収束しました。これらは「プリミティブ概念（対称性など）」、「中間概念（統合戦略）」、「高次抽象概念」の 3 層構造を形成しており、タスク間で再利用されていることが確認されました。

5. 主要な貢献

表現進化の重要性の特定: 構成推論における固定された潜在幾何学の限界を形式化し、推論中の動的な表現進化が欠落している主要なアーキテクチャ要素であることを示しました。
RCE フレームワークの提案: 事前学習モデル内で、失敗検知に基づく概念生成、MDL による圧縮ベースの選択、相乗効果による階層的統合、および安定化を行う新しい枠組みを提案しました。
実証的検証: Mistral-7B への統合により、構成推論ベンチマークで一貫した改善と、推論深度に対する頑健性の向上を実証しました。

6. 意義と結論

本論文は、LLM の推論能力向上を「トークンレベルの軌道最適化（Trajectory Optimization）」から「表現レベルの適応（Representation-level Adaptation）」へと転換する重要なステップです。

認知的柔軟性の模倣: RCE は、既存の概念が不十分な場合に新しい概念的ツールを「発明」する人間の認知的柔軟性をモデルに実装しました。
累積的学習: 概念ライブラリは静的な知識貯蔵庫ではなく、経験を通じて成長し、次の抽象化の基礎となる「表現の道具のレパートリー」として機能します。
将来の展望: 70B 以上の大規模モデルへのスケーリングや、外部メモリとの統合、敵対的入力への耐性強化など、今後の課題は残されていますが、事前学習の表現に縛られない、経験を通じて推論能力が累積的に成長するシステムの道筋を開きました。

結論として、RCE は静的な潜在空間が構成推論に課す根本的な天井を取り除き、LLM がより高度な抽象化と構造的推論を可能にするための有効かつ補完的なアプローチであることを示しています。