技術概要：LANTERN – 経験ゲート型推論ネットワークを備えた LLM 拡張ニューロ記号転移

問題定義

強化学習（RL）は、構造化された時間的推論を必要とする長期視野・非マルコフ的な目的を伴うタスクにおいて、特にサンプル効率の低さに直面する傾向がある。記号表現（決定性有限オートマトン：DFA など）を RL に統合するニューロ記号アプローチはサンプル効率を向上させてきたが、既存の転移学習手法には 3 つの重要な限界が存在する：

1. 手動仕様： 多くの手法は、専門家による DFA または時間論理式の提供を必要とするが、これらは入手が困難である。文法推論アプローチは存在するが、スパースまたは探索的な RL には不適切な構造化された軌道データを必要とする。
2. 単一ソースへの依存： 現在の転移手法（例：オートマトン蒸留、方策蒸留）は、通常、単一のソースタスクに依存する。ソースタスクとターゲットタスクの目的が異質であるか、構造が部分的にしか整合していない場合、その有効性は制限される。
3. 固定された統合メカニズム： 既存のフレームワークは、事前決定された重み付けスキーム（例：指数関数的減衰）または静的なハイパーパラメータを使用しており、ソースの関連性が状態や時間とともに変化する際に適応できない。

本論文は、複数のソースタスクが互いに異なり、部分的に関連する目的を持つ状況における多ソースニューロ記号転移の課題に取り組む。このような領域では、単一のソース方策またはオートマトンの直接的な再利用では不十分であり、代わりに、異種タスクにわたる構造化された知識の集約と意味的整合が必要となる。

手法：LANTERN フレームワーク

LANTERN（経験ゲート型推論ネットワークを備えた LLM 拡張ニューロ記号転移）は、上記の限界を克服するために設計された統合フレームワークであり、以下の 5 つの段階で構成される：

1. LLM 強化オートマトン生成

手動仕様の代わりに、LANTERN は自然言語のタスク記述（$T_{desc}$）から直接、大規模言語モデル（LLM）を用いてターゲット DFA（$D_{tgt}$）を生成する。

• プロセス： 構造化されたプロンプトにより、LLM にサブゴールの抽出、マイルストーンを表すオートマトン状態の定義、決定論的遷移の指定、および各状態に対する自然言語の意味記述の生成を指示する。
• 出力： ターゲット DFA と、オートマトン状態を意味記述にマッピングした結果。これらはタスク間整合の基盤となる。

2. 意味埋め込みと近傍構築

異なる目的を持つタスク間での転移を可能にするため、LANTERN は共有された意味埋め込み空間を構築する。

• 埋め込み： オートマトン状態の自然言語記述（ソースおよびターゲットタスクの両方から）を、固定されたテキスト埋め込みモデル（例：sentence-BERT）を用いてベクトル空間 $\phi(\omega) \in \mathbb{R}^d$ にマッピングする。
• 類似度と近傍： ターゲット状態 $\omega_{tgt}$ とソース状態 $\omega_{src}^k$ との間の意味的類似度をコサイン類似度で計算する。各ターゲット状態について、すべての $K$ 個のソースタスクにわたる最も類似した上位 $M$ 個のソース状態を選択し、「意味的近傍」（$N_M$）を形成する。
• 重み付け： 集約重みは類似度スコアに基づいて正規化され、意味的に整合した状態がより強くガイドに寄与することを保証する。

3. 多ソース知識集約

LANTERN は、意味的近傍からのガイドを 2 つの次元で集約する：

• 戦略的ガイド（オートマトンレベル）： ソースタスクからの高レベルなタスク進行を表す蒸留された Q 値（$Q_{k,AD}$）を集約する。集約された値 $Q_{agg}^{AD}$ は、ソース戦略的値の重み付き和である。
• 戦術的ガイド（方策レベル）： 整合したソース状態からの教師方策（$\pi_{teacher}^k$）を集約し、アクションレベルのガイドを提供する。

4. 二重変動性経験ゲート

学生学習と教師ガイドを適応的にバランスさせるため、LANTERN は 2 つの変動性指標を組み合わせた複合信頼ゲート $\tau$ を導入する：

• 経験変動性（$V^{exp}$）： 学生学習の時間的差分（TD）誤差の変動性を追跡する。高い変動性は不安定さを示し、教師ガイドを優先する。
• 意味変動性（$V^{sem}$）： ターゲット状態とその最良一致ソース状態（類似度に基づく）との間の不一致を測定する。高い意味変動性は整合性の悪さを示し、ソースへの信頼を低下させる。
• メカニズム： 最終的な信頼係数 $\tau = \tau^{exp} \cdot \tau^{sem}$ は乗法的である。教師の影響が強く働くのは、学習が不安定であり、かつソースが意味的に整合している場合に限られる。これにより、整合性の低い領域での負の転移を防ぐ。

5. 統合学習更新

学生は、修正された Q 更新規則を用いて積 MDP（$M_{tgt} \times D_{tgt}$）上で学習する：
$$\Delta Q = \alpha [ \tau \cdot \delta_t + (1 - \tau) \cdot G_{multi} ]$$
ここで、$\delta_t$ は標準的な TD 誤差であり、$G_{multi}$ は集約された多ソースガイド（戦略的報酬と戦術的方策の不一致を組み合わせたもの）である。$\tau \to 1$ の場合、更新は標準的な TD 学習に依存し、$\tau \to 0$ の場合、集約された教師ガイドに依存する。

主要な貢献

1. 多ソースニューロ記号転移の定式化： ソースタスクが異質な目的を持つ状況を定式化し、単一のソースの直接的な再利用ではなく、意味的集約を必要とする。
2. LANTERN アーキテクチャ： LLM ベースのオートマトン生成、意味的多ソース集約、適応的二重変動性ゲートングを統合するフレームワークの開発。
3. 実証的検証： 資源管理やナビゲーションなど多様なドメインにおいて、サンプル効率の大幅な向上を実証し、整合性の低いソースに対する堅牢性を維持した。

実験結果

本フレームワークは、2 つのドメインで評価された：ダンジョンクエスト（逐次ナビゲーション）とブラインドクラフトスマン（在庫制約を伴う資源管理）。ソースタスクには、異なる目的を持つミッション（例：救助対宝探し、採掘対農業）が含まれていた。

• サンプル効率： LANTERN は、単一ソース転移手法（オートマトン蒸留、CADENT、LARM）および「転移なし」ベースラインを含むベースラインと比較して、40～60% のサンプル効率の向上を達成した。
• 堅牢性： ソースタスクが異なる構造を持ち、ターゲットと意味的に部分的にしか重ならない場合でも、システムは堅牢であった。
• アブレーション研究：
  • 多ソース対単一ソース： 複数のソースからの部分的な知識を集約することは、最も類似した単一のソースのみを使用する場合と比較して26% の改善をもたらした。
  • 二重変動性対経験のみ： 意味ゲートングを組み込むことで、整合性の低い領域での負の転移を防ぎ、18% の改善をもたらした。
  • 戦略＋戦術対戦略のみ： 両方のガイドタイプを組み合わせることで31% の改善が得られ、粗いタスク分解と細かいアクションガイドとの相乗効果が示された。

意義と主張

本論文は、多ソースで適応的に重み付けされたニューロ記号転移が、記号 RL 設定におけるスケーラビリティと堅牢性を大幅に向上させることを LANTERN が実証していると主張している。手動仕様と単一ソースへの依存から脱却することで、このフレームワークはエージェントが異種タスクからの補完的な知識を活用することを可能にする。

著者は、二重変動性ゲートングメカニズムが負の転移を防ぐために重要であり、ソース整合性が悪い場合にシステムが「優雅に劣化」することを可能にすると強調している。結果は、共有された意味埋め込み空間においてオートマトン状態を整合させることが、異なるリソース、レイアウト、タスク意味を持つドメイン間での構造化された知識の転移に効果的なメカニズムを提供することを示唆している。

著者が指摘する限界：

• DFA 生成における LLM の品質への依存。
• 表形式 Q 学習の使用に起因するスケーラビリティの制約。
• アクション空間の整合に対する要件。

今後の研究の方向性としては、フィードバックを伴うオートマトンの精緻化、連続ドメインのための深層関数近似、学習されたアクションマッピング、および継続的な多ソース転移が含まれる。