技術要約：自己教師ありセマンティック拡散による、パラメータとしてのスキルの学習

問題提起

大規模言語モデル（LLM）は一般的な指示遂行には長けているが、クリエイティブな脚本執筆のような高度に専門的でオープンエンドな領域では、しばしば停滞（プラトー）に直面する。従来の適応手法には、以下のような重大な障壁が存在する：

• パラメータレベルの適応： クローズドソースの最先端モデルの重みへのアクセスは不可能であり、フルファインチューニングは計算コストが極めて高い。さらに、学習された能力は特定のチェックポイントに紐付けられており、人間による監査に対して不透明である。
• 外部化されたスキル注入： 外部の「スキル」ドキュメントを注入することは有望な代替案であるが、現在のアプローチは、これらのスキルを構築するためのコストの高い人間の専門家によるアノテーションに大きく依存している。領域の専門家は、暗黙的な知識を形式化することを嫌う傾向があり、これが自動化されたスキル獲得のボトルネックとなっている。
• フィードバックの限界： 既存のエージェント的継続学習手法は、信頼性の低い「LLMによる判定（LLM-as-a-judge）」や高価な人間による評価に依存することが多く、オープンエンドな生成タスクに対して堅牢な信号を提供することが困難である。

メソドロジー

著者らは、拡散モデルの「破壊と再構成」のパラダイムに着想を得た、自己教師あり・自己進化型エージェントフレームワークを提案している。本システムは、モデルの重みを更新するのではなく、テキストによる外部ライブラリ（メモリ／記憶）を最適化する。

コア・ループ

フレームワークは、破壊、再構成、損失計算、およびクレジット割り当てのサイクルで動作する。

1. 破壊（自己教師ありペア構築）：

   • 高品質でプロダクショングレードの人間による脚本を「クリーン」な状態として扱う。
   • 破壊エージェントは、これらの脚本を凝縮されたストーリーアウトラインへと圧縮し、台詞、テンポ、物理的な動作を削ぎ落とす。これにより、物語の骨組みは残るが、クラフトレベルの詳細が破壊された「ノイズを含んだ」入力が作成される。
   • この（アウトライン、元の脚本）のペアは、外部ラベルなしで利用可能な自由な学習例となる。

2. フォワードパス（脚本生成）：

   • アウトラインに基づき、スクリプトエージェントがハリウッド形式の完全な脚本を再構成する。
   • 執筆前に、エージェントはルールカードのライブラリをスキャンし、関連すると判断されたルールを読み込む。「リード・トレース（読取履歴）」を記録することで、どのルールが生成に影響を与えたかを特定する。

3. セマンティック・ロス（対照的信号）：

   • ロス（損失）エージェントは、再構成された脚本と元の人間による成果物を比較する。
   • トークンレベルの一致（クリエイティブな執筆においては効果的ではない）ではなく、エージェントは構造的・文体的な相違点（例：対立がいかにエスカレートするか、エピソードがどこで終わるかなど）を強調する、高密度なテキスト形式のロスレポートを生成する。
   • これにより、外部の人間による評価を必要とせずに、堅牢な自己教師あり信号が得られる。

4. バックワードパス（クレジット割り当てとメモリ更新）：

   • バックワードエージェントはオプティマイザ（最適化器）として機能し、ロスレポートとリード・トレースを読み取る。
   • メモリライブラリに対して微細な編集を行う：効果的なルールの強化、誤導的なルールの範囲の限定、繰り返されるエラーに対する新しいルールの作成、および冗長な項目の統合を行う。
   • 階層的削減： 信号の希釈を防ぐため、複数の小説からのロスレポートは、まずクロス・ノベルの共通性サマリーへと集約（リダクション）されてから処理される。
   • マイクロステップ： グローバルな更新は、消失勾配を避け、追跡可能性を確保するために、短く集中したマイクロステップへと分解される。

メモリ・アーキテクチャ

• 混合エキスパート（MoE）構造： メモリライブラリは、「一般原則」、「具体的なクラフト技術」、「ジャンルの慣習」という3つのエキスパート・フォルダに整理されている。ルールカードはこれらへ動的にルーティングされる。
• 正規化（リンター）： 厳格なリンターが、ルールが特定のプロット詳細に過学習したり、「出来事のログ」へと肥大化したりすることを防ぐため、ハードな長さ制限（例：カード本体あたり1,200トークン）を強制する。
• データ並列学習： フォワード生成とロス計算は複数の小説にわたって並列に実行されるが、バックワード更新はマイクロステップのキューとしてシリアル化（逐次処理）される。

主な貢献

1. 非監視型スキル獲得： 本フレームワークは、外部の注釈や明示的な報酬信号を用いることなく、既存の人間の成果物から汎用的なスキルを自律的に抽出・内面化することを可能にする。
2. セマンティック拡散パラダイム： 拡散モデルの破壊・再構成のロジックをテキスト領域に適応させ、スキル・ドキュメントをセマンティック・ロスを通じて進化する「学習可能なパラメータ」として扱う。
3. テキストによるクレジット割り当て： MoEスタイルのアーキテクチャを用いて、テキストによるフィードバックを特定のメモリノードへとルーティングするメカニズムを導入し、勾配更新をパラメータ空間から外部のスキル・ドキュメントへと効果的に移行させる。
4. スケーラブルな自己進化： マイクロステップと階層的削減を活用することで、システムは大量のコーパス（20の小説、約1,100のエピソード）での学習を維持しながら、コンパクトで安定したメモリプール（18個のルールカード）を維持しつつスケールする。

実験結果

本フレームワークは、20のプロフェッショナルな小説を訓練用とし、6つの保持された小説を分布外（OOD）評価用として、ショートドラマ脚本執筆タスクで評価された。

• 性能向上： メモリを備えたエージェントは、ベースライン（空のメモリ）に対し、9つの指標のうち7つで上回った。
  • 演じられない動作（Unfilmable Action）： エピソードあたり1.1行（ベースライン）から0.3へと減少。これは人間のベースラインである0.3と一致する。
  • ハードカットによる結末（Hard-Cut Endings）： ヒット率が40%（ベースライン）から59%に上昇し、人間の割合である61%に接近した。
  • コールドオープン（Cold Opens）： 64%から84%に増加し、人間の参照値である72%を上回った。
  • 小道具の起動（Prop Activation）： 59%から78%に改善し、人間の割合である70%を超えた。
• 学習ダイナミクス： エージェントは、対話のテンポにおいて単調な改善を示し、ボイスオーバーの使用において閉ループの修正を示した。これは、システムがエポックを通じて自己修正できる能力を持つことを証明している。
• クロスモデル転送： Claude Sonnet 4.6のみで訓練されたメモリプールは、Claude Opus 4.8へ正常に転送された。このプールは両方のモデルを、クラフトの規律においてほぼ同一の性能レベルへと導いた。これは、スキルがモデルに依存しない（モデルアグノスティックである）ことを示している。
• 外部パイプラインによる検証： 訓練中に一度も目にしたことのない第三者のマルチエージェント脚本執筆パイプラインに注入した際、メモリは特定の失敗（例：過剰なボイスオーバーの削減、ハードカットの強制）を正常に修正した。これは、ネイティブな訓練ループの外でも堅牢であることを証明している。
• 正規化の影響： 実験により、トークン上限付きのメモリ・アーキテクチャ（厳格な長さ制限）のみが、ルールベースおよび判定ベースの両方の指標を同時に改善できることが示された。上限のない、あるいは行数制限のみのプールは、内容を過度に抑制するか、あるいはルール指標において崩壊（コラップス）を引き起こした。

意義と主張

本論文は、外部の監督なしに、高品質で複雑な人間の成果物の生成を、エージェントが自ら教えるためのスケーラブルな経路を提示すると主張している。

• 監査可能性： 勾配ベースの学習とは異なり、学習された「スキル」は、検査および監査が可能な、明示的で人間が読めるテキストドキュメントである。
• 移植性： スキルはモデルに依存せず、異なる世代やアーキテクチャのモデル間でも転送可能である。
• コスト効率： 既存の高品質な人間の成果物を自己教師あり信号として活用することで、高価な人間の専門家によるアノテーションや強化学習ループを回避できる。

著者らは、ベースモデルの指示追従能力への依存（モデルがルールを無視した場合、クレジット割り当ての連鎖が壊れる）や、リトリーバル（検索）メカニズム（ルールが一度も読まれなければ、それは発火できない）といった限界も認めている。今後の研究は、メモリ・アーキテクチャの最適化と、クレジット割り当てメカニズムの改善に焦点を当てる。著者らは、トレーニングフレームワークと代表的なメモリ例をオープンソース化する意向である。