技術要約：言語モデルは自身へと収束するのか？

問題提起

大規模言語モデル（LLM）は、初期ドラフトを同一のモデルによって繰り返し修正する、再帰的な自己洗練（self-refinement）ワークフローにおいて、ますます広く導入されている。こうしたワークフローは科学的執筆、コーディング、エージェント・システムにおいて一般的であるが、その長期的な動態は十分に理解されていない。本研究が扱う中心的な問いは、繰り返しの洗練が無限の改善をもたらすのか、それともプロセスが安定したテキスト形式へと緩和（relax）されるのかという点である。既存の評価は、単一ステップの品質向上に焦点を当てることが多く、反復的な自己適用によって誘発される動態については未解決のまま残されており、収束性、安定性、アトラクター、および適切な停止基準に関する疑問が残されている。

手法

著者らは、再帰的な自己洗練を、リファインメント演算子 $R_\theta$ による離散的な動的プロセスとして定義し、テキスト上のプロセスとしてフレーム化している：
$$V_{t+1} = R_\theta(V_t)$$
ここで、$V_t$ はイテレーション $t$ におけるテキストを表す。

実験設定：

• データセット： 本研究では、ICML 2025の抄録50件と、比較対象としてICML 2020の抄録15件を使用する。
• モデル： リファインメント演算子としてGPT-5.5を使用する。
• プロンプティング： モデルに対し、すべての技術的な主張、手法、結果、および数値を厳格に保持しながら、明瞭性、一貫性、および簡潔性を向上させる専門的な科学エディターとして振る舞うよう指示する。
• デコーディング条件： 実験は、デフォルト・テンパチャ設定と、決定論的デコーディング（温度0）の2つの設定で行われる。
• 軌跡の長さ： 各抄録は $T=10$ 回のリファインメント・イテレーションを受ける。

指標と分析：

1. 遷移マグニチュード ($\Delta_t$)： 連続するバージョン間の正規化レーベンシュタイン編集距離 $d(V_t, V_{t+1})$ を用い、2つのテキストの最大長で正規化したものとして測定する。
2. 不動点の定義：
   • 厳密な不動点 (Exact Fixed Point): $V_{t+1} = V_t$。
   • 近似不動点 (Approximate Fixed Point): 2つの連続する遷移において $\Delta_t < \epsilon_{edit}$ (0.02) かつ相対的な単語数変化 $< \epsilon_{wc}$ (0.03) であると定義される。
3. 緩和モデリング： 平均遷移マグニチュードに対して指数減衰モデル $\Delta_t \approx Ae^{-kt} + c$ を適合させる。ここで $c$ は残留変動のフロア（底）を表す。
4. 外部評価： 収束がテキストの停滞を意味しないことを確認するため、外部のLLM-as-a-judge（Gemini 3.5 Flash）を用いて、明瞭性、簡潔性、科学的スタイル、および技術的忠実度を評価する。

主な貢献

1. 理論的枠組み： 本論文は「テキストの緩和（textual relaxation）」という概念を導入し、再帰的な自己洗練を、テキストをオープンエンドな最適化手順ではなく、モデルが好む「ソフト不動点領域」へと駆動する離散的な動的プロセスとして捉える。
2. 飽和の経験的証拠： 本研究は、リファインメントの軌跡が急速に飽和するという経験的な証拠を提示している。ほとんどの編集は最初の数回のイテレーション内で行われ、その後、システムは小さな残留的な表面レベルの変化を特徴とする領域に入る。
3. デコーディング温度の影響： デコーディング温度が不動点領域の性質を制御することを著者らは示している。決定論的デコーディング（温度0）は、より低い残留変動を伴って厳密な不動点により迅速に到達する一方、デフォルト・テンパチャのデコーディングは、同様のソフト不動点領域の周囲でより大きな残留変動を示す。
4. 実践的な停止基準： 本研究は、編集マグニチュードの飽和を再帰的ワークフローの実際的な停止基準として用いることを動機付け、変化が特定の閾値を下回った場合に反復的な洗練を終了できることを示唆している。

結果

• 急速な収束： ICML 2025の抄録50件において、GPT-5.5は両方のデコーディング設定下で全軌跡に対して近似的な収束を達成した。厳密な不動点は、温度0の場合に100%の軌跡（平均収束時間：2.6イテレーション）、デフォルト・テンパチャの場合に94%（平均：4.66イテレーション）で到達された。
• 指数的緩和： 平均編集マグニチュード $\Delta_t$ は、一貫した指数的緩和パターン（デフォルト・テンパチャ条件において $R^2 = 0.990$）に従う。これは、編集圧力が急速に減衰し、その後に小さな残留フロアが存在することを示しており、無限の最適化よりも緩和仮説を支持している。
• 品質の向上： Geminiによる外部評価は、収束した抄録（$V_{10}$）が、元のバージョン（$V_0$）や最初のリファインメント版（$V_1$）と比較して、完全な技術的忠実度と意味の保持を維持しながら、明瞭性、簡潔性、および科学的スタイルにおいて大幅な改善を示したことを確認した。
• 年度間の一貫性： ICML 2020の抄録で見られた収束挙動はICML 2025と定性的に類似しており、この現象が現代のLLM時代の執筆に特有のものではないことを示唆している。ただし、2020年の抄録は、初期の編集距離がやや大きく、後の厳密な収束を示した。

意義と主張

本論文は、再帰的な自己洗練はオープンエンドな最適化よりも、テキストの緩和として理解されるべきであると主張している。著者らは以下のことを主張している：

• 繰り返しの改訂は、科学的執筆スタイルのモデルが好む平衡状態へとテキストを駆動する。
• テキストがこの領域に近づくと、さらなる洗練は実質的な改善ではなく、主に些細な表面レベルの変動をもたらし、収益漸減（diminishing returns）となる。
• 厳密な不動点と近似不動点の区別は極めて重要であり、近似的な収束こそが、追加のイテレーションが冗長となる実用的な停止点（stopping point）をより良く捉える。
• 動力学系（収束、安定性、アトラクター）の観点からLLMの自己洗練を捉えることは、反復的なAIの挙動を分析し、堅牢な停止基準を確立するためのコンパクトなフレームワークを提供する。

著者らは、自らの指標が表面的なものであること、および指数的緩和モデルは物理法則や勾配降下メカニズムの証明ではなく経験的な記述であることを認め、主張に対して謙虚な姿勢を保っている。また、範囲の限定（科学的抄録と単一のモデルへの焦点）を認め、連続的な表現空間における安定性を分析するための将来の研究を呼びかけている。