数十年にわたり、金融および政府部門は、COBOLと呼ばれる言語で書かれた大規模かつ複雑なコンピュータプログラムに依存してきました。これらのシステムは世界の銀行取引や社会保障給付を動かしていますが、それらを構築した専門家たちは引退しつつあり、コード自体も数十年前のもので、ドキュメントが不十分で変更が困難な場合が多くあります。これらの不可欠なサービスを維持するために、組織はこの古めかしいコードをPythonのような現代的な言語に翻訳しなければなりません。そのプロセスには極めて高い精度が求められます。なぜなら、わずかなエラーであってもシステムを失敗させる可能性があるからです。最近、大規模言語モデルとして知られる新しいタイプの人工知能が登場し、この課題に対する潜在的なツールとなっています。これらのモデルはコードを読み、新しいコードを書くことができますが、多くの場合、自律的なエージェントとして機能します。つまり、どのステップを踏むか、いつタスクを再試行するか、そして進行中にどのようにミスを修正するかを、自ら決定するのです。これはエンジニアに対し、ある重要な問いを投げかけます。人工知能にすべてのプロセスを運転させ、リアルタイムで一挙手一投足を決定させるのが良いのか、それとも、コンピュータが固定されたルールに従う厳格で定義済みの軌道を辿らせる方が効果的なのか、という問いです。
Bucknell大学とAstrioの研究チームは、この2つの異なるアプローチが、COBOLコードをPythonに変換するという困難な作業をどのように扱うかを検証するため、制御実験を行い、この問いに答えようとしました。彼らは翻訳者としてATLASと呼ばれるシステムを構築しましたが、実験のデザインにおいて、テスト間で変化したのは「誰が運転席に座っているか」という点だけであるように設計しました。一つのバージョンでは、人工知能に完全な制御権が与えられ、自らの経路を選択し、自らツールを選び、いつ停止するか、あるいはいつやり直すかを決定することが許されていました。もう一方のバージョンでは、同じ人工知能がコードを書くために使用されましたが、どのステップをどのような順序で行うか、そして何かがうまくいかなかった場合に何度やり直すかについて、厳格で不変のルールが正確に指示を出していました。システムの「脳」である言語モデルを両方のシナリオで全く同じに保つことで、研究者たちは制御方法そのものの影響を分離し、他のすべての変数を排除して、どちらの戦略が真に優れているのかを見極めることができました。
この研究の結果は、柔軟性と信頼性の間の明確なトレードオフを明らかにしました。人工知能がプロセスを制御することを許された場合、モデルはしばしば動作するプログラムを生成することに成功し、クラッシュせずに実行できる結果を生み出すことがよくありました。しかし、この成功には隠れた代償がありました。結果が不安定だったのです。モデルがどのように進むべきかを自ら決定していたため、同じ開始コードであっても、試行ごとに非常に異なる結果をもたらし、完璧な翻訳を生み出すこともあれば、予測不可能な形で失敗することもありました。さらに、この「エージェンティック（エージェント的）」なアプローチは、信じられないほど高価でした。モデルはしばしば、自問自答を繰り返し、必要のない複数の戦略を試みるという、長く曲がりくねった推論の道を彷徨い、膨大な計算リソースを消費しました。いくつかのケースでは、この柔軟なアプローチは、同様の結果を得るために、固定されたアプローチよりも3倍以上多くのトークン（モデルが処理する情報の基本単位）を消費していました。
対照的に、固定された決定論的な経路に従うシステムは、はるかに安定し、予測可能な結果を生み出しました。コードを翻訳する全体的な能力は柔軟なバージョンと同等でしたが、厳格なシステムが最悪のケースで失敗することは滅多にありませんでした。それは不要な思考のループに陥ることも、実行ごとに挙動を変えることもありませんでした。最も重要なことは、このシステムが実行コストにおいて大幅に安価であったことです。厳格なステップのスケジュールに従い、人工知能を「計画を立てるため」ではなく「コードを書くため」だけに利用することで、システムは翻訳コストを3分の1から3.5倍の割合で削減しました。研究者たちは、手順が明確に定義されており、結果を厳格なルールに基づいて検証できるレガシーソフトウェアの近代化のようなタスクにおいては、人工知能に車の運転をさせることは、より高価であるだけでなく、人間が設計した地図に従わせるよりも信頼性が低いということを発見しました。
この研究は、複雑なエンジニアリング・タスクにおける人工知能の活用における未来は、機械にどのように作業すべきかを決定する完全な自由を与えることにあるのではない可能性を示唆しています。代わりに、最も効果的なアプローチは、これらの強力なモデルを、ルールが固定され、経路が明確な構造化されたフレームワークの中に組み込むことであるようです。人工知能は、複雑な指示を理解し、新しいコードを生成できる「専門のライター」であり続けますが、作業のオーケストレーション（計画、タイミング、および安全確認）は、厳格で決定論的な制御下に置かれます。これにより、プロセスは高品質な結果を生み出す能力を持つだけでなく、現代の世界を支えている大規模で重要なシステムにとって、堅牢で予測可能であり、かつ経済的に実行可能なものとなるのです。
技術要約：COBOLからPythonへのモダナイゼーションにおける決定論的オーケストレーションとLLM制御型オーケストレーションの比較
問題提起
レガシーなCOBOLシステムのモダナイゼーションは、専門知識の不足、膨大なコードベース、そして厳格な正当性の要件により、極めて困難な課題となっている。大規模言語モデル（LLM）はコード変換において有望な成果を示しているが、近年のシステムでは、ツールの選択、順序付け、およびリトライ・ロジックを含む多段階のツール実行をLLMが動的に制御する「エージェンティック・ワークフロー」への依存が高まっている。しかし、構造化されたソフトウェアエンジニアリングのワークフロー（レガシー・モダナイゼーションなど）において、実行制御をLLMに委ねることが、固定された決定論的な実行ポリシーと比較して、正当性、堅牢性、または効率性を向上させるのかどうかは依然として不明である。既存の文献では、オーケストレーション戦略がモデルの能力やプロンプト設計と混同されることが多く、実行制御メカニズムによる具体的な影響を分離して特定することが困難となっている。
手法
著者らは、ATLAS（Autonomous Transpilation for Legacy Application Systems）フレームワークを用い、2つのオーケストレーション戦略、すなわち**決定論的オーケストレーション（Deterministic Orchestration）とLLM制御型オーケストレーション（LLM-Controlled Orchestration）**を比較する制御実験的研究を提示する。
実験設計
オーケストレーションを唯一の実験変数として分離するため、本研究では以下の項目をすべての実行において一定に保つ。
- 言語モデル: 同一のモデル、バージョン、およびデコーディング・パラメータ（temperature、seed）。
- プロンプト: 同一のシステムプロンプト、タスク指示、およびフォーマット制約。
- ツール: 同一のツールセット（例：
read_file、write_file、run_command、git）および同一のインターフェースと権限。
- 入力: 同一のソースCOBOLプログラムおよびテスト入力。
- 構成: 同一のタイムアウト制限および設定フラグ。
オーケストレーション戦略
- 決定論的オーケストレーション: ツール呼び出し、検証ステージ、およびリトライ動作のシーケンスは、固定され事前定義されている。LLMの役割は、特定のステージ内でのコード生成のみに限定される。実行フローは中間的なLLMの出力には依存せず、条件分岐はシステム状態（例：ファイルの修正ステータス）に基づく決定論的な述語によって制御される。
- LLM制御型オーケストレーション: LLMが中央のオーケストレーターとして機能し、ツールの動的な選択、実行順序の決定、失敗時の修復戦略の選択、および終了判断を行う。実行フローはモデルの生成プロセスから創発し、確率的なサンプリングの影響を受ける。
データセットおよび評価
- データセット: 数百の自己完結型のCOBOLプログラム、実行可能なテストハーネス、および明確に定義された期待結果を備えたNIST COBOL85 テストスイート。
- 指標:
- 計算精度 (Computational Accuracy: CA): テスト入力に対する、生成されたPythonプログラムと参照用COBOL実装との間の機能的等価性。
- 成功率 (Success Rate: SR): 繰り返しの確率的実行（N 回の独立した実行）において、トランスピレーション・パイプラインが実行可能でテストに合格するプログラムを生成する頻度。
- ワーストケースの堅牢性: 失敗のテールリスクを捉えるための、第5パーセンタイルCA（P5-CA）および条件付き期待損失（CVaR）による測定。
- 効率性: 成功したトランスレーションあたりのトークン消費量および推定運用コスト。
主な貢献
- 制御されたフレームワーク: 著者らは、実行制御を唯一の変数として分離し、コンファウンディング要因（交絡因子）なしに、決定論的オーケストレーションとエージェンティック・オーケストレーションを直接比較することを可能にする統一された実験フレームワークを導入した。
- 堅牢性と頻度のトレードオフ: 本研究は、両方の戦略が同等の全体的な変換能力を達成する一方で、決定論的オーケストレーションがワーストケースの堅牢性を大幅に向上させる（テールリスクの失敗と性能の変動を減少させる）一方で、LLM制御型オーケストレーションは、繰り返しの試行において実行可能なコードを生成する成功率を高めることを示している。
- 効率性の分析: 決定論的オーケストレーションは、適応的なエージェンティック・ワークフローと比較して、トークン消費量を最大3.5倍削減し、運用コストを大幅に低減させることを定量的に示した。
結果
- 正当性: 決定論的オーケストレーションは、複数のモデル（Claude-Sonnet-4-5、GPT-5.1-Codex-Max、Grok-Code-Fast-1を含む）において、一貫して高い平均計算精度（CA）と強力なワーストケースの堅牢性（高いP5-CAおよびCVaR）を達成した。
- 成功率: LLM制御型オーケストレーションは、より高い成功率（SR）を達成した。これは、適応的な実行が、個別の実行においてコンパイル可能でテストに合格するプログラムをより頻繁に生成したことを示している。しかし、これはパフォーマンスのテール（最悪の場合の深刻な失敗）を重くするという代償を伴う。
- コストと効率性: LLM制御型オーケストレーションは、大幅に多くのトークンを必要とした（例：複雑なモジュールに対して1.75M–2.25Mトークンに対し、決定論的では400k–700kトークン）。これにより、エージェンティック・ワークフローの運用コストは最大3.5倍高くなった（例：Sequential I/O タスクにおいて、成功したトランスレーション1回あたり140超に対し、40程度）。
- テストスイートの一貫性: 集計されたテスト統計は、両方の戦略が同じプログラムセットを変換できることを示したが、決定論的オーケストレーションの方が、最終出力においてより一貫した正当性の保証を提供した。
意義および主張
本論文は、明示的な検証ステージと決定論的な依存関係を特徴とする構造化されたモダナイゼーション・ワークフローにおいては、固定された実行ポリシーが、翻訳の質を損なうことなく、完全にエージェンティックなオーケストレーションよりも安定かつコスト効率の高い代替手段となると主張している。
- 設計上の示唆: 実行制御は、LLMの推論の暗黙的な結果としてではなく、第一級のシステム設計決定として扱うべきである。明確な変換パイプラインと強力な検証シグナルを持つタスクでは、実行制御と生成的推論を分離することで、エラーの蓄積を抑制し、予測可能性を向上させることができる。
- 適用範囲: 本研究の結果は、エージェンティックなオーケストレーションが、オープンエンドで探索的なタスク（例：要件定義の発見）においては依然として価値がある可能性がある一方で、構造化されたレガシー・モダナイゼーションには決定論的なデフォルトが適していることを示唆している。
- 謙虚な姿勢: 著者らは限界についても認めており、結果はCOBOLからPythonへのモダナイゼーションおよびNIST COBOL85スイートに特有のものであり、外部依存関係（JCL、CICS、VSAMなど）を持つプロダクション環境の複雑さを完全には捉えていない可能性があるとしている。また、本研究は制御された条件下でのオーケストレーション戦略を分離したものであり、結果は異なるプロンプティング戦略やモデルアーキテクチャによって変化する可能性があるとも述べている。
結論として、本研究は、エンタープライズ規模のモダナイゼーションにおける経済的生存能力とコストの予測可能性を維持するためには、LLMを決定論的な実行フレームワーク内に組み込むことが不可欠であり、「すべての制御をエージェントに委ねる方が本質的に優れている」という仮定に異を唱えるものである。
毎週最高の computer science 論文をお届け。
スタンフォード、ケンブリッジ、フランス科学アカデミーの研究者に信頼されています。
受信トレイを確認して登録を完了してください。
問題が発生しました。もう一度お試しください。
スパムなし、いつでも解除可能。
週刊ダイジェスト — 最新の研究をわかりやすく。登録