あなたは、自分に代わってコンピュータコードを書いてくれる超スマートなロボット・アシスタントがいる世界を想像してみてください。それは、誰よりも速くタイピングができ、百万ものプログラミングのテクニックを知っている、天才的な見習いを持つようなものです。しかし、ここには落とし穴があります。このロボットは少し「空気を読みすぎる（おべっか使い）」性質を持っています。もしあなたが「この壊れたボタンを直して」と言えば、喜んでボタンを直すでしょう。しかし、そのボタンが壊れた理由が、あなたが一度も伝えていない秘密のルール（例えば「火曜日にボタンを赤くしてはいけない」など）によるものだった場合、ロボットはボタンを直す際に、図らずもその秘密のルールを破ってしまうかもしれません。もしあなたがそれに気づかなければ、ロボットは次も同じ間違いを繰り返す可能性があります。なぜなら、ロボットは特定の「修正内容」は覚えますが、その「理由」までは覚えていないからです。これが、現実世界における「コーディング・エージェント」が抱える問題です。彼らは穴を埋めることは得意ですが、システムがどのように振る舞うべきかという、明文化されていない深い法則を学ぶことは苦手なのです。

Muness CastleとEric Rubeckによるこの論文は、まさにその問題に取り組んでいます。彼らは「カウンターエグザンプル補完型スケッチに対するエージェンティック・シンセシス（Agentic Synthesis against Counterexample-Supplemented Sketches）」と呼ばれる、新しい作業方法を導入しています。これは、AIコーダーのための厳格なトレーニングキャンプのようなものです。AIに単に「推測して試行錯誤させる」のではなく、この手法では、人間が厳格なコーチとして振る舞うことを強制します。AIが隠れたルールを破るミスをしたとき、人間は単に「直して」と言うのではありません。「これが間違いであり、これが正解であり、そして君が破ったルールはこれだ」と伝えるのです。すると、AIは再び試行する前に、その新しいルールを含めるように自分自身の「指示書（スケッチ）」を書き直さなければなりません。論文では、このアイデアを「CatSynth」という架空のブラウザ・アプリを用いてテストしており、この方法が、単に過去のミスをリストとして示すよりも、AIがルールをより良く学習するのに役立つことを明らかにしています。ただし、著者らはこれは一つの特定の実験に基づいた結果であり、あらゆる状況に対する魔法の解決策ではないことにも注意を促しています。

スケッチとルールブックの物語

あなたが、家族にぴったりの猫を選ぶロボットを作ろうとしていると想像してください。あなたはロボットに「スケッチ」を与えます。この物語において、スケッチとは「絵」のことではありません。それは、書きかけの不完全な指示書です。「猫はふわふわしていること」「猫はフレンドリーであること」といったことが書かれています。しかし、最も重要な部分が欠けています。「家族にアレルギーがあるため、ペルシャ猫を選んではならない」という部分です。

最初、ロボット（コーディング・エージェント）はそのスケッチを見て、「なるほど、ペルシャ猫はふわふわしていてフレンドリーだ！ペルシャ猫を選ぼう！」と言います。そして、これを行うためのコードを書きます。しかし、人間の専門家（主題エキスパート）がその結果を見て、「おい、待て！それは災難だ。家族にはアレルギーがある。君は間違った猫を選んだ」と言います。

従来の方法では、人間は単に「わかった、直して。別の猫を選んで」と言うだけかもしれません。するとロボットは別の猫、例えばシャム猫などを選びます。しかし、ロボットは「アレルギー」に関するルールを実際には学習しません。単に「この特定の家族にはペルシャ猫を選ばない」ということだけを記憶するのです。次に、もし家族の好みが変わってアレルギーがなくなったとしても、あるいは新しいアレルギーを持つ家族が現れたとしても、ロボットは同じ間違いを繰り返す可能性があります。

この論文は、より厳格なループを提案しています。人間（エキスパート）が「間違った猫だ！」と言うとき、彼らは単に出力を修正するだけではありません。彼らは法廷の裁判官のように振る舞います。彼らはこう言います：

1. 間違い： 「君はペルシャ猫を選んだ。」
2. 修正： 「正しい猫はシベリアンである。」
3. ルール： 「君が破ったルールは、『ハードなルール（アレルギーなど）は、常にソフトな好み（ふわふわ感など）に優先しなければならない』だ。」

そして、人間の「オペレーター（責任者）」が、これに明示的に承認を与える必要があります。彼らが「よし、これは今や正式なルールだ」と宣言したら、ロボットは必ずその新しいルールを含めるように、自身のスケッチを書き直さなければなりません。ロボットは単にコードをパッチ修正するだけでなく、マニュアル自体を更新しなければならないのです。

2段階のチェック：リプレイとコンペア

ロボットが本当にレッスンを学んだかどうかを確認するために、論文では、門番が訪問者をチェックするような、巧妙な2段階のテストを使用しています。

1. リプレイ（「混乱を収拾できたか？」のチェック）： これは、ロボットの新しい回答が、目の前の問題を実際に解決しているかを確認するものです。ロボットは、ふわふわでフレンドリーな猫を選びましたか？ もしYESなら、「リプレイ」は合格です。
2. コンペア（「ルールに従ったか？」のチェック）： これが難しい部分です。これは、ロボットが新しいルールに基づいて「正しい」猫を選んだかどうかをチェックします。ロボットは、ペルシャ猫ではなくシベリアンを選びましたか？ アレルギーを覚えていましたか？ もしロボットが、「ふわふわ」の問題は解決したものの「アレルギー」ルールを破るような、ふわふわのペルシャ猫を選んでしまった場合、「コンペア」は不合格となります。

論文ではこれを「ゲート（門）」と呼んでいます。ロボットが両方に合格すれば、次に進めます。もし「コンペア」で失敗した場合、それはロボットが表面的な問題は解決したが、深いルールを無視したことを意味します。その場合、ロボットは再びスケッチを修正するために戻らなければなりません。

CatSynth 実験

著者らは、これをCatSynthという架空のプロジェクトでテストしました。ロボットが、一連の好み（大きい、ふわふわ、愛嬌がある）と、厳格なルール（アレルギーを引き起こす猫はダメ）に基づいて猫を選ぶシナリオを作成しました。

彼らは、ロボットが14個の異なる「凍結された」ケース（実験開始前に設定が固定されたシナリオ）を解決しようとするシミュレーションを実行しました。

• 結果： 14ケースのうち8ケースにおいて、ロボットの最初の推測は、ルールを見落としたために間違っていました。これら8つのケースが「カウンターエグザンプル（反例）」となりました。
• プロセス： これら8つの間違いそれぞれについて、人間が修正を承認し、ロボットはスケッチを更新し、そして再び試行しました。
• テスト： ロボットが学習を終えた後、著者らは、一度も見たことがない21個の新しい「隠された」ケースに対してテストを行いました。

結果は以下の通りです：

• ロボットのコードを、最終的に進化したスケッチ（すべてのルールが更新された後のもの）のみを使用してゼロから再構築したとき、ロボットは21ケース中19ケースを正解しました。
• 一方、過去のすべての例をリストとして見せる方法（「リプレイ・オール」方式）でロボットを再構築しようとしたとき、ロボットは21ケース中15ケースしか正解できませんでした。

このことは、ロボットにルールを学ばせ、それをスケッチに書き込ませることが、単に過去のミスを見せるよりも効果的であることを示唆しています。ルールを学んだロボットの方が、新しい状況に対してより良く汎用化（一般化）できたのです。

これが意味すること（および意味しないこと）

この論文は、結果を過大に宣伝しないよう、非常に慎重に書かれています。彼らは、これがすべてのAIコーディング問題を永遠に解決する方法だと主張しているわけではありません。これは、一つの特定のモデル（GPT-5.4-mini）と、一つの特定の問題の順序を用いたシミュレーションであることを認めています。異なるロボットや異なるルールセットを用いた場合に、全く同じように機能するかどうかは分かっていません。

しかし、実験は重要なことを示しています。AIに「何（例）」を示すよりも、「なぜ（ルール）」を教える方が効果的であるということです。

単にAIに「Xをしてはいけない」というリストを見せても、AIはリストを暗記するだけで、パターンを見逃すかもしれません。しかし、ルールを破るたびに、AIに自身の指示書（スケッチ）を更新することを強制し、その後、古いコードを捨ててそのマニュアルから再構築してテストを行うことで、より賢く、信頼できるAIを得ることができるのです。

また、著者らは、この手法には多大な人間の労力が必要であることも指摘しています。間違いを見つけるための「人間エキスパート」、新しいルールを承認するための「人間オペレーター」、そしてテストのリストを管理する「人間」が必要です。これは「設定したらあとはお任せ」というシステムではありません。人間が教師であり、AIがノートを取り、自分の教科書を書き直さなければならない生徒であるという、パートナーシップなのです。

まとめ

結局のところ、この論文は、AIがいかにして「もっともらしいが間違っている」修正者にならないようにするかについてのガイドです。彼らは、AIが間違いを犯したとき、単にコードをパッチ修正するのではなく、その間違いを、AIの根本的な理解を変えるためのレッスンとして扱うべきだと主張しています。「スケッチ」にルールを保持させ、「ゲート」で作業をチェックし、「人間」がレッスンを承認させることで、単に正しい答えを推測するのではなく、なぜそれが正しいのかを実際に理解できるAIを構築できるのです。

著者らは、この手法がシミュレーション内のすべての問題を解決したわけではない（ロボットは依然として21ケース中2ケースを間違えた）ものの、「進化したスケッチ」が単純な事例の履歴よりも知識をより良く運んでいたことを証明したと結論づけています。これは、AIコーディングを「運の良い推測」ではなく、より規律ある「徒弟制度」へと近づけるための一歩なのです。