VeriTrace: Human-Like Temporal Exploration Completes Agentic Action Space

あなたは、ロボットに書かれた説明文だけを使って、時計仕掛けのおもちゃのような複雑な機械を作る方法を教えようとしていると想像してください。あなたはロボットに指示を与え、ロボットはそれに基づいておもちゃを作ろうと試みます。しかし、時としてそのおもちゃは動きません。コンピュータサイエンスの世界では、これは「ハードウェア設計」と呼ばれ、その指示は「Verilog」という特別な言語で書かれます。長い間、大規模言語モデル（LLM）として知られる賢いコンピュータプログラムは、これらの指示を読み取り、機械を作るためのコードを書くことに非常に長けてきました。しかし、機械が壊れたとき、これらのプログラムは行き詰まってしまうことがよくあります。彼らは、おもちゃが壊れていることは分かりますが、内部の動いている部品を詳しく見ることを禁じられているため、その「理由」を見つけ出すことができません。彼らは、エンジンの異音は聞こえるものの、ボンネットを開けたり、特定のギアをチェックするためにレンチを使ったりすることを禁じられた整備士のようなものです。メリーランド大学の研究者たちによって書かれたこの論文は、まさにこの問題、つまり、人間の専門家が行うように、AIという名の「整備士」に機械の内部構造を調査する自由をどのように与えるかという問題に取り組んでいます。

研究者のYu-Tung Liu氏とCunxi Yu氏は、AIが初期のコードを書くことはできるものの、問題が発生した際の修正には苦戦することに気づきました。AIのデバッグを支援するこれまでの試みでは、機械の信号が時間の経過とともにどのように変化するかを示す視覚的なマップである「波形」をAIに与えていました。しかし、従来のシステムは、探偵に犯罪現場の写真を与えながらも、どの手がかりを調べるか、あるいはどの時間帯に焦点を当てるかを決めることを禁じているようなものでした。AIは、あらかじめ選択された狭い視点でのみ見ることを強制され、それが原因で真のエラーの原因を見逃してしまうことがよくありました。著者たちは、この制限を「不完全なアクションスペース（行動空間）」と呼んでいます。彼らは、コードを真に修正するためには、AIがどの信号を検査し、いつそれらを調べ、どのくらいの期間調査を続けるかを自ら選択できなければならず、それが人間のエンジニアの思考プロセスを反映したものであるべきだと主張しています。

この問題を解決するために、チームはVeriTraceと呼ばれる新しいシステムを開発しました。VeriTraceは、専門化されたAIワーカーのチームだと考えてください。一人のワーカーはコードを書き、別のワーカーはそれが機能するかどうかをチェックし、そして「インスペクター（検査官）」と呼ばれる三人目のワクターは、好奇心旺盛な探偵のように振る舞います。従来のシステムとは異なり、このインスペクターには完全な自由があります。例えば、「問題はこの特定のギアにあると思うが、それは動作の2秒目においてのみ発生している」と言い、正確にそこをズームアップしてチェックすることができるのです。もし最初の推測が間違っていたとしても、インスペクターは諦めません。新たな仮説を立て、異なる時間枠を選択し、再び調査を行います。このプロセスは「エージェンティック・テンポラル・エクスプロレーション（代理的な時間的探索）」と呼ばれます。これにより、AIは人間と同じように、仮説を構築し、証拠に基づいてそれを検証し、ステップバイステップで理解を深めていくことができるのです。

この新しいアプローチの結果は非常に素晴らしいものです。156個のコーディング課題からなる標準的なセットであるVerilogEval-V2でテストを行った際、VeriTraceは100%のPass@1という完璧なスコアを達成しました。これは、最終的に修正されたコードが、最初の一度の試行で全ての問題を正解したことを意味します。オープンソースのシステムが、この特定のベンチマークにおいてこのレベルの完璧さに達したのはこれが初めてです。同じ基盤となるAI脳（Claude Sonnet 4.0）を使用している他の強力なシステムと比較しても、VeriTraceは**5.1%**上回っており、探索し調査する自由を与えることが、精度の最終的なギャップを埋める鍵であることを証明しました。

興味深いことに、研究者たちは、この自由がAIを賢くしただけでなく、より効率的にしたことも発見しました。機械の動作履歴のすべてをメモリに流し込むのではなく、各ステップで必要な特定の情報だけを要求することで、VeriTraceは処理すべきデータ量を**18%**削減しました。これは、AIに適切な質問をさせることが、答えを見つけるためだけでなく、計算エネルギーを節約するためにも有効であることを示唆しています。論文は、AIモデル自体は強力であるが、真のブレイクスルーは、それらがツールをどのように使うかにあると結論付けています。時間と信号を自由に探索するエージェンシー（主体性）を与えることで、私たちは彼らを単なる硬直したコード生成器から、真の問題解決者へと変えることができるのです。