Program Semantic Inequivalence Game with Large Language Models

あなたは、非常に優秀だが極めて字義通りにしか物事を考えられないロボットに、コンピュータコードの書き方を教えていると想像してみてください。あなたはこう思うかもしれません。「もし家を建てる例を100万回見せれば、そのロボットは超高層ビルを建てられるようになるだろう」と。しかし、コンピュータは一筋縄ではいきません。彼らはパターンの模倣には長けていますが、コードの背後にある「深い論理」を理解することについては、しばしば躓いてしまいます。例えば、レシピのほんの些細な変更がなぜケーキを崩落させてしまうのか、あるいは、隠されたバックドアがいかにしてデジタルな家に泥棒を招き入れるのかといったことです。これは「プログラム・セマンティクス（プログラム意味論）」の世界、つまり、コードが「実際に何をするか」と「どのように見えるか」の違いを研究する領域です。

この深い論理をロボットに教えるには、通常、人間の教師がすべての間違いを指摘する必要がありますが、これでは時間がかかり、コストも高くつきます。あるいは、ロボットに一人で練習させる方法もありますが、それだとロボットは簡単なことばかりを練習し、難しいパズルを無視してしまうことがよくあります。本論文では、これらのAI「コーダー」を、ハイステークスな論理のゲームのプレイヤーに変えることで、彼らを訓練する新しい方法を探求しています。単に答えを暗記するのではなく、AIは見た目がほぼ同一である二つのコードの間の、目に見えない差異を見つけ出すことを学習します。もしこのゲームをマスターできれば、AIはセキュリティ上のバグを見つけたり、未知の言語であってもより安全なソフトウェアを書いたりすることが、より上手くなるはずです。

---

コード探偵大ゲーム

この論文の著者である Antonio Valerio Miceli Barone、Vaishak Belle、および Ali Payani は、Semantic Inequivalence Game（または短縮して SInQ）と呼ばれる巧妙な訓練手法を考案しました。これは、デジタル版の「間違い探し」のようなものですが、互いに出し抜こうとする二人のAIエージェントによってプレイされます。

プレイヤー：アリスとボブ
二人のAI探偵、アリスとボブが、テーブルを挟んで向かい合って座っているところを想像してください。

• アリスはトリックスター（策士）です。彼女にはあるコード（プログラムPと呼びます）が与えられ、彼女の仕事は、見た目はほとんど同じだが挙動がわずかに異なる「偽物」のバージョン（プログラムQ）を作り出すことです。また、彼女は二つのプログラムが異なることを証明するための特定の「テスト入力」（特定の数字や単語など）も見つけなければなりません。もし違いを見つけられなければ、彼女の負けとなります。
• ボブは探偵です。彼は両方のプログラム（PとQ）を見せられます。彼の仕事は、「これらは本当に異なっているのか？」を判断することです。もし異なっている場合、彼はその違いを暴くための特定のテスト入力を発見しなければなりません。見つけられれば彼の勝ち、見逃せばアプローチのアリスの勝ちとなります。

訓練ループ
最初は、アリスは巧妙な偽物を作ることが下手で、ボブはそれを見抜くのが上手い状態です。しかし、何度も繰り返しプレイすることで、彼らは上達していきます。アリスはより見抜きにくい偽物を作ることを学び、ボブはより深く、より微細な手がかりを探すことを学びます。彼らは、チェスのグランドマスターが、プレイするたびに賢くなっていくコンピュータを相手に練習するのと同様に、「セルフプレイ（自己対戦）」のループの中で互いに訓練し合います。

ここでの魔法は、人間が「よくできました！」や「間違いです！」と言う必要がないことです。このゲームには、コンピュータのサンドボックスという「審判」が組み込まれています。彼らは単に、テスト入力を用いて二つのプログラムを実行するだけです。もし結果が異なれば、その入力は有効であり、ゲームは公平です。もし結果が同じであれば、トリックは失敗したことになります。つまり、AIは推測によってではなく、実践することによって学ぶのです。

彼らが発見したこと

研究者たちは、このゲームが現実世界のコーディングタスクにおいてAIモデルをより良くするかどうかを確認するため、二つの異なるAIモデル（gpt-4o-mini と gpt-4.1-nano）を用いてテストを行いました。

1. 「Python組み込み識別子入れ替え」チャレンジ
彼らは、非常に難しいパズルである「Python組み込み識別子入れ替え」についてAIをテストしました。例えば、Pythonの標準的なツールである print と len という単語が入れ替わっているプログラムを想像してください。人間にとってそれは混乱を招くものですが、AIにとっては悪夢です。なぜなら、コードは正常に見えるのに、挙動が奇妙になるからです。

• 結果： ゲームをプレイしたAI（ボブ）は、一方のモデルにおいて、このトリックを見抜く能力が大幅に向上しました。gpt-4o-mini では、追加のヒントなしで、精度が 1.65% という非常に低い値から 5.35% へと跳ね上がりました。しかし、もう一つのモデル（gpt-4.1-nano）では結果は混在しており、追加のヒントなしでは訓練によってパフォーマンスがわずかに低下しました。また、「思考の連鎖（Chain-of-Thought）」（AIが自身の推論を言葉にする手法）を用いた場合には、精度がさらに低下しました。これは、ゲームがAIに深く見ることを教えた一方で、その恩恵は使用される特定のモデルに大きく依存することを示唆しています。

2. セキュリティバグの発見（脆弱性検出）
チームは、この訓練がセキュリティホールを見つけるのに役立つかどうかもテストしました。彼らは二つのベンチマークを使用しました。

• PySecDB： Pythonコードの変更がセキュリティ問題を修正したかどうかを見るデータセット。
• CodeXGLUE： 既知のバグを見つけるための C/C++ コード（AIが訓練で使用したPythonとは異なるプログラミング言語！）のデータセット。
• 結果： ゲームをプレイしたAIは、訓練中に一度も見たことがない C/C++ 言語においても、これらのバグを発見する能力において、小さくとも一貫した改善を示しました。これは、AIが単にPythonの答えを暗記したのではなく、「論理を見抜く」という一般的なスキルを学んだことを示唆しており、非常に重要な成果です。

3. 新しいコードの記述
最後に、このゲームがゼロから新しいコードを書く助けになるかを検証しました。結果は混在していました。AIはコードを書く能力が大幅に向上したわけではありませんが、悪化したわけでもありません。著者らは、これは妥当であると考えています。なぜなら、彼らが訓練したのは「書き手（アリス）」ではなく「探偵（ボブ）」だからです。したがって、探偵としての鋭さは増しましたが、必ずしも優れた作者になるとは限らないのです。

総括

本論文は、この「Semantic Inequivalence Game」が、AIに対してコードのパターンだけでなく、その「論理」を理解させる強力な方法であることを示唆しています。二つのプログラム間の微細で目に見えない差異を見つけ出すことを強制することで、AIはより注意深く、より論理的になることを学びます。

しかし、著者らは、これがすべてのコーディング問題を解決する魔法の杖ではないことにも注意を促しています。改善は見られたものの、一部の領域では限定的であり、またこの手法は、AIが答えを確認するためにコードを実行できる能力に依存しています。また、予算の制限により数ラウンドのみの訓練を行ったため、もしゲームをより長く継続していれば、さらなるポテンシャルが開花していた可能性もあると指摘しています。

要約すると、「間違い探し」のゲームへとコード訓練を変換することによって、研究者たちは、AIが単なるコード生成器ではなく、より鋭く論理的な探偵になり、他のモデルが見逃してしまうようなセキュリティリスクや混乱した論理を特定できるようになることを示しました。これは、AIを単なるコード生成器から、真の「コード推論器」へと進化させるための一歩なのです。