When Uncertainty Isn't Enough: An Empirical Study of Self-Correction in Code Generation

人工知能の世界において、大規模言語モデルはコンピュータコードの記述において驚くほど熟達してきました。彼らは、タスクの単純な説明を受け取り、それを解決する動作するプログラムを生み出すことができます。しかし、これらのデジタルアシスタントには盲点があります。それは、コードが壊れていることに気づかぬまま、壊れたコードを生成してしまうことがよくある点です。複雑な計算を一時停止して再確認するような人間のプログラマーとは異なり、モデルは自信があろうとなかろうと、警告信号をユーザーに送ることなく、ただ答えを出力します。これにより、生成されたコードが実際に機能するかどうかを確認するために、ユーザーが手動ですべてのコードをテストしなければならないという、不満の募るサイクルが生じており、失敗する解決策に対して時間と計算資源が無駄に消費されています。研究者たちは、もしこれらのモデルに自身の不確実性を認識させること、つまり、確信が持てないときに「疑い」の感覚を与えることができれば、人間に対して結果を示す前に自らの間違いを修正できるシステムを構築できるのではないかと、長年期待してきました。

ある研究チームは、このアイデアをプログラミングという特定の文脈において検証することを試みました。彼らは、エッセイの執筆や質問への回答といった自然言語における不確実性を測定するために開発された手法が、プログラミングのような厳格で論理的な世界においても同様にうまく機能するかどうかを知りたいと考えました。また、これらの不確実性のシグナルを用いて自己修正をトリガーすることが、実際にコードをより良くするかどうかについても検証したいと考えました。チームは、モデルが回答に対してどの程度確信を持っていたかを測定する5つの異なる方法をテストしました。ある手法は、モデルが各単語を選択するために使用した内部的な数学的プロセスに着目し、別の手法は、モデルに自身の自信を単に表明させたり、あるいは同じコードの複数のバージョンを生成してそれらがどれほど異なっているかを確認したりするものでした。彼らはこれら3つのコーディングモデルに対して、2つの標準的なプログラミング課題を用いてテストを実施しました。

結果は、何が機能し、何が機能しないかの鋭い分かれ目を示しました。コードが正しいかどうかを判断する最も信頼できる方法は、解決策の多くの異なるバージョンを生成し、それらがテストに合格するかどうかをチェックすることであり、この手法は実際の成功と非常に強い関連性を示しました。しかし、このアプローチは、モデルに何度もコードを書かせる必要があるため、コストがかかり時間がかかります。研究者が迅速な警告システムとして機能することを期待していた、より安価で高速な手法は、その大部分が失敗に終わりました。モデルの内部的な数学的プロセスに着目した手法や、モデル自身に自信を評価させた手法は、コードが実際に機能するかどうかを予測する能力をほとんど示しませんでした。実際、小規模なモデルの場合、モデルに自身の自信を評価させたところ、得られた数値は実質的にランダムなノイズと同等でした。

研究者がこれらの弱い不確実性のシグナルを使用してコードを修正しようとしたとき、結果は予想よりも悪いものでした。彼らは、モデルが確信を持てていないと思われるたびにコードを自動的に書き換えるシステムを構築しました。結果を改善するどころか、このアプローチはほとんどのケースにおいて状況を悪化させました。テストした6つの設定のうち5つにおいて、自己修正システムは成功率を低下させ、最初の回答をそのままにしておいた場合よりも、モデルが壊れたコードをより多く生成する原因となりました。品質を継続的に向上させた唯一の戦略は、コードをテストケースに対して実行し、それが正しいことを検証することに依存したものでした。このことは、コード生成において、モデルの内部的な疑念の感覚は、自力で間違いを修正するための有用なツールではないことを示唆しています。

本研究は、不確実性のシグナルはコードを実行してテストする必要性を代替するには不十分であるものの、依然として役割を果たす可能性があると結論付けています。研究者らは、これらの安価で不完全なシグナルを「門番（ゲートキーパー）」として利用できるのではないかと提案しています。システムがコード自体を修正しようとするのではなく、迅速な不確実性チェックを用いて、追加の時間と計算資源を投じてフルでの高コストな検証テストを実行する価値があるかどうかを判断させるのです。このように、不確実性のシグナルは、解決策そのものになろうとするのではなく、最も必要とされるときにのみ重厚なチェックを起動させるスイッチとして機能します。今回の知見は、モデルが単に自律的に注意深く学習できるという期待に異を唱え、信頼性の高いコード生成のためには外部による検証が必要であることを示しています。