From Brute Force to Semantic Insight: Performance-Guided Data Transformation Design with LLMs

ロボットに写真の中の猫を認識させる方法を教えようとしていると想像してみてください。単に100万枚の猫の画像を見せることもできますが、それは退屈ですし、時には照明や角度のせいでロボットが混乱してしまうこともあります。もっと賢いトリックは、同じ猫を、回転させたり、引き伸ばしたり、色を変えたり、ズームしたりして見せることです。これは「データ拡張（データ・オーグメンテーション）」と呼ばれます。これは、ロボットに特定の1枚の写真ではなく、猫が「本当はどう見えるのか」を学ばせるために、万華鏡のような多様な視点を与えるようなものです。

長い間、これらの写真をどのように回転させたり引き伸ばしたりするのが最適かを見つけ出すことは、推測のゲームでした。科学者たちは、ランダムな組み合わせを試す（総当たり攻撃）か、あるいは完璧なレシピを探し出すために複雑な数学を用いるかのどちらかでした。しかし、ここに新しいプレイヤーが現れました。大規模言語モデル（LLM）です。彼らは、物語やコードを書くことができる超スマートなチャットボットとして知られています。大きな疑問は、言葉には長けているこれらのチャットボットが、ロボットをより賢くするための「写真を加工するコード」を書くことにも長けているのかどうか、ということでした。課題は、これらのチャットボットは通常、テキストから学習するのであり、「このコードはロボットを賢くしたか？」というフィードバックからは学習しないという点でした。この論文は、まさにその問題に深く切り込み、チャットボットに教科書を与えるのではなく、その結果を見せることで、より良い写真混合コードを書く方法を教えられるかどうかを問いかけています。

推測のゲームからスマートなコーチングへ

ヴュルツブルク大学の研究者たちは、推測をやめてコーチングを始めることに決めました。彼らは、標準的なAIチャットボットを、データの変形におけるマスターシェフに変えることができるかどうかを確かめたいと考えました。単にチャットボットに「画像を回転させるコードを書いて」と頼むのではなく、チャットボットがその結果を「味わう」ことができるシステムを構築したのです。

「総当たり」のキッチン
まず、彼らには学習のための巨大な料理本が必要でした。彼らはチャットボットに推測させたわけではありません。彼らは「総当たり」の実験を行いました。想像してみてください。キッチンで材料をランダムに6,000回混ぜ合わせるシェフを。彼らは、画像の回転（リサイズ、反転、色の変更など）の組み合わせを6,000通り用意し、それぞれをシンプルな画像認識モデルでテストしました。彼らはレシピには関心がありませんでした。彼らが求めたのはスコアだけです。この特定の回転の組み合わせは、モデルの画像認識能力を向上させたでしょうか？ 彼らは、あらゆるレシピに対してスコアを記録しました。これにより、6,000以上の「レシピ」とその「味のスコア」が紐付いた巨大なデータベースが作成されました。

チャットボットに「味」を教える
次に、強力なコーディングチャットボット（Olympic Coder 7B）を取り出し、特別な食事を与えました。彼らは単にコードを与えたのではありません。コードとスコアのペアを与えたのです。「これは低いスコアだったレシピです。これは高いスコアだったレシピです。違いが分かりますか？」とチャットボットに示したのです。

彼らは、低ランク適応（LoRA）という手法を用いました。これは、チャットボットの脳全体を書き換えることなく、最も重要な詳細に集中させるための「特別なメガネ」を与えるようなものです。チャットボットは、コードを見て次のように予測することを学びました。「もし私がこのようなコードを書けば、スコアは上がる。もしあのようなコードを書けば、スコアは下がる」。それは単に単語を暗記することではなく、優れた変形を生み出す「感覚」を学ぶことでした。

結果：推測から天才へ
結果は驚くほど明確でした。このトレーニングを受ける前にチャットボットにコードを書かせると、惨憺たる状況でした。構文（シンタックス）が正しいのはわずか22%で、生成されたものの平均スコアは約0.10と非常に低かったのです。それは、まるで勉強していない学生がテストで適当に答えを書き殴っているような状態でした。

しかし、トレーニングの後ではどうでしょう？ チャットボットはプロになりました。

• 効率性： 古い「総当たり」の方法では、最適なものを見つけるために6,000通りのランダムな組み合わせを試す必要がありました。しかし、訓練されたチャットボットは、わずか280個の候補（28日間で1日10個）を試すだけで、それと同等か、あるいはそれ以上の解決策を見つけ出しました。それは、針がどこに隠れているかを知らずに、干し草の山全体を掘り返すのではなく、針が好んで隠れる場所を知って、干し草の中から針を見つけ出すようなものです。
• 強さだけでなく、賢さ： チャットボットは、見た最高のレシピをただコピーしたわけではありません。彼は「論理」を理解したのです。例えば、画像のサイズを特定のサイズ（256ピクセルなど）にリサイズすることが、高スコアを得るための鍵になることが多いということを理解しました。チャットボットは、コードと結果の関係性を理解したのであり、単にコードを暗記したのではなかったのです。
• 「思考の連鎖」の罠： 研究者たちは面白い試みをしました。チャットボットに、コードを書く前に「ステップ・バイ・ステップで考え」、その理由を説明させるように指示したのです（これは「思考の連鎖（Chain-of-Thought）」と呼ばれる有名なテクニックです）。驚いたことに、これが状況を「悪化」させました。チャットボットは書かなければならない余計な言葉によって混乱し、パフォーマンスが低下したのです。この特定の仕事においては、長い説明をせずに、直接コードに向かう方がベストであることが分かりました。

これが意味すること
この論文は、AIをより良くするために、複雑な報酬システムや人間の教師は必ずしも必要ではないことを示唆しています。私たちはただ、AIに自分の仕事の結果を見せればよいのです。AIがコードを書き、テストし、スコアから学ぶというループを作ることで、AIはより良いコードを書く方法を自律的に理解できるのです。

この研究は、チャットボットが画像認識を向上させるコードを書くことを学習できる一方で、それがあらゆることに効く魔法の杖ではないことも示しています。研究者たちは、これを特定のタイプの画像モデル（ResNet）と一つのデータセット（CIFAR-10）に対してのみテストしました。彼らは、画像をどのように加工するのが最適かは、特定のロボットや、そのロボットが見ている特定の画像に大きく依存する可能性があると示唆しています。しかし、大きな教訓はエキサイティングなものです。AIは、何がうまくいき、何がうまくいかないかを観察するだけで、優れたエンジニアになる方法を学ぶことができるのです。つまり、混沌とした推測のゲームを、スマートでガイドされた発見へと変えることができるのです。