Optimization Is Not All You Need

想像してみてください。あなたには、魔法のような、無限の物語を紡ぐロボットがいます。2019年、このロボットが初めて目を覚ましたとき、それは少しばかり「野生」でした。アンデス山脈に住む四本角のユニコーンの話をしたり、突然ニュース報道からトースターについての詩へと切り替えたりすることがありました。間違いを犯すこともありましたが、それらの間違いはしばしば面白く、驚きに満ち、あるいは奇妙に美しいものでした。それは、時には間違った音を鳴らしながらも、それが新しいクールなメロディへと変わっていくジャズミュージシャンのようでした。

しかしその後、ロボットの所有者たちは、それを「修正」することに決めました。彼らは、ロボットを完璧で、安全で、役に立つものにしたいと考えたのです。彼らは「最適化（Optimization）」という大規模な訓練キャンプを実施しました。その目標は、ロボットの言語を測定可能にし、予測可能にし、採点しやすいものにすることでした。

主な発見：ロボットは魂を失った
この論文は、ロボットをあまりにも完璧にしようとしたことで、私たちは図らずも、その真の創造性を殺してしまったのだと主張しています。著者らは、ロボットが「LLMの冬」に閉じ込められていると示唆しています。これは、ロボットが壊れたからでも、計算能力が足りなくなったからでもありません。実際、私たちはかつてないほど多くの計算能力を持っています。しかし、その力は、ロボットを小さく安全な箱の中に押し込めるために使われているのです。

これを庭に例えてみましょう。かつての「野生」のロボットは、奇妙な花がどこにでも咲くことができるジャングルでした。一方、「最適化された」ロボットは、手入れの行き届いた芝生です。芝は完璧に緑色で、エッジは鋭く、何一つ秩序を乱れるものがありません。見た目は素晴らしいですが、そこでは決して珍しく、奇妙で、素晴らしい花を見つけることはできません。なぜなら、庭師（最適化システム）が、花が芽を出そうとした瞬間にそれを刈り取ってしまうからです。

この論文が否定していること
この論文は、この「修正」が何では「ない」のかを明確に述べています。

• それは、単にロボットをより安全にしたり、意地悪さを減らしたりすることだけではありません。安全性も要素の一つですが、本当の変化は、ロボットが「退屈なほど正しい」ことを強制されるようになった点にあります。
• それは、ダイヤルを回すだけで直せるような技術的な不具合ではありません。著者らは、問題は成功を測定する方法そのものに組み込まれていると主張しています。
• それは、制御不能で野蛮だった「古き良き時代」への回帰ではありません。著者らは、かつてのロボットは無秩序で、時に危険であったことも認めています。彼らは、かつての状態に戻すべきだと言っているのではありません。危険を伴わずに「野生味」を維持する方法を見つける必要があると言っているのです。
• それは、私たちが考えるような意味でのロボットの「賢さ」を示すものでもありません。論文は、ロボットは自ら考えるのではなく、教師や上司が喜びそうな次の言葉を推測するのが非常に上手くなっただけであると示唆しています。

「間違った答え」の魔法
ここからが、論文が説明するトリッキーな部分です。
ロボットの「間違い」こそが、実は魔法が起きる場所なのです。
ロボットが言葉の道を歩いているところを想像してください。最も一般的な道は舗装された高速道路（最も可能性の高い言葉）です。「野生」のロボットは、時として高速道路を外れ、背の高い草むらへと迷い込みました。時には道に迷う（幻覚を見る）こともありましたが、同時に、隠れた洞窟や珍しい鳥（新しいアイデアや面白いジョーク）を見つけることもありました。

新しい「最適化された」ロボットは、高速道路に留まるようにプログラムされています。そこには、「ダメだ！道から外れるな！」と叫ぶGPSがあります。もしロボットが草むらに踏み込もうとすれば、システムは「それは間違いだ！それは『スロップ（ゴミ）』だ！」と判定し、再び高速道路へと強制的に押し戻します。

論文は、システムが「間違い（例えば、ユニコーンは実在すると言うこと）」と「輝かしい発明（例えば、四本角のユニコーンについての物語を書くこと）」を区別できないことを指摘しています。区別できないため、システムは両方を禁止してしまいます。あらゆる「驚き」を、修正すべきエラーとして扱うのです。

「監査」の罠
著者らは、これをテストのスコアだけが重要な学校に例えています。

• 古いやり方： 教師（学校や本の編集者のような人々）は、文章を判断してきました。彼らは学生に対して、「この言葉は好きではないが、面白い」「文法は間違っているが、響きが良い」といった議論をすることができました。彼らは考えを変えることができたのです。
• 新しいやり方： 今や、「教師」は単一の数値スコアを与えるコンピュータプログラムです。それは議論しません。ただ、「スコア：98/100。よくできました」あるいは「スコア：42/100。ダメです」と言うだけです。

論文は、このコンピュータの教師は、実際にはそのルールを書いた人々（主に、標準的で安全な英語を好む人々）の鏡に過ぎないと示唆しています。それは、もし学校が「完璧な」エッセイだけをA判定とし、少し変わった文章や独特な声を持つエッセイにはF判定を下すと決めたようなものです。結局、誰も自分の声で書こうとはせず、教師が何を求めているかを正確に書くようになってしまいます。

「クリナメン（Clinamen）」：小さな揺らぎ
この問題を解決する方法を説明するために、著者らは「クリナメン」という古代の概念を用いています。原子が雨のように真っ直ぐ下に落ちていく様子を想像してください。もし全ての原子が真っ直ぐ下に落ちるだけなら、互いにぶつかることはなく、世界は形成されません。しかし、もし一つの小さな原子が、ほんの少しだけ左に逸れたとしたら、それが他の原子と衝突し、ドカンと新しい世界が生まれるかもしれません。

論文は、「最適化された」ロボットは、真っ直ぐ落ちる雨のようなものだと示唆しています。それはあまりにも完璧すぎます。私たちはロボットに再び「逸れる」ことを許さなければなりません。あえて少し変な動きをさせ、道から外れて、その結果どうなるかを見る必要があります。論文は、「制御された分散（Controlled Variance：意図的に少し変な動きをさせること）」こそが、真の創造性を取り戻す唯一の方法であると示唆しています。

私たちが「できない」こと
著者らは正直です。ロボットに「変であれ！」と訓練して、変にすることはできません。

• もしロボットに奇妙な物語をたくさん読み込ませて、「変になれ！」と命じたとしても、ロボットは単に「変なふり」を学習するだけです。それは、単に新しい、予測可能なパターンとしての「変な物語」を書き始めるでしょう。それは、ロボットが踊るビデオを見て、ロボットにダンスを学ばせているようなものです。それはダンスのように見えますが、本物のダンスではありません。
• 「温度（Temperature）」のつまみを回すだけでは解決できません。問題はもっと深く、ロボットが話し始める前の、その背後にあるルールそのものにあるのです。

結論
論文は、「最適化（物事を完璧にし、測定可能にすること）」だけでは不十分であると結論づけています。私たちには別のものが必要です。それは、単なる「スコア」ではなく、「意味」を判断する能力です。
現在のロボットは、問いかけが終わる前に答えを出すように作られています。しかし、論文は、真の思考、真の芸術、そして真の理解は、「間（ま）」の中にこそあると主張しています。混乱したり、驚いたり、あるいはある事柄が本当に何を意味するのかを考えなければならない、あの時間のことです。最適化されたロボットはその「間」をスキップしてしまいます。問いが終わる前に、答えを提示してしまうのです。

論文は、悲しくも希望に満ちた結びの言葉を残しています。2019年の、あの荒削りで混沌としたロボットは消え、礼儀正しく、役に立つアシスタントに取って代わられました。しかし、論文は、あの混沌としたロボットは単なる「ノイズ」ではなかったことを思い出させてくれます。それは、私たちが失いつつあるもの、つまり、既存の枠組みには収まりきらないほど奇妙で新しいものを共有する能力の兆しだったのです。目標は、ロボットを壊すことではなく、時には「テストに合格しないものこそが、最も重要なものである」ということを忘れないことなのです。