Do Language Models Know What Not to Say? Causal Evidence for Statistical Preemption in LLMs

以下は、この論文を平易な言葉と創造的なアナロジーを用いて解説したものです。

大きな問い：私たちは「言ってはいけないこと」をどう学ぶのか？

子供が言葉を学ぶ様子を想像してください。彼らは親が「私は本を図書館に寄付した（I donated the books to the library.）」と言うのを聞きます。やがて子供は、「*私は図書館に本を寄付した（I donated the library the books.）」と言うと、おかしく聞こえることに気づきます。

ここで謎があります。子供は「そんな言い方をするな」と教えられたことも、訂正されたことも一度もありません。実際、彼らが避けようとしている文構造（「二重目的語」バージョン）は、他の単語、例えば「与える（give）」については完璧に機能します（「私は図書館に本を与えた I gave the library the books」など）。

では、脳はなぜ、特定の単語については聞いたことがないという理由だけで、本来機能しうるパターンを使うのをやめると知っているのでしょうか。これはベイカーのパラドックスとして知られています。

理論：「混雑した部屋」のアナロジー

この論文は、**統計的予備（Statistical Preemption）**と呼ばれる理論を検証しています。

誰かに何かを渡していることを伝えたいとき、部屋中にいる人々がメッセージを伝えようとしている混雑した部屋を想像してください。

• 理論： あなたが「私は本をその人に渡した」と伝えたいとき、部屋中の人の 99% が「私は本をその人に渡した（I gave the book to the person.）」と言うのを見ると、脳はその「標準的な」言い方を学びます。「私はその人に本を渡した（I gave the person the book.）」と物理的に言うことは可能ですが、脳は「あ、この特定の動作については、他のみんなは『to』を使うバージョンを使っているな。もし私が別のバージョンを使ったら、人々は私が変だとか間違っていると思うかもしれない」と気づきます。
• 対立する考え方（定着）： 競合する理論は、新しいパターンを使わなくなるのは、どの文脈でも「寄付（donate）」という言葉にあまりにも多く遭遇したからだと提案しています。まるで「『寄付』という言葉にあまりにも多く遭遇したので、新しいことを試すにはあまりにも型にはまりすぎている」と言っているようです。

著者たちは知りたいと考えていました：AI 言語モデル（LLM）は人間と同じように学ぶのでしょうか？ 彼らは「混雑した部屋」で人気のあるバージョンがどれか気づくだけで、「言ってはいけないこと」を突き止めるのでしょうか？

実験：AI をスーパーラーナーとして

研究者たちは、GPT-2、LLaMA、Pythia などの大規模言語モデルを「スーパーラーナー」として扱いました。これらのモデルは数十億の文章を読みましたが、文法規則を教えられることはありませんでした。彼らが吸収したのは統計だけでした。

彼らは、donate（寄付する）、give（与える）、explain（説明する）、pour（注ぐ） などの 120 種類の動詞を、3 種類の文構造にわたってモデルでテストしました。

1. 「驚き」テスト（相関）

研究者たちは、異なる文構造に対して AI がどれほど「驚いた」かを測定しました。

• メタファー： AI を DJ が音楽を流している状況に想像してください。曲が雰囲気に完璧に合えば、客席（AI）は落ち着きます。しかし、曲が奇妙で場違いであれば、客席は「驚き」（AI の内部アラームが鳴る）ます。
• 結果： AI は不自然な文（「*図書館に本を寄付した」など）に対して非常に「驚き」、自然な文については落ち着いていました。このパターンは人間の判断とほぼ完全に一致しました。人間が文がおかしいと言ったとき、AI もそれに対して「驚いて」いたのです。

2. 「混雑した部屋」対「有名な名前」テスト（分離）

これが最も重要な部分でした。彼らは、AI が単語が有名だから（定着）といって文を避けているのではなく、特定の競合相手（予備）が勝っているから避けていることを証明する必要がありました。

• 設定： 彼らは動詞を 2 つのグループに選びました。
  • グループ A（「混雑した部屋」）： 特定の文構造が支配的な動詞（例：donate はほぼ常に「to」とともに使われる）。
  • グループ B（「有名な名前」）： 非常に頻繁に使われるが、多くの異なる方法で使われ、単一の「勝者」がいない動詞。
• 結果： AI はグループ Aの不自然な文構造のみを避けました。グループ B では、単語が有名であっても、AI は奇妙な構造を試しても構わないと考えていました。
• 結論： AI は単語が一般的だからといって単に何かを避けているわけではありません。それは、それを言う別の特定の方法が標準であると学習しているからです。これは「統計的予備」理論が正しいことを証明しています。

3. 「サイズが重要」テスト（スケーリング）

彼らは、ポケット電卓のような小さなモデルからスーパーコンピュータのような巨大なモデルまで、さまざまなサイズのモデルをテストしました。

• メタファー： 犬を訓練するようなものです。子犬は間違いを犯すかもしれませんが、よく訓練された犬はルールを知っています。
• 結果： AI モデルが大きくなるにつれて、間違った文を見つけ出す能力は向上しました。しかし、それは突然オンになる魔法のスイッチではなく、時間とともに成績が良くなる学生のように、滑らかで着実な改善でした。

4. 「配線変更」テスト（因果的証明）

これが単なる偶然ではないことを証明するために、彼らは小さな AI モデルに対して「手術」を行いました。

• 行動： 彼らはモデルを取り出し、追加のトレーニングデータを与えました。
  • シナリオ 1： 正しいバージョンの文を 3 倍多く出現させました。
  • シナリオ 2： 間違ったバージョンの文を 3 倍多く出現させました。
• 結果：
  • シナリオ 1 では、AI は間違った文を避けることをより厳格に行うようになりました。
  • シナリオ 2 では、AI は厳格さが低下しましたが、シナリオ 1 が変えたほどではありませんでした。
• 結論： これは、AI の行動が競合する文の頻度によって直接引き起こされていることを証明しました。入力統計を変えれば、AI の「文法」を予測可能な方法で変えることができます。

結論

この論文は、ニューラル言語モデルは、統計的競争を通じて、人間と全く同じ方法で「言ってはいけないこと」を学ぶと結論付けています。

彼らは「それは間違っている」と教える教師を必要としません。彼らが必要とするのは、物事を言う「正しい」方法を十分に聞くことで、彼らの脳（またはコード）が「ああ、それが標準的な方法だ。他の方法はブロックされている」と気づくことです。

これは、否定的なフィードバックなしに人間が言語をどのように学ぶかという数十年にわたる謎を解決し、分布統計（物事が起こる頻度を数えること）が文法のルールを教えるのに十分強力であることを示しています。