Transformers perform adaptive partial pooling

想像してみてください。あなたは、友人が次に何を言うかを予想しようとしています。もしそのフレーズをすでに千回も聞いたことがあるなら、次に何が来るか正確に分かっているはずです。しかし、もし友人が全く新しいことを言ったらどうでしょう？ただランダムに推測することはできません。以前、似たような状況で彼が何を言ったかに注目しなければなりません。これが、人間の子供であれコンピュータプログラムであれ、言語学習の核心にあるパズルです。

これを解決するために、科学者たちは「適応的部分的プーリング（adaptive partial pooling）」という賢いトリックを使います。これは、賢い探偵のようなものだと考えてください。探偵が珍しい犯罪現場を目にしたとき、目の前にある単一の手がかり（それは少なすぎて誤解を招く可能性があるため）をただ凝視するだけではありません。代わりに、探偵は他の似たような犯罪現場を見て、そこで通常何が起こるのかをより正確に把握しようとします。彼らは、特定のヒントと一般的なパターンを融合させますが、そのヒントが頻繁に現れる場合は特定のヒントをより重視し、そのヒントが一度限りの珍しいものである場合は一般的なパターンをより重視します。これにより、珍しい、奇妙な事故に惑わされることなく、最善の推測を行うことができるのです。

さて、「トランスフォーマー（Transformer）」と呼ばれる超スマートなコンピュータの脳（現代のチャットボットを動かしている種類のもの）を想像してください。長い間、人々は疑問を抱いてきました。このコンピュータの脳は、本当にこの賢い探偵のトリックを使っているのか、それともこれまでに読んだすべてを単に暗記しているだけなのか？もし単に暗記しているだけなら、新しいものを見たときに失敗してしまうかもしれません。しかし、もし「適応的部分的プーリング」を使っているなら、人間と同じように学び、適応することができるはずです。この論文は、コンピュータの脳は実際にこのような探偵のような仕事をしているのか、そして学習を進めるにつれてそれは良くなるのか、あるいは悪くなるのか、という問いを投げかけています。

コンピュータの脳による探偵の仕事

この研究において、著者であるVsevolod Kapatsinskiは、GPT-2と呼ばれるコンピュータモデルをテストするために、小さな人工言語ゲームを用意しました。彼は、文が必ず「A」または「B」のいずれかで終わる言語を考案しましたが、その選択は直前の単語に依存します。ある単語の組み合わせは非常に一般的であり、別の組み合わせは極めて稀でした。これは、日常的に使われるフレーズもあれば、滅多に現れないフレーズもある現実世界と同じです。

コンピュータはこのゲームを用いて学習し、研究者はそれがどのように学ぶかを観察しました。ここで大きな発見がありました。はい、コンピュータは実際に適応的部分的プーリングを使用しています。 コンピュータは珍しい文章を見たとき、その一つの珍しい例に基づいて単に推測するのではなく、より良い推測をするために似たような文章の知識を「プーリング（集約）」しました。それは、前述の賢い探偵のように振る舞ったのです。

しかし、ここにはひねりがあります。コンピュータの探偵としてのスキルは、学習を続けるにつれて変化します。

• 初期段階： 学習を始めたばかりのとき、コンピュータは一般的なパターンに強く依存します。これは、まだ特定のルールを学んでいない新入生が、通常何が起こるかに基づいて推測するようなもので、多くの情報を集約（プール）します。
• 中盤： 学習が進むと、コンピュータは「スイートスポット（最適点）」に到達します。これは、特定の珍しい手がかりと一般的なパターンのバランスを取るのが最も上手な瞬間です。この段階では、階層回帰の数学が示すような、完璧な人間らしい探偵の挙動を模倣します。
• 後半段階： もしコンピュータがこのスイートスポットを超えて長く学習しすぎると、再び変化し始めます。コンピュータは特定の、珍しい手がかりを信じすぎてしまうのです。一般的なパターンを見ることなく、あらゆる珍しいケースに対して完璧に答えを知っていると思い込み始めます。著者は、十分に学習を進めると、コンピュータはあまりにも自信過剰になり、人間らしさを形作る「部分的プーリング」を失ってしまう可能性があると示唆しています。

この研究はまた、コンピュータが他の点でも人間のように振る舞うことも明らかにしました。もし文章のグループが非常に多様であれば（Aと言うものもあればBと言うものもある）、コンピュータはそれらを一緒にプーリングすることをやめ、個別に扱います。しかし、もしグループが非常に似通っていれば、コンピュータは喜んでそれらを融合させます。また、似たような文章のタイプが数多く存在する場合（タイプ頻度が高い場合）、コンピュータはそれらを一緒にプーリングすることに前向きになります。これは、人間が多くの異なる方法でルールが使われているのを見たとき、そのルールを一般化しやすいのと同様です。

なぜこれが重要なのか

この論文は、単に「コンピュータが学習する」と言っているだけではありません。それが「どのように」学習するかを示しています。それは、これらの巨大なコンピュータの脳が、単にすべての単語を暗記する巨大なメモリバンクではないことを証明しています。彼らは、時間が経つにつれてますます詳細な内部表現を構築していきます。彼らはまず広いカテゴリー（例えば「すべての動物」）から始まり、徐々に小さなグループ（例えば「魚 vs 鳥」）を区別することを学びます。これは人間の子供がすることと同じです。

最もエキサイティングな発見は、「スイートスポット」です。著者は、コンピュータが最も人間に近い学習者となる、特定の学習ポイントが存在することを示唆しています。つまり、珍しい単語を考えすぎることなく、適切な量の一般化を用いて対処できる状態です。もしコンピュータを訓練しすぎると、人間のような柔軟性を失い、珍しいケースに対してあまりにも硬直した予測を行うようになるかもしれません。

ですから、次にチャットボットと話すときは、それが単に台本を読み上げているのではないことを覚えておいてください。それは、特定の瞬間について知っていることと、世界について知っていることのバランスを取る、複雑な綱渡りを行っており、学習の完璧な中間地点にあるときに最も優れたパフォーマンスを発揮するのです。