Can Transformers Really Do It All? On the Compatibility of Inductive Biases Across Tasks
本論文は、標準的なトランスフォーマーが特定のタスクに対して最適であることは稀であるが、その非線形性を最適化することで、アルゴリズム的タスクにおいては高度にタスク特化型のアーキテクチャが性能を大幅に向上させ得る一方で、より汎用的な設計は言語およびコードの領域において緩やかな向上しか提供しないことを実証している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、ロボットに「考え方」を教えようとしているのだと想像してみてください。長い間、科学者たちはこれらのロボットに対して、「トランスフォーマー（Transformer）」と呼ばれる同じ基本的な設計図を使用してきました。トランスフォーマーを、万能なスイスアーミーナイフのようなものだと考えてください。それは、詩を書くことから言語の翻訳まで、あらゆることに驚くほどうまく機能する特定の道具（数学的関数）を備えています。この一つの設計がこれほど幅広く通用するため、多くの人々は、これがあらゆる仕事に対する「完璧な」道具であり、より良い結果を得るための唯一の方法は、単にロボットを大きくし、より多くのデータを読み込ませることだけだと信じ始めました。
しかし、そこには落とし穴があります。スイスアーミーナイフが瓶を開けたりロープを切ったりできるからといって、それがどちらの作業においても「最善の」道具であるとは限りません。専用のコルク抜きの方が瓶を素早く開けられますし、鋭いシェフナイフの方がロープをより綺麗に切ることができます。人工知能の世界では、これらの「最善の道具」は**誘導バイアス（inductive biases）**と呼ばれます。誘導バイアスとは、ロボットの自然な本能や、特定のパターンの学習を迅速に助ける組み込みのショートカットのようなものだと考えてください。科学者たちが問いかけている大きな疑問は、トランスフォーマーの「スイスアーミーナイフ」的な本能は、本当にあらゆるタスクにとって最善なのか、それとも私たちはロボットに対して、本来設計されていないことを無理にさせているのではないか、ということです。
「Can Transformers Really Do It All?（トランスフォーマーは本当に何でもできるのか？）」と題されたこの論文は、その答えを見つけ出すことを目的としています。研究者たちは単に推測したわけではありません。彼らは、特定の仕事のために「カスタムツール」を設計できるかどうかを確認するための、巧妙な実験を構築しました。彼らは標準的なトランスフォーマーを取り、その中核となる「思考」部分（情報をどのように処理するかを決定する非線形関数）を白紙の状態に置き換えました。そして、ロボットが単に答えを暗記してしまうのを防ぐ特別な学習手法を用いて、コンピューターにそのタスク（ビデオゲームや数学の問題など）に特化した「完璧な形状」を学習させたのです。一度、そのカスタム形状が見つかったら、それを固定し、その新しい設計が他のタスクでどの程度うまく機能するかをテストしました。
結果は、「驚き」と「困惑」が入り混じったものでした。研究者たちが、数学を行ったり、数字のリストを覚えたり、括弧のバランスが取れているかを確認したりといったアルゴリズム的タスクをテストしたとき、結果は劇的でした。カスタム設計されたロボットは、これらのタスクを2〜3倍速く学習し、非常に安定しており（ランダムに失敗することがありませんでした）、見たことがない長いシーケンスに対しても汎用性を示すことができました。しかし、そこには大きなトレードオフがありました。これらのカスタム設計は、非常に「好みが激しい」ものだったのです。ある数学問題のために最適化されたロボットは、リストを覚えることは全くできず、その逆もまた同様でした。論理的でルールに基づいたタスクにおいては、標準的なトランスフォーマーは実際にはかなり不器用であり、ある数学問題にとっての「完璧な」道具は、別の数学問題には役に立たないということが判明したのです。
物語は、言語やコードに目を向けたときに変化しました。ロボットに物語やシェイクスピアの劇、あるいはコンピュータコードを書かせようと試みたとき、カスタム設計は標準的なものよりもわずかに優れた性能を示しましたが、その改善はわずかなものであり、かつ一貫していました。より重要なことに、言語のためのこれらのカスタム設計は、標準的なものよりもずっと柔軟でした。英語用に最適化されたロボットは、コンピュータコードも合理的に扱うことができたのです。このことは、言語に関しては、標準的なトランスフォーマーがすでに「局所最適（ローカル・オプティマム）」、つまり、大幅な変更を加えない限り打破するのが難しい、かなり良い地点に到達していることを示唆しています。
結局のところ、この論文は、トランスフォーマーが素晴らしい汎用ツールではあるものの、あらゆることに対する完璧な解決策ではないことを示唆しています。数学やアルゴリズムのような厳格な論理的タスクについては、標準的な設計は最適とは程遠く、それらの仕事のために非常に異なる、特化したロボットを構築する必要があるかもしれません。言語については、標準的な設計はすでに十分に優れており、それを少し改良することはできても、巨大な隠れたポテンシャルを見逃しているわけではありません。教訓は、あらゆる人間のスキルに対して完璧な単一の「魔法の弾丸（万能な解決策）」となるアーキテクチャは存在しないということです。最高の成果を得るためには、一つのツールにすべてをこなさせようとするのではなく、特定の仕事に対して適切な道具を設計し始める必要があるのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。