Three Tokens Force Exponential Feature Rank in Nonnegative Kernel Attention

トークンの大対決：なぜ「短くて簡潔」だけでは不十分なのか

あなたは、混み合った部屋の中で完璧なパートナーを探そうとしているところだと想像してください。人工知能の世界、特に機械学習と呼ばれる分野において、コンピュータは常にこれを行っています。彼らは、文章の中の単語や画像の中のピクセルといったアイテムのリストを見て、どれとどれが最もよく組み合わさるかを判断しようとします。このプロセスは、しばしば「アテンション（注意）」と呼ばれます。

これを行う方法は主に2つあります。1つ目の方法は、超社交的なホストのように、部屋にいるすべての人に歩み寄り、一人ひとりと握手をして比較していくようなものです。これは「フル・アテンション（全注意）」と呼ばれます。徹底的ですが、部屋が巨大になると非常に遅くなり、コストもかかります。2つ目の方法は、ホストが部屋全体の素早い圧縮された要約、つまり「スケッチ」を作成し、その要約を使って誰と誰がマッチするかを推測する方法です。これは「カーネル・アテンション」または「リニア・アテンション（線形注意）」と呼ばれます。これは非常に高速で、本一冊分や長い動画のような、膨大なデータを扱うように設計されています。

長い間、科学者たちは、この「スケッチ」方式は、単に「フル」方式よりも少し精度が低いバージョンに過ぎず、スケッチを十分に大きくすれば問題なく機能すると考えてきました。大きな疑問は、「スケッチがいかに賢くなったとしても、どうしても成し遂げられない仕事があるのではないか？」という点でした。本論文はこの問いに対し、巨大で混沌とした現実世界のデータを見るのではなく、スケッチがどこで破綻するのかを正確に突き止めるために、極めて小さく、非常に具体的なパズルを設定することで切り込んでいます。

---

3トークンの罠

この論文の著者であるビセンテ・オパゾ（Vicente Opazo）は、Min-IP（最小内積）と呼ばれるゲームを用いて、これらの「スケッチ」モデルの限界をテストすることにしました。想像してみてください。あなたは、0と1で構成された秘密のコードのリストを持っています。リスト内のすべてのコードについて、そのコードと重なりが最も少ない（共通点が最も少ない）もう一つのコードを見つけなければなりません。それは、部屋の中にいる二人の中で、共通点が最も少ない人を見つけるようなものです。

研究者たちは、2種類のAIモデルによるレースを設定しました。

1. フル・アテンション・モデル： このモデルは、コードのすべてのペアを直接調べます。それは、あらゆる比較に対して拡大鏡を持っているようなものです。
2. カーネル・アテンション・モデル： このモデルは、すべてのコードを固定サイズの「スケッチ」（要約）に圧縮し、その要約に基づいて計算を行うことで、パズルを解こうとします。

論文は単純な問いを投げかけます。「リストに何個のコードがあれば、スケッチ・モデルは失敗するのか？」

魔法の数字は「3」

この論文における最も驚くべき発見は、スケッチ・モデルがリストが巨大になった時に失敗するのではない、ということです。それは、ほぼ即座に失敗するのです。

• 長さ1および2： リストに1つまたは2つのコードしかない場合、スケッチ・モデルは完璧です。非常に小さな要約（わずか1つの「特徴量」）であっても、パズルを正確に解くことができます。これは、二人しかいない部屋で最高の相手を見つけるようなもので、簡単です。
• 長さ3： リストに3つ目のコードが加えた瞬間、スケッチ・モデルは壁にぶつかります。論文は、わずか3つのコードのリストに対して正しくパズルを解くためには、スケッチ・モデルが必要とする特徴量の数が、コードのサイズに対して指数関数的に増大することを証明しています。

これを具体的に例えると、もしコードが100ビット長ければ、スケッチ・モデルが正解を得るために数十億の特徴量を必要とするかもしれません。もし200ビット長ければ、実質的に不可能なほど膨大な数が必要になります。一方で、「フル・アテンション」モデル（一人ひとりを個別にチェックするモデル）は、同じ3つのコードのパズルを、ごくわずかな一定の労力で簡単に解いてしまいます。

なぜこれが起こるのか？

著者はこれを「ドミノ効果」または「増幅」のアナロジーを用いて説明しています。

スケッチ・モデルが、候補者Aと候補者Bのどちらかを選ぼうとしている場面を想像してください。

• リストに2人しかいない場合、モデルはAとBを比較するだけです。簡単です。
• リストに3人（A、B、C）がいる場合、モデルはAに対してBと比較し、かつAに対してCと比較しなければなりません。

論文によれば、モデルはすべてを単一の要約に圧縮することを強制されるため、「非常に異なるもの」と「わずかに異なるもの」を鋭く区別する能力を失ってしまうのです。二人の競合する候補者がいるとき、モデルの要約は混乱します。この混乱を解消するために、モデルは要約を信じられないほど詳細にしなければならず、その結果、それは事実上、あらゆる可能性のリストとなってしまうのです。

著者はこれを数学的に証明しました。3つのアイテムのリストに対して、必要な特徴量の数は、およそ $2^m$ （$m$ はコードの長さ）となることを示しました。これは指数関数的な爆発です。それは、一つのドアを開けるための鍵を一つ必要とするのと、宇宙のあらゆる原子の組み合わせに対する鍵をそれぞれ必要とするのとでは、決定的な違いがあるということです。

「符号付き」カーネルや「マルチヘッド」については？

この論文は、自身が何を証明していないかについても非常に慎重に述べています。焦点は「非負」カーネル（計算において足し算のみを行い、引き算を行わないもの）と、シングル「ヘッド」（一つの思考プロセス）に置かれています。

• 「符号付き」の抜け穴： もしモデルが数字を引くこと（「負」の特徴量を使用すること）を許されている場合、このシステムを回避できる可能性があります。論文には、「このアプローチが引き算ベースのモデルに有効かどうかは不明だが、足し算のみのモデルにおいては、壁は実在する」と記されています。
• 「マルチヘッド」の抜け穴： もしモデルに多くの異なる「ヘッド」（一度にデータを捉えるための多くの異なる方法）を与えた場合、それらが協力してパズルを解ける可能性があります。論文はこれを認めていますが、それでも、それらがやり取りしなければならない情報の総量は膨大に増大することを示しています。

証明と実験

著者は単に推測したのではなく、数学的に証明しました。特定の3トークン・パズルを、50%未満のエラー率で解こうとするあらゆるモデルにおいて、特徴量の数は指数関数的でなければならないことを示しました。

また、理論を裏付けるためにコンピュータ・シミュレーションも実行しました。彼らは3つのコードのリストを用いてAIモデルを訓練し、「特徴量ランク」（要約のサイズ）を増やしていく際に何が起こるかを観察しました。

• ランク1から15： モデルは惨めに失敗し、大きな間違いを犯しました。
• ランク32： 突然、モデルは正解を導き出し始めました。
  この実験は理論を裏付けました。つまり、モデルが指数関数的な閾値を越えるのに十分な特徴量を持った瞬間に、モデルが突如として能力を発揮するという「相転移」が存在するのです。

まとめ

ここでの主な教訓は、スピードには代償が伴い、その代償は私たちが考えていたよりもずっと早く現れるということです。

私たちは、リニア・アテンション（高速なスケッチベースの手法）の問題は、処理すべきトークンが多すぎる時にのみ発生すると考えがちです。しかし、本論文は、問題はデータの「量」ではなく、選択の「複雑さ」にあることを示しています。AIが二つの競合する選択肢の間で判断を下さなければならない状況（3つのリスト）になった途端、スケッチ・メソッドは、膨大なメモリを与えない限り破綻してしまうのです。

現実の世界において、これは、高速なアテンション・モデルは長い文書の要約には優れているものの、少数の特定のアイテム間の精密で鋭い比較を必要とするタスクには苦戦する可能性があることを示唆しています。「フル・アテンション」モデルは、速度こそ劣るものの、不可能な量の計算資源を必要とすることなく、これらの鋭い選択を処理できる唯一の方法なのです。論文は、高速なモデルと正確なモデルの間の「指数関数的なギャップ」は、単に簡単に修正できるバグではなく、これら特定のタイプのAIが持つ根本的な法則であると結論づけています。