Which Question Is Your Attention Metric Answering? Attention Rows as Compositional Data
本論文は、標準的なアテンション指標は、モデルが支配的な「シンク（sink）」トークンに集中しているのか、それともコンテンツ・トークンに対して分布しているのかを区別できないために誤解を招く結論を導き出すことが多いと論じ、代わりにアテンションの行を組成データとして扱うことで、これらの要因を正確に分離し、モデルの分析やプルーニングにおけるアーティファクトを回避することを提案する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
現代の人工知能を動かしている広大なニューラルネットワークの内部には、「アテンション（注意）」と呼ばれるメカニズムが存在する。これは、システムが文章や画像のどの部分が、ある特定の瞬間に最も重要であるかを判断することを可能にするものである。このメカニズムが作動すると、すべての単語やトークンに対して確率のリストが生成され、それぞれにどれだけの焦点が当てられているかが示される。長年、研究者たちはこれらのリストを標準的な数学的ツールを用いて比較し、機械がどのように思考しているのかを理解しようと研究してきた。彼らは、もし二つのリストが似ていれば、その背後にある思考プロセスも同様であると考えていた。しかし、新たな分析により、この仮定は科学者たちが気づかぬうちに下してきた「隠れた選択」に基づいていることが明らかになった。そして、その選択は、機械が実際に何を行っているのかという結論を完全に覆してしまう可能性がある。
問題の核心は、ほぼすべての大規模言語モデルに見られる特異な挙動にある。それは、膨大な量の注意を、通常は文の最初の一語である、情報の乏しい単一のトークンへと注ぎ込んでしまう傾向である。研究者たちはこれを「アテンション・シンク（注意の吸収源）」と呼んでいる。多くの場合、この単一のトークンが全アテンションの80パーセント以上を吸収してしまい、残りのトークンは極めてわずかな残りに分け合うことになる。科学者が二つの異なるアテンション・パターンを比較したいとき、彼らはジレンマに直面する。この支配的な最初のトークンを含めて比較すべきか、それともそれを除外して残りの情報がどのように分布しているかを見るべきか。論文は、これが単なる些細な技術的問題ではないことを示している。研究者がどちらの選択肢をとるかによって、同じ二つのアテンション・パターンが、ほぼ同一に見えることもあれば、全く別物に見えることもある。これは、数十年にわたるこれまでの研究が、この最初のトークンをどのように扱ったかを明示せずにこれらのパターンを比較することに依存しており、実際のモデルの思考プロセスの構造ではなく、恣意的な慣習に基づいて結論を導き出していた可能性があることを意味している。
これを解決するために、著者らはアテンションのリストを、「組成データ（compositional data）」と呼ばれる特定の種類のデータとして扱った。組成データにおいては、各部分の絶対的な大きさではなく、部分の相対的な割合のみが重要となる。この種のデータのために設計された専門的な数学的枠組みを適用することで、彼らは「シンク（吸収源）」の問題と「コンテンツ（内容）」の問題を分離することに成功した。彼らは、コサイン類似度やエントロピーといったコミュニティで使用されている標準的なツールが、これら二つの異なる問いを混ぜ合わせてしまっていることを証明した。アテンション・シンクが大きくなると、標準的なツールはアテンションがより集中し、システムがより単純な状態へと崩壊していると報告する。しかし、新しい分析によれば、これはしばしば錯覚である。アテンションがコンテンツに対してより集中しているのではなく、単に最初のトークンがスポットライトを独占しているだけなのである。意味のある単語間の実際のアテンションの分布は全く変化していないにもかかわらず、標準的な指標は崩壊が起こったと叫び続けることがある。
研究者たちは、小さな実験的ネットワークから数十億のパラメータを持つ巨大なモデルに至るまで、10種類の学習済みモデルを用いてこの理論をテストした。その結果、選択した慣習によって、結論が劇的に変わってしまうケースが驚くほど多いことが判明した。あるモデルでは、シンクを含めた場合にネットワーク内の異なる部分同士の比較が「近い関係」であったものが、シンクを除去すると「遠い他人」へと反転したケースが、ほぼ半数に達した。例えば、シンクを含めたときにネットワーク内で最も近い隣人に見えた一対のアテンション・ヘッドが、シンクを除去すると全く無関係なものに見えることがあった。逆に、シンクを含めているときは無関係に見えたヘッドが、除外すると「同一の双子」のように見えることもあった。この不安定さは、科学者が脳の異なる部分が何をしているのかを分類するために使用する有名な「ヘッド・クラスタリング」のマップが、実際にはパーツの機能ではなく、シンクの大きさを捉えていることが多いことを意味していた。標準的なクラスタリング・パイプラインの主要な再分析において、シンクを適切に考慮した結果、データから最も顕著な構造が完全に消失した。これは、見つかった構造がモデルの特徴ではなく、測定手法によるアーティファクト（偽の構造）であったことを明らかにしている。
これらのモデルの訓練と改善に対する示唆は重大である。本論文は、一見すると「エントロピー崩壊（モデルが訓練中に不安定になったり、過度に単純化されたりする兆候）」のように見えるものの多くが、実際にはアテンション・シンクが大きくなっているだけであることを示している。10億パラメータを持つモデルでは、見かけ上の複雑性の低下の95パーセントが、コンテンツの多様性が失われたためではなく、シンクがより多くのスペースを占有したことによるものであった。この区別は、エンジニアがネットワークの不要な部分をどのように削減（プルーニング）すべきかを変える重要な意味を持つ。研究者が、シンクとコンテンツを分離する新しい手法を用いてネットワークのどの部分を削るべきかを決定した際、旧来の手法を用いると、モデルのパフォーマンスが崩壊し、エラー率が場合によっては100倍以上に跳ね上がる可能性があることが分かった。新しい手法を用いれば、ノイズとしてのシンクから信号としてのコンテンツを分離した上で、モデルを壊すことなく冗長な部分を特定し、取り除くことができた。
結局のところ、この研究は古い数学が間違っていたと主張しているのではなく、むしろ、研究者が問いかけていると思っていたものとは異なる問いに、古い数学が答えていたのだと指摘している。古いツールは、最初のトークンへの巨大な偏りを含む、アテンションの総割り当て量を測定していた。新しいツールは、残りのアテンションが実際のコンテンツ間でどのように共有されているかを測定する。著者らは、それぞれのアプローチがいつ安全に使用でき、いつ災厄を招くのかについて明確な指針を示している。彼らは、強力なアテンション・シンクを持つモデルにおいて、標準的な手法は内部論理を理解する上で信頼できないことを示している。これら二つのチャンネルを分離することで、研究者は今や、モデルの真の幾何学的構造を見通すことができる。つまり、システムが本当に思考を単純化しているのか、それとも単に最初のトークンに会話を支配させているだけなのかを区別できるのである。この分離は、これらの複雑なシステムがどのように情報を整理しているのかについて、より誠実な視点を提供し、将来の発見が、思考の内容ではなく、測定方法の癖に基づいたものにならないように保証するものである。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。