Technical Manual for a Toolkit for Measuring Contextual Individuation in Transformer Language Models

現代の人工知能の世界において、コンピュータは膨大な人間のテキストを学習することで、読み書きを習得してきました。長い間、これらの機械は辞書のように、言葉を単一の固定された意味を持つ静的な項目として理解していました。もしコンピュータが「bank」という言葉を見れば、それが川に関する文脈であっても金融機関に関する文脈であっても、それに特定の単一のアイデンティティを割り当てていました。このアプローチは基本的なタスクには十分機能していましたが、人間の言語における根本的な真実を見落としていました。それは、意味とは流動的であるということです。私たちは、言葉が何であるかだけでなく、それがどこに現れるかによってその言葉を理解します。トランスフォーマー言語モデルとして知られる新しい世代のAIモデルは、この流動性を捉えることができるというアイデアに基づいて構築されました。これらのモデルは、文中の「仲間（周囲の言葉）」に応じて、言葉の理解を変化させるように設計されています。しかし、これらのモデルがこれに長けていると広く信じられている一方で、それを明確に証明することは困難でした。ほとんどの証拠は、モデルが特定のテストをいかにうまくこなすかを観察することから得られるものであり、それはモデルが有用であることを教えてくれますが、モデルが自身の内部でどのように言葉を整理しているかまでは必ずしも教えてくれるわけではありません。

ブラジルのカンピナス大学の研究チームは、これらの機械の内部を直接覗き込み、多義的な言葉をどのように扱うかを観察するための特化したツールキットを構築しました。彼らはコンピュータに定義を推測させたり、パズルを解かせたりはしませんでした。代わりに、文脈が変わるにつれて機械の内部表現がどのように変化するかを観察するための、制御された実験を作成しました。彼らの研究は、AIがいかに言語を理解しているかという謎を解明したと主張するものでも、特定のモデルがどのように振る舞うかについての具体的な発見を報告するものでもありません。むしろ、他の科学者が精密さを持ってこの問いを投げかけることを可能にする、厳密で再現可能な器具――ツールと手法のセット――を提供しています。研究者たちは、言葉自体を固定し、それが現れる世界だけを変える方法を設計しました。これにより、もしそのような分離が存在するのであれば、機械がいつ一つの意味を別の意味から切り離すのか、その正確な瞬間を特定する方法を作り出したのです。

彼らの手法の核心は、「ブリッジ・フォーム（架け橋となる形態）」と呼ぶ概念に基づいています。「current」という言葉を例に考えてみましょう。これは電気の流れ、金融口座、あるいは海水の動きを意味することがあります。標準的な辞書では、これらは3つの異なる定義です。研究者たちの実験では、「current」を、3つの異なる世界を旅する単一の不変のオブジェクトとして扱います。彼らは、物理学、経済学、地理学に関するWikipediaの記事から、「current」を含む数千の文章を集めます。すべての文章において綴りが全く同じであるため、コンピュータの初期の理解は同一となります。研究者たちはその後、これらの文章をAIモデルに投入し、情報が機械の層の深部へと進むにつれて何が起こるかを観察します。

鍵となる洞察は、もしモデルが真に文脈を理解しているのであれば、モデル内部の「current」のイメージは、お金に関する言葉に囲まれているときと、川に関する言葉に囲まれているときとでは、異なって見えるはずだということです。モデルの最初の数層では、言葉は辞書にあるのと同様に、そのままの状態にとどまっています。しかし、情報がより深く進むにつれて、研究者たちは、モデル内の「current」の「電気」バージョンが「お金」バージョンから離れていくかどうかを観察します。この「漂流（ドリフト）」を測定するために、彼らはグループ間の点の距離を計算する統計的なツールを使用します。もし、物理学の文章を表す点のグループが密集し、経済学の文章を表す点から遠く離れた状態を維持していれば、それはモデルが文脈に基づいて意味を正常に分離したことを証明することになります。

研究者たちは、過去の研究を誤らせてきた一般的な罠を回避するように、ツールキットを設計しました。一つの大きな落とし穴は、モデルの処理の最終結果だけを見て、そこが意味が存在する唯一の場所であると仮定してしまうことです。以前の研究の中には、モデルが中間層で意味を分離し、最後には再びそれらを統合してしまう可能性があることを示唆したものがありました。これを捉えるために、新しいツールキットは、単に最後の一層だけでなく、モデルのあらゆる一層をチェックします。もう一つの潜在的な誤りは、あまりにも多くの意味を同時に比較しようとすることです。もし研究者が3つや4つの異なる意味を同時に測定しようとすれば、数学的な歪みが生じ、無関係なグループ同士が実際よりも近く、あるいは遠く見えることがあります。研究者たちは、一度に2つの意味だけを比較することでこの問題を解決し、測定がクリーンで直接的なものになるようにしました。

彼らはまた、コンピュータがどのように言葉を見ているかという問題にも対処しました。現代のAIは言葉を一つの塊として読むのではなく、より小さな断片に分解します。時として、同じ言葉であっても、文中のどこに位置するかによって分割のされ方が異なることがあります。正しいものを測定していることを確実にするため、研究者たちは、文字単位で元のテキストと一致させることで、対象とする言葉の正確な断片を特定する精密な手法を用いました。これにより、機械がテキストをどのように分割するかによる混乱を生むことなく、異なるすべての文脈において同じ言葉のインスタンスを追跡できることが保証されます。

このツールキットは、研究者が結果を理解するための2種類の視覚的な証拠を生成します。第一に、モデルの思考における言葉の位置のマップを、最初と最後で作成します。これらのマップに対して共通の参照枠を用いることで、研究者は言葉が移動したのか、あるいは留まったままなのかを確認できます。第二に、情報がモデルの層を通じて移動するにつれて、意味の分離がどのように変化するかを示すグラフを生成します。このグラフは、言葉の意味の「心拍モニター」のように機能し、モデルがいつ異なる意味を区別し始めるのかを正確に示します。

この研究が重要なのは、モデルの最終的な出力に頼ることなく、AIの内部メカニズムをテストする方法を提供しているからです。「モデルが正しい答えを出したか？」と問う代わりに、研究者たちは「モデルは自身の思考を正しく整理したか？」と問うているのです。このツールキットは、さまざまな種類のAIモデルが言語をどのように扱うかを研究したいと考えている誰もが使用できるように設計されています。テキストを双方向から読むモデルから、左から右へと読むモデルまで、様々なモデルのアーキテクチャに対応しています。この現象を測定するための標準的な方法を提供することで、研究者たちは、モデルを公平に比較し、その言語能力の限界を理解するための新しい研究の波を可能にしたいと考えています。

著者たちは、このツールキットは「発見ではなく、道具（an instrument, not a claim）」であり、「主張ではなく、道具（documents an instrument, not a finding）」であることを慎重に注記しています。彼らは、自分たちの特定のテストが、すべてのAIモデルがどのように機能するかについての普遍的な真理を明らかにしたと主張しているわけでも、特定のモデルや単語セットに対してツールキットを実行した際の経験的な結果を提示したり解釈したりしているわけでもありません。このツールキットを実行した結果は、テストされる特定のモデルと、選ばれた特定の単語に依存します。研究者たちが提供したのは、問いを投げかけるための信頼できる方法です。彼らは、「文脈的理解」という抽象的な概念と、具体的で測定可能な現実との間の架け橋を築きました。言葉を一定に保び、その周囲の世界を変化させることで、彼らはこれらの複雑な機械が、どのようにして川と銀行（bank）を区別することを学ぶのかという、その仕組みを覗き見る明確な窓を作り出したのです。