MGAL: A Multilingual Granularity-Aware Long-Context Benchmark

千ページの書物を読もうとしている場面を想像してみてください。ただし、ページをめくる代わりに、テキスト全体を一度に頭の中に保持し、その中間に隠された単一の事実を探し出さなければならないとしたらどうでしょう。これが、大規模言語モデルとして知られる現代の人工知能システムが直面している課題です。これらのプログラムは、エッセイを書き、質問に答え、テキストを容易に翻訳するなど、人間の言語を理解することにおいて驚くほど熟練しています。しかし、数万語に及ぶ非常に長い文書を処理する能力については、依然として大きな障壁となっています。彼らはテキストの最初や最後にある事実を想起することはよくできますが、必要な情報がテキストの深い場所に埋もれている場合や、物語の異なる部分がどのように結びついて一貫した全体を形成しているかを理解しなければならない場合に、しばしばつまずきます。研究者たちは以前から、これらのシステムが「ロングコンテキスト（長文脈）」の問題に苦しんでいると疑ってきましたが、これまでは、特に英語以外の言語を扱う際に、具体的にどこで、なぜ失敗するのかを正確にテストするための包括的な方法が存在しませんでした。

研究チームは、この謎を解明するために、MGALと呼ばれる新しいテストの場を構築しました。彼らは、国際連合の実際の文書を用いてこのベンチマークを構築しました。それらの文書は、8,000から12,800トークンの長さに及びます。これらの文書は、人権、平和維持、公衆衛生といった重要な世界的トピックを網羅しており、英語、中国語、フランス語、ロシア語、スペイン語、アラビア語の6つの公用語で利用可能です。研究者たちは単なるクイズを作ったのではありません。彼らは、4つの異なる詳細レベルでモデルをテストする、洗練された一連のタスクを設計しました。最も細かいレベルでは、モデルは特定の単語や数字を見つけなければなりません。次のレベルでは、単一の文章がどのようにパラグラフ（段落）に適合するかを理解しなければなりません。次に、文脈に合う欠落したパラグラフを生成する必要があり、最後に、文書全体の要約や翻訳を行わなければなりません。決定的なことに、研究者たちは情報がテキスト内のどこに位置していたか（それが最初、中間、あるいは最後であったか）を正確に追跡し、モデルが文書の特定の部分に対してバイアスを持っているかどうかを確認できるようにしました。

研究者が最も高度な12の言語モデルをこの新しいベンチマークでテストしたところ、結果は明確かつ一貫したパターンを明らかにしました。モデルは、特定の単語や数字を見つけるタスクにおいては非常に優れた性能を示し、細かい詳細に対して効率的な検索エンジンのように機能できることを示しました。しかし、タスクがより広範になり、レポート全体の要約や欠落したパラグラフの補完など、より大きな塊のテキストを理解することが求められるようになると、その性能は著しく低下しました。モデルは、文書全体の整合性のある理解を維持することに苦戦しました。さらに、この研究は、高リソース言語（英語や中国語など）と低リソース言語との間の明確な格差を浮き彫りにしました。最大かつ最も高価なモデルは言語間で同様の性能を示しましたが、小規模なオープンソースモデルは、主要な言語において明確な優位性を示す一方で、その他の言語についてはかなり苦戦しました。

おそらく最も示唆に富む発見は、モデルが「どのように」失敗したかを分析することから得られました。研究者たちは、テキスト内の文章が類似したトピックを共有していたり、同じ名前を繰り返していたりする場合、モデルが混乱しやすいことを発見しました。モデルは、文章が論理的な役割（背景を提供しているのか、結論を提示しているのか、あるいは反論を提示しているのか）を理解する代わりに、浅い手がかりに依存していました。彼らは、周囲のテキストと最も似ている文章や、同じ接続詞を含む文章を選んでしまい、たとえそれが誤った選択であっても、そうしてしまうのです。これは、物語の要約を求められた学生が、実際に何が起きたのかを説明するのではなく、単に最も頻繁に覚えている登場人物の名前を繰り返してしまう状況に似ています。さらに、本研究では、モデルが流暢で文法的に完璧に聞こえるものの、事実としては誤ったテキストを生成することが多いことも判明しました。彼らは、元の文書には存在しない詳細、日付、人物を自信満々に捏造し、真実から逸脱した、滑らかに聞こえる物語を作り上げてしまうのです。

研究者たちはまた、情報の位置が極めて重要であることも確認しました。多くのタスクにおいて、モデルは文書の最初または最後にある答えを見つけることは得意でしたが、答えが中間にある場合には性能が顕著に低下しました。このことは、モデルが長いテキストシーケンスの中央部分に注意を集中させ続けることが困難であることを示唆しています。この新しいベンチマークを用いることで、チームは人工知能が長い文書を理解する上での現在の限界に関する明確な地図を提供しました。彼らは、これらのシステムが情報を処理するための強力なツールではあるものの、異なる言語間で複雑で長いレポートを真に「読み」、理解するために必要な、深く一貫した理解がいまだに欠けていることを示しました。この成果は、将来の研究における新たな基準となり、開発者が表面的な手がかりを超えて、どれほど長くても物語全体に対して忠実で正確な理解を維持できるモデルを構築できるよう導くものです。