💬 NLP

Pretraining Exposure Explains Popularity Judgments in Large Language Models

完全観測可能な Dolma コーパスと OLMo モデルを活用することで、本研究は、大規模言語モデルの流行度判断は主に事前学習における曝露統計に駆動され、外部の現実世界の流行度シグナルではなく、曝露が Wikipedia のページビューよりもモデルのバイアスに対するより正確な予測因子であることを示している。

原著者： Jamshid Mozafari, Bhawna Piryani, Adam Jatowt

公開日 2026-05-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jamshid Mozafari, Bhawna Piryani, Adam Jatowt

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大なデジタルの脳（大規模言語モデル、またはLLM）が、インターネット上のほぼすべてを読み込んだと想像してください。この脳に、「特定の地元のパン屋と世界的に有名なポップスター、どちらが有名か？」と尋ねると、この脳はほぼ常にポップスターと答えます。これまで私たちは、この脳がポップスターが現実世界で人気があることを「知っている」からだと仮定してきました。

しかし、この論文は異なる問いを投げかけます：この脳は実際に現実世界の知名度を判断しているのでしょうか、それとも学習中に最も頻繁に見た名前を単に記憶しているだけなのでしょうか？

答えを見つけるため、研究者たちはOLMoと呼ばれる特殊で完全なオープンソースの脳を使用しました。ほとんどのAIの脳とは異なり、OLMoが「学校時代」（事前学習）に読んだ本やウェブサイトを正確に把握できます。これは、テストの結果から何を読んだかを推測するのではなく、生徒の宿題の図書館全体を手に持っているようなものです。

以下に、いくつかの簡単なアナロジーを用いた彼らの実験と発見の概要を示します。

1. 設定：「一瞥」の数を数える

研究者たちは、AIの学習データを巨大な図書館のように扱いました。彼らは特殊なツール（Infini-Gram）を使用して、AIが読んだ本に登場した2,000の異なるもの（人物、場所、ブランド、曲）が正確に何回現れたかを数えました。

「露出」スコア: これはAIが名前を「一瞥」した回数の単なるカウントです。AIが「テイラー・スウィフト」を100万回、「地元のパン屋ボブ」を5回見た場合、テイラー・スウィフトは高い露出スコアを持ちます。

2. 3人の競争相手

研究者たちは、AIが人気に関する質問にどのように答えるかを予測するのに、どの「スコア」が最も優れているかを確認したいと考えました。彼らは以下の3つを比較しました。

現実世界のスコア（ウィキペディア）: これらの実体に対するウィキペディアのページを、実際に何人の人が訪れたかを調べました。これが現実世界の知名度の「真実の基準」です。
「直接」の推測: AIに「0から1000のスケールで、テイラー・スウィフトはどれほど有名か？」と尋ねました。
「一騎打ち」の対決: AIに「テイラー・スウィフトと地元のパン屋ボブ、どちらが有名か？」と尋ねました（これはトーナメント形式のようなものです）。

3. 大きな発見：知っていることではなく、読んだことについて

結果は驚くべきもので、明確でした。

AIの「記憶」は図書館と一致する: AIが何を有名だと考えているかは、現実世界のウィキペディアの数値よりも、露出スコア（名前をどれほど頻繁に見たか）とよりよく一致しました。
「一騎打ち」が最高の鏡: AIに2つのものを直接比較（トーナメントのように）するよう求めた場合、その答えは学習用書籍でそれらの名前をどれほど頻繁に見たかとほぼ完全に一致しました。これは現実世界のウィキペディアのデータよりも、さらに良い一致を示しました。
「ロングテール」の問題: 「地元のパン屋ボブ」のような非常に目立たないものについては、ウィキペディアのデータはしばしば不正確か、存在しない（誰もそのページを訪れない）ことが多いです。しかし、AIはそれでも誰がより有名かについて明確な意見を持っていました。なぜでしょうか？AIが「地元のパン屋ボブ」を5回、「別のパン屋」を2回しか見ていなくても、名前をわずかに多く見たという理由だけで、前者の方が「より有名」だと知っていたからです。AIは現実世界の知識を使っていませんでした。単に宿題を数えていただけです。

4. 大きな脳＝強い記憶

研究者たちは、小さな脳（70億パラメータ）と大きな脳（320億パラメータ）をテストしました。

大きな脳は、学習データに対してさらに執着していました。その答えは、小さな脳よりも露出スコアとさらに密接に一致しました。
これは、AIがより賢く大きくなるにつれて、必ずしも現実世界に対してより「意識的」になるわけではなく、単に学習中に与えられたものを正確に記憶する能力が高まるだけであることを示唆しています。

結論

この論文は、AIが誰が有名かを教えてくれるとき、それは必ずしも現実社会についての報告をしているわけではないと結論付けています。それはAI自身の読書リストについての報告なのです。

これは、特定の雑誌しか読んでいない学生のようなものです。その学生に「世界で最も有名な人は誰か？」と尋ねても、実際の最も有名な人物を教えるのではなく、その雑誌の表紙に最も多く登場した人物を教えるでしょう。AIの「人気バイアス」は、単に学習データ内の単語の頻度の反映であり、世界に対する真の理解ではありません。

技術的サマリー：大規模言語モデルにおける人気度判断は事前学習の露出によって説明される

問題定義
大規模言語モデル（LLM）は、よく知られた実体に対する体系的な選好を示す。この現象は広く「人気バイアス」として帰せられている。しかし、これらの選好の起源は不明確である。それらが真の現実世界での人気を反映しているのか、それとも単に事前学習コーパス内の実体の統計的頻度を反映しているのか、判然としない。以前の研究は、公開されているほとんどの LLM の訓練データにアクセスできないため、露出と他の交絡因子を混同させる間接的な証拠や下流の行動に依存せざるを得ず、この問題を解決することに苦慮してきた。

手法
本研究は、完全にオープンな OLMo モデルとその完全な事前学習コーパスである Dolma を活用することで、人気バイアスに関する最初の直接的かつ大規模な分析を提供する。手法は以下の手順で進行する。

データ索引化と露出計算: 著者は、Infini-Gram ツールキットを用いて、事前学習、ミッドトレーニング、ロングコンテキストデータセットからなる OLMo 事前学習コーパス全体（合計 7.4 兆トークン）を索引化した。
実体サンプリングと検証: 2026 年 1 月 24 日付の Wikidata ダンプから、Person（人物）、Location（場所）、Organization（組織）、Art（芸術）、Product（製品）の 5 種類について、それぞれ 5,000 個の実体をサンプリングした。正確な頻度カウントを確保するため、すべての候補別名を GPT-4.1 を用いて検証し、曖昧な参照を除外し、対象実体のみを指すもののみを保持した。
露出スコアリング: 選択された 2,000 個の実体（種類あたり 400 個、200 個の低頻度「スパース」実体と 200 個の高頻度「人気」実体に均等に分割）それぞれについて、実体とその検証済み別名の索引化済みコーパス内での頻度に基づき、露出スコアを計算した。
人気度シグナルの比較: 本研究は、3 つの異なるシグナルを事前学習露出スコアと比較した。
- Wikipedia ページビュー: 現実世界での人気度の外部代理指標。2015 年 7 月 1 日から 2024 年 12 月 31 日（コーパスのカットオフ日と一致）までを集計。
- 直接スカラー推定: OLMo モデル（7B および 32B バリアント）に、個々の実体に対して人気度スコア（0〜1000）を割り当てるようプロンプトを出した。
- ペアワイズ比較: モデルに、2 つの実体のどちらがより人気があるかを判断するようプロンプトを出した。これらのペアワイズ選好を、Bradley-Terry モデルを用いてリストワイズスコアに変換した。

主要な結果
スピアマン順位相関係数（ $\rho$ ）に基づく分析は、以下の知見をもたらした。

現実世界での人気度の代理指標としての露出: 事前学習露出は、すべての実体タイプにおいて Wikipedia ページビューと強く相関しており（平均 $\rho \approx 0.755$ ）、訓練期間中の現実世界での顕著性の意味のある代理指標として露出を検証した。
LLM の判断は Wikipedia より露出と一致する: LLM によって生成された人気度シグナルは、Wikipedia ページビューよりも事前学習露出とより密接に一致する。これは特にペアワイズ比較手法において顕著であり、32B モデルで露出との相関が最も高く（平均 $\rho \approx 0.795$ ）、直接スカラー推定および Wikipedia ベースラインの両方を上回った。
ロングテール領域: 「スパース」（低頻度）実体については、Wikipedia ページビューは信頼性が低く、露出との相関はほぼゼロまたは負（ $\rho \approx 0.10$ ）を示す。これに対し、LLM の人気度判断（特にペアワイズ比較によるもの）は露出と正の相関を維持しており（32B モデルで $\rho \approx 0.31$ ）、希少な実体においてはモデルの事前分布がほぼ完全に事前学習の頻度によって支配されていることを示唆している。
モデル規模の影響: モデル規模を 7B から 32B に増大させることは、LLM の判断と事前学習露出との整合性を体系的に改善する。32B モデルは、特に直接スカラー推定タスクにおいて、露出に基づく事前分布がより鋭く、一貫性があることを示している。

意義と主張
本論文は、LLM における人気度事前分布が、外部の人気度シグナルではなく、主に事前学習統計によって形成されているという、最初の直接的かつ大規模な証拠を提供すると主張している。著者は、「データ露出」が人気バイアスを駆動する中心的な役割を果たすと論じている。具体的には、以下の知見が示されている。

LLM は単に外部の人気度指標を反映しているのではなく、その内部的なランキング選好は、訓練データの統計的分布に深く根ざしている。
ペアワイズ誘導は、直接スカラー推定よりも、これらの露出に基づく事前分布を明らかにするためのより信頼性の高い手法である。
LLM において観察される「人気バイアス」は、必ずしも推論の失敗ではなく、事前学習コーパスに内在する頻度パターンの直接的な反映である。

著者は、これらのバイアスが訓練データの測定可能な性質であると結論付け、将来の研究はモデル出力の公平性と多様性を向上させるための軽減戦略を検証すべきであると提案している。

1. 設定：「一瞥」の数を数える

2. 3人の競争相手

3. 大きな発見：知っていることではなく、読んだことについて

4. 大きな脳＝強い記憶

結論

技術的サマリー：大規模言語モデルにおける人気度判断は事前学習の露出によって説明される

関連論文