Characterizing Narrative Content in Web-scale LLM Pretraining Data
本論文は、ウェブ規模のLLM事前学習データの微細な物語構造を特徴付けるための新しいフレームワークおよびデータセットであるNarraDolmaを導入し、物語の性質は測定可能な形で存在するものの、現在のキュレーションの実践が見落としている方法で、ソースやトピック間で不平等に分布していることを明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、大規模なパーティーのために巨大なケーキを焼いているところだと想像してください。レシピには「小麦粉」と書いてありますが、あなたが持っているのが「どんな種類の」小麦粉なのか分かりません。きめ細かくシルキーなケーキ用ですか？それとも粗い全粒粉ですか？あるいは、砂が混ざっていたりするのでしょうか？
長い間、「大規模言語モデル（LLM）」――チャットボットのような超スマートなAIの頭脳となるツール――を構築してきた科学者たちは、自分たちの「小麦粉」（学習に使われるインターネット上のテキスト）にどのような具体的な材料が含まれているのか、本当の意味では理解しないまま混ぜ合わせてきました。彼らは、その中に「有害なもの」があるとか「数学に関するもの」があるということは知っていましたが、そのミックスの中に含まれる「物語（ストーリー）」については、ほとんど何も知りませんでした。
この論文は、いわば、その巨大な小麦粉の山に顕微鏡を向けることに決めた「食品科学者チーム」のようなものです。彼らはこう問いかけました。「そこには一体どれほどの物語が含まれており、それはどのような姿をしているのか？」
以下が、彼らの調査の全容です。
1. レシピ本（フレームワーク）
研究者たちは単に「これは物語か？（はい／いいえ）」と尋ねたわけではありません。代わりに、人間がどのように物語を紡ぐかに基づいた、詳細な**「風味プロファイル」**を作成しました。彼らは「物語性」を3つの主要な成分に分解しました。
- 登場人物（エージェンシー/主体性）： 誰が行動しているのか？ 私たちはその人の目を通して世界を見ているのか？ その人の感情を感じたり、思考を聞いたりしているのか？（これは物語の「心」にあたります）。
- 舞台（セッティング）： ここではいつ、どこで何が起きているのか？ 漠然とした「どこか」なのか、それとも1920年代のパリの、埃っぽいある部屋なのか？（これは「背景」にあたります）。
- 筋書き（イベント/出来事）： 実際に何が起きているのか？ 物事は変化しているのか？ 因果関係の連鎖があるのか、それとも単なる事物のリストなのか？（これは「アクション」にあたります）。
彼らはこれらを、1から5まで評価できる11の具体的な「ダイヤル」やスライダーへと変えました。
2. 味見（データ）
彼らは、DOLMAと呼ばれる膨大なインターネット・テキストのライブラリを取り上げました（これは3兆語という膨大さで、一生かけても読み切れないほどの図書館のようなものです）。
- ステップ1： 全てを読むことはできなかったため、彼らはロボットの助手（NARRABERTと呼ばれるモデル）を構築しました。
- ステップ2： まず、人間の専門家を雇い、ランダムに抽出した400の断片を読み、それらの11のダイヤルに基づいて評価させました。これが「ゴールドスタンダード（黄金基準）」となりました。
- ステップ3： 次に、そのロボット助手に、人間を模倣するように教え込みました。
- ステップ4： そのロボットは300万個の断片を精査し、すべてに評価を付けました。そして、NARRADOLMAと呼ばれる新しい地図を作成しました。
3. 驚くべき発見
彼らが地図を見たとき、3つの大きな事実が見えてきました。
A. 物語は単に「オン」か「オフ」ではない。
それは、テキストが物語であるか否かを決める「電灯のスイッチ」のようなものではありません。もっと**「調光スイッチ（ディマー）」**に近いものです。非常に暗い（退屈な事実）テキストもあれば、非常に明るい（劇的な小説）テキストもあり、ほとんどのものはその中間です。研究者たちは、「物語性」とはインターネットにおける連続的で多次元的な風景であり、単純なカテゴリーではないことを発見しました。
B. 「小麦粉」は均一に混ざっていない。
「Reddit（レディット）は物語に溢れ、Wikipediaは事実で満ちている」と考えているなら、それは概ね正しいですが、実際はより複雑です。
- Redditや書籍は、「内面の感情」や「登場人物の思考」が詰まったスパイスラックのようなものです。これらは「登場人物」のダイヤルが高い傾向にあります。
- Wikipediaやニュースは、地図のようなものです。「出来事」や「時間・場所」の数値は高いですが、「感情」は低いです。
- 旅行やグルメのブログは、絵画のようなものです。「感覚的な詳細（匂いや視覚）」は高いですが、「葛藤（コンフリクト）」は低いです。
C. 本を増やしたとしても、単に「物語を増やす」ことはできない。
研究者たちは、単一のソース（例えばReddit）の中であっても、「物語性」は激しく変動することを発見しました。
- 比喩： もしあなたがケーキをもっと「ふわふわ」にしたいと思ったら、「ケーキ用の小麦粉をもっと足せばいい」と考えるかもしれません。しかし、もしその袋の中に、ケーキ用の小麦粉、砂、そして砂利が混ざっているとしたら、その袋をいくら追加しても、ふわふわになる保証はありません。あなたは、その袋の「どの部分」が良い小麦粉なのかを知る必要があるのです。
4. なぜこれが重要なのか
この論文は、AIモデルを構築する人々が、データソース（「Reddit」や「ニュース」など）を、すべて同じ種類の「語り手」であるかのように扱ってきたと結論付けています。しかし、実際はそうではありません。
もしAIが「ニュース」（出来事は多いが感情は少ない）を中心に学習すれば、事実を報告することには長けますが、人間の感情を理解することには疎くなるかもしれません。もし「Reddit」（感情は多いが構造は低い）を中心に学習すれば、共感力には優れますが、論理的な因果関係には弱くなるかもしれません。
結論：
この論文は、新しいAIを発明したり、壊れたAIを修理したりしたわけではありません。その代わりに、インターネットの物語を測るための**「メジャー（測定器）」**を作りました。それは、私たちのデータに含まれる「物語」の部分がいかに混沌としており、多様で、不均一に分布しているかを明らかにしました。AIにより優れた物語を語らせる前に、まずは現在どのような物語が混ざっているのかを正確に理解しなければなりません。
研究者たちは、この測定器（モデル）と地図（データセット）を、誰でも使えるように公開しました。これにより、私たちは将来、より良いケーキを焼くための第一歩を踏み出すことができるのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。