Wikipedia and Grokipedia: A Comparison of Human and Generative Encyclopedias

問題提起
大規模言語モデル（LLM）ベースのシステムは、検索、要約、自動テキスト生成のためにますます利用されるようになっているが、百科事典的コンテンツを媒介する上での具体的な役割については、まだ十分に探求されていない。既存の研究は、編集上の対立、極性化、ガバナンスに焦点を当て、Wikipediaを共同作業による知識システムとして広範に調査してきた。対照的に、生成システムに関する研究は、主にハルシネーション（幻覚）、バイアス、および事実の正確性に焦点を当ててきた。生成システムが確立された参照知識インフラストラクチャとどのように相互作用するかについて、明確な理解の欠如が存在する。具体的には、生成的な媒介が、Wikipediaのような人間がキュレーションしたソースから引き出される際、コンテンツの選択、書き換え、安定化、およびフレーミングを含む、百科事典的コンテンツの構造的な組織化をどのように変化させるのかは不明である。本研究は、Wikipediaと、Wikipediaの上に構築された生成型百科事典であるGrokipediaを系統的に比較することで、このギャップに対処し、生成的な媒介が個々の出力の枠を超えて、いかに参照コンテンツを再形成するかを明らかにすることを目的とする。

手法
著者らは、米国の政治、地政学、および陰謀関連のコンテンツという3つのトピック領域にわたり、WikipediaとGrokipediaの間で、ページレベルの系統的な比較を行った。分析は、以下の4つの補完的な次元に焦点を当てた。

1. コンテンツの選択と書き換え： 本研究では、Grokipediaにおけるページの包含を、Wikipediaのページの人気（閲覧数）、参照密度、および編集活動（編集回数と差し戻し回数）の関数としてモデル化した。ロジスティック回帰を用いて、WikipediaのページがGrokipediaに登場する確率と、含まれたページが生成的に書き換えられる確率を算出した。特徴量は、ヘビーテイル分布を扱うために、順序レベル（低、中、高、非常に高い）に離散化された。
2. 編集への参加と複雑性： 編集ダイナミクスの変化を評価するために、著者らは特定の期間（2025年10月下旬から11月）における両プラットフォームの編集活動を分析した。著者らは、経済的な製品分析から適応させたフィットネス・複雑性フレームワークを、エディター（編集者）とページによる二部グラフ行列に適用した。このモデルでは、エディターを「国」とし、ページを「製品」として扱い、貢献するエディターの「フィットネス」（幅広さと経験）に基づいたページの複雑性を推定する。
3. 物語構造： 物語の構成は、抽象意味表現（AMR）を用いて記事テキストからアクター・リレーション・ネットワークを抽出することで再構築された。エンティティ（実体）をノードとし、有向エッジは関係（エージェント–ターゲット）を符号化し、極性（支持的、対立的、中立的）を割り当てた。これにより、2つのソース間におけるグローバルな物語構造と、ローカルな感情バランス（送り出しおよび受け入れ）の比較が可能となった。
4. 評価的フレーミング： 著者らは、記事の「リードセクション」（最初の見出しの前にある導入テキスト）を分析し、2つの次元、すなわち「称賛的フレーミング」（賞賛や感嘆）と「葛藤／論争的フレーミング」（紛争）に沿ってフレーミングを測定した。リードセクション内の文章を分類するために、LLM（gemma3:4b）が使用され、これらのフレーミングを示すテキストの割合に対するスコアが生成された。

主な結果

• 非一様な選択： GrokipediaはWikipediaを一様にサンプリングしているわけではない。包含は、ページの普及度、参照密度、および編集活動と正の相関がある。可視性が高く、最近の編集上の対立があるページほど、含まれる可能性が高い。
• 書き換えのパターン： 含まれたページの中で、生成的な書き換えの確率は、参照密度および最近の編集活動（編集と差し戻し）と正の相関がある。逆に、非常に人気のあるページは、そのままの形で再現される可能性が高い。これは、Grokipediaが、不安定さや不一致を特徴とするページに対して、より頻繁に介入していることを示唆している。
• 編集ダイナミクス： 両プラットフォームともイベント駆動型の編集スパイクを示すが、Grokipediaのエディターは、Wikipediaの編集を駆動した特定のニュースイベントよりも、より広範で永続的なトピック（例：イーロン・マスク、歴史的人物）に活動を集中させていた。フィットネス・複雑性分析により、両プラットフォーム間のページ複雑性の間に弱い正の相関が明らかになり、これは、同じトピックに対する貢献者コミュニティの構成が大きく異なることを示している。
• 物語の安定性： 生成的な書き換えにもかかわらず、グローバルな物語構造は概ね一貫している。アクター・リレーション・ネットワークは、両ソース間で同様のレベルの相互性と循環構造を示しており、著名なエンティティのランキングもソース間で一致している。
• フレーミングの変化： 全体的なフレーミングは相関しているものの、局所的な変化が生じている。Grokipediaは、特に米国の政治（例：ドナルド・トランプ、マージョリー・テイラー・グリーン）や陰謀関連のコンテンツにおいて、より多くの称賛的フレーミングを示し、葛藤の強調を減らしている。

主な貢献
本論文は、参照系と生成型百科事典システムの系統的な比較を提供し、孤立した事実の誤りを超えて、構造的特性を分析している。本研究は、生成システムが既存の参照コンテンツの核となる物語組織を保持しつつ、以下の要素を大幅に変容させることを実証している：

1. 選択： 高い可視性と高い葛藤を伴うページを優先する。
2. 書き換え： 参照密度が高く、編集上の不安定さが高いページに対してより頻繁に介入する。
3. フレーミング： 特定のアクターに対して、称賛的かつ葛藤の少ない言語へと局所的なシフトをもたらす。

意義
本研究は、生成的な百科事典システムを単なるテキスト生成器としてではなく、既存の知識インフラを再編成する媒介層として捉えるべきであると主張している。知見は、正確性やイデオロギー的バイアスのみに基づく評価では不十分であることを示唆している。むしろ、生成システムのインパクトは、コンテンツの選択、書き換えを通じた論争的素材の集約、および提示時における評価的フレーミングの変化という観点から理解されなければならない。著者らは、百科事典的知識の構造的な背骨は維持されるものの、生成的な媒介層は、コンテンツが選択され、安定化され、そしてユーザーに提示される方法を根本的に変えるものであると結論付けている。