LLMs as Cultural Archives: Cultural Commonsense Knowledge Graph Extraction

技術要約：文化的アーカイブとしてのLLM：文化的コモンセンス知識グラフの抽出

問題提起
大規模言語モデル（LLM）は、多様なウェブスケールのデータから派生した膨大な量の文化的知識をエンコードしており、文化的なコモンセンス（常識）を大規模にモデリングするための潜在的なリソースを提供している。しかし、この知識は依然として主に暗黙的で、非構造的であり、解釈が困難である。既存のコモンセンス推論への計算論的アプローチは、歴史的に文化を中立的または西洋中心的なものとして扱ってきた（例：ATOMIC）。一方で、最近の文化的知識ベース構築の試みは、Wikipediaやソーシャルメディアなどのソースからの静的で孤立した事実に依存することが多い。これらのアプローチは、文化的な慣習が単なる原子的な記述ではなく、秩序ある一連のアクションによって定義されるプロシージャル（手順的）、シーケンシャル（逐次的）、かつコンテクスト依存的な性質を持つことを捉えきれていない。さらに、異なる言語間におけるローカルな規範や慣行を反映した、構造化された推論表現も不足している。

手法
著者らは、LLMを「文化的アーカイブ」として扱い、文化固有の知識を体系的に抽出・構造化するための、反復的なプロンプトベースのフレームワークを提案し、**文化的コモンセンス知識グラフ（CCKG）**を構築する。

1. フレームワークの構築:

   • グラフの定義: CCKGは、ノードがアクションを表し、エッジがラベル付きの関係を表す有向ラベル付きグラフ $G = (V, E)$ である。アサーション（言明）は、三つ組 $(A_i, R, A_j)$ として解釈され、「アクション $A_i$ が発生した場合、アクション $A_j$ が続く」ことを意味する。
   • 関係のタイプ: フレームワークは、5つの関係タイプ（$xNext$: エージェントの次のアクション、$xEffect$: エージェントへの影響、$xNeed$: エージェントの前提条件、$oNext$: 他者の次のアクション、$oEffect$: 他者への影響）を利用する。
   • 抽出プロセス（アルゴリズム1）:
     • 初期生成: サブトピック、国、言語が与えられると、LLM（GPT-4o）が定義された関係タイプに基づき、初期の「if-then（もし〜ならば）」アサーションを生成する。
     • 反復的な拡張: 以下の2つのメカニズムを通じて知識ベースを強化する。
       • 中間拡張（Intermediate Expansion）: 直接的なリンク $(A_i \to A_j)$ を、より粒度の細かい中間ステップのシーケンスへと分解する。
       • 前方拡張（Forward Expansion）: 結果として得られたアクション $A_j$ から、新しい継続的なアクションを生成する。
     • プルーニング（枝刈り）: 効率性を確保し冗長性を減らすため、生成されたアクションを類似度スコアを用いて既存のノードと照合する。重複は統合され、拡張リストは1ノードあたり最大6つのアサーションに制限される。

2. 実験設定:

   • 範囲: 本フレームワークは、5カ国（中国、インドネシア、日本、イギリス、エジプト）を対象とし、11の日常生活に関するトピックと65のサブトピックに適用された。
   • 言語: 知識グラフは、英語およびそれぞれの母国語（中国語、インドネシア語、日本語、アラビア語）の両方で生成された。
   • 評価: ヒューマンアノテーター（ネイティブスピーカー）が、生成されたグラフを正確性（有効なアクションと関係）、文化的関連性（対象文化への特異性）、論理的パスの一貫性（推論チェーンの整合性）の3つの次元で評価した。
   • ダウンストリームタスク: 抽出されたCCKGは、多肢選択式質問回答（MCQA）、文章補完、ストーリー生成の3つのタスクにおいて、より小規模なLLMを拡張するために使用された。ベンチマークには IndoCulture および ArabCulture が含まれる。

主な貢献

1. CCKGフレームワーク: 静的な事実を超えて、プロシージャルで多段階の推論構造を持つ、多言語かつ文化固有の推論知識チェーンをLLMから抽出する手法の導入。
2. 文化的エンコーディングの経験的分析: ネイティブ言語の方がより豊かな文化的詳細を捉える一方で、現在のLLM内において文化的知識グラフを表現する媒体としては、英語の方がより一貫性と整合性の高い媒体として機能するという体系的な評価。
3. パフォーマンスの増強: CCKG（インコンテキストのアサーションやパス経由）を用いて小型またはベースとなるモデルを拡張することで、文化的推論やストーリー生成タスクの性能が大幅に向上することの証明。特に、特定の文化的文脈においては、ネイティブ言語のアサーションを使用する場合に顕著である。

結果

• グラフの品質: ヒューマン評価において、英語で生成されたCCKGは、非英語圏の文化（中国、インドネシア、アラビアなど）に対して、正確性、文化的関連性、パスの一貫性のすべてにおいて、ネイティブ言語版を一貫して上回った。これは、現在のマルチリンガルLLMにおける非対称性を示唆しており、英語が文化的推論のためのより安定した表現媒体として機能している。これは、英語の事前学習データがより豊富であることに起因すると考えられる。
• 推論タスク（MCQA）: CCKGの知識を統合することで、IndoCulture および ArabCulture ベンチマークの精度が向上した。ネイティブ言語による拡張が最も高い利得（平均+1.2ポイント）をもたらし、英語による拡張や既存のベースラインである Mango を上回った。注目すべきは、Chain-of-Thought（CoT）プロンプティングがベースラインよりも劣る結果となったことであり、これは文化的コモンセンスが明示的なステップバイステップの論理よりも、直感的なコンテキストに依存していることを示唆している。
• 生成タスク: 文章補完およびストーリー生成において、CCKGによる拡張（特にパスベース）は、文章の類似度と一貫性のスコアを向上させた。ストーリー生成では、CCKGのパスを組み込むことで、文化的関連性のスコアが一貫して上昇した（Llamaモデルで平均+1.4の上昇）。最も顕著な改善は英語のストーリー生成で見られたが、特定のケース（例：Llama3.1-8B-ITを用いたインドネシアのストーリー）ではネイティブ言語による生成も恩恵を受けた。
• LLM-as-a-Judge: LLMを用いた自動評価は、ネイティブ言語のストーリーについては人間の判断と強く相関したが、英語のストーリーについては、特に流暢さや一貫性に関して中程度または弱い相関しか示さなかった。これは、スタイルの差異や翻訳のニュアンスによるものと考えられる。

意義と主張
本論文は、抽出プロセスが体系的であれば、LLMが構造化された推論知識を抽出するための実行可能な「文化的アーカイブ」として機能し得ることを提示している。著者らは、連鎖構造を持つ文化的知識が、文化的に根ざしたNLPシステムを開発するための実用的な基盤であると主張している。

本研究は、重要な限界と洞察を浮き彫りにしている。ローカルな文化的推論をモデリングするという目的にもかかわらず、現在のLLMは、対象となる文化が非英語圏であっても、英語を通じて最も効果的に文化的コモンセンスを表現している。この発見は、文化的なタスクにおいてネイティブ言語の出力が本質的に優れているという仮定に疑問を投げかけ、現在のモデルにおいて英語が、一貫した文化的推論のための「ピボット（軸）」として機能している可能性を示唆している。

著者らは、本手法は有望な研究プロトタイプであると結論づけている。ステレオタイプの強化といった潜在的なリスクに対処することなく、抽出されたコンテンツをプロダクションシステム用の正式なデータセットとして使用することには注意を促しており、バイアスの調査や、より微細な文化的レベルへのフレームワークの拡張に向けた今後の研究の必要性を強調している。