💬 NLP

PALMs: Using Multi Construct-Grounded Rationales for Modeling Population Preferences in LLMs

本論文は、多角的な構成概念に基づいた根拠を活用して選好チューニングを行うことで、特定の国家集団に整合させたモデル群であるPopulation Aligned Language Models (PALMs) を導入するものであり、これはタスク固有の教師あり学習を必要とすることなく、多様な文化的価値観、信条、および社会的推論をシミュレートする上で既存のベースラインを大幅に上回る性能を示す。

原著者： Priyanka Dey, Brihi Joshi, Preyashi Poddar, Jieyu Zhao, Emilio Ferrara

公開日 2026-08-04

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Priyanka Dey, Brihi Joshi, Preyashi Poddar, Jieyu Zhao, Emilio Ferrara

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ロボットに「人間を理解する方法」を教えようとしていると想像してみてください。現在、ほとんどのロボットは、あらゆる料理を少しずつ味わったことはあるものの、特定の家族のお気に入りの料理を作る方法はよく知らない「汎用的なシェフ」のようなものです。彼らは「食べ物」が何であるかは知っているかもしれませんが、なぜイタリアの祖母はゆっくり煮込んだラグーを好み、ブラジルのティーンエイジャーはスパイシーなフェイジョアーダを熱望するのかといった深い理由までは理解していません。これが、大規模言語モデル（LLM）の世界です。これらは、文章を書き、チャットをし、問題を解決することができる非常に賢いコンピュータプログラムです。しかし、ここが難しいところです。これらのロボットは、しばしば「単一の平均的な人間」として振る舞ってしまいます。彼らは、異なるグループの人々がどのように考え、どのように感じるのかを形作る、深く目に見えないルールを見落としてしまうのです。

これを解決するために、科学者たちは「嗜好（プリファレンス）」、つまり人々が何を好み、何を信じ、何を価値と考えているかに注目しています。彼らは、私たちの選択が単なるランダムなものではなく、性格（冒険的なのか、慎重なのか？）、文化（集団を重視するのか、個人を重視するのか？）、そして道徳観（何が公平で正しいと感じるのか？）によって形作られていることを知っています。研究者たちが問いかけている大きな疑問は、「どうすれば、ロボットに『平均的な人間』として振る舞うのをやめさせ、特定の場所の特定の人物として、その独特の癖や文化的背景を持って振る舞わせることができるか？」ということです。もしそれが実現できれば、これらのロボットは私たちをより良く助け、理解し、さらには新しいアイデアに対して現実の人々がどのように反応するかをシミュレートできるようになるでしょう。

ここで、PALMs（Population Aligned Language Models：集団適合型言語モデル）と呼ばれる巧妙な解決策を持つ新しい研究チームが登場します。標準的なロボットを、最終的な成績だけを見てテストの答えを暗記しようとする学生だと考えてみてください。彼らは正解にたどり着くことはできますが、「なぜ」それが正しいのかを本当の意味では理解していません。PALMsの開発者たちは、集団を真に理解するためには、ロボットは答えの背後にある「秘伝のソース」を学ぶ必要があることに気づきました。彼らは単に人々が何を言ったかというデータをロボットに与えただけではありません。答えを出す前に「推論日記」を書くように教えたのです。

彼らの手法は以下の通りです。彼らは、アメリカ、インド、ブラジル、フランス、イタリアの5カ国に対応する5つの特別なロボット・バージョンを作成しました。しかし、単にロボットに「あなたはアメリカ人です」と伝えたのではありません。もっと深いツールキットを与えたのです。彼らは、視界を変える特別なメガネのように、5つの特定のレンズを通して考える方法をロボットに教えました。

性格： その人は新しいアイデアに対して開放的か、それともルーチンを好むか？
文化： その人は自立を重んじるのか、それとも集団としての結束を重んじるのか？
価値観： 何が原動力となっているのか？自由か、安全か、あるいは他者への貢献か？
世界観： その人は世界を安全で刺激的な場所と見ているのか、それとも危険で混沌とした場所と見ているのか？
道徳： 何が公平で、何が神聖であると考えるのか？

ロボットは、これら5つのレンズを用いて、なぜある国の人々が特定の答えを選ぶのかを説明する短い物語を書くように訓練されました。例えば、ブラジル人が特定の種類の音楽を好む場合、ロボットは単に「彼らはそれが好きだ」と言うのではありません。「この人物はコミュニティと感覚的な楽しみを重視しており（文化と価値観）、世界を楽しい機会に満ちた場所と捉えているため（世界観）、この音楽がしっくりくるのだ」という短いメモを書くのです。ロボットはこのプロセスを何度も練習し、これらの「推論ノート」を脳内に隠して、後で自動的に使えるように学習しました。

結果は驚くほど良好でした。研究者がこれらの新しいロボットをテストしたところ、PALMsは従来の汎用的なロボットよりも人々を理解することに長けていることが分かりました。実際、これら5カ国すべてにおいて、新しいモデルは最高の従来手法と比較して平均で**8.59%**精度が向上しました。これは、ロボットの学習を深い心理学的・文化的な理論に基づかせることが、表面的なデータや「年齢」や「性別」といった単純なデモグラフィック・ラベルを示すよりもはるかに効果的であることを示唆しています。

また、研究チームは、これらのロボットが他のこともできるかどうかを検証しました。例えば、「パーソナライズされた報酬モデル」（特定の人が何を好むかを判断すること）として機能するか、あるいはある政策に対して集団がどのように反応するかをシミュレートできるか、といったことです。これらのテストにおいても、PALMsは再び競合を上回り、パーソナライズされた報酬において5.19%、集団シミュレーションにおいて**6.34%の向上を示しました。人間の感情や意図に関する社会的なパズル（Social IQAと呼ばれるタスク）を解くよう求められた際も、ロボットは精度が向上し、テストで80.23%**の正確性に達しました。

しかし、研究者たちは、これが魔法のような万能薬ではないことにも注意を促しています。彼らは、単に調査データを増やすだけでは、この「推論日記」のアプローチなしでは、逆にロボットが異なる視点を見る能力を失わせ、状況を悪化させてしまうことがあることを発見しました。また、一つの国を単一のグループとして扱うことは簡略化であることも認めています。それぞれの国の中には、彼らのモデルがまだ完全には捉えきれていない多くの地域や文化が存在します。しかし、主要な教訓は明確です。もしロボットに人々を真に理解させたいのであれば、単に彼らのように「話す」のではなく、彼らのように「考える」ことを教えなければならないのです。性格や文化を通じて推論する構造化された方法をロボットに与えることで、私たちは多様な人間界のより鮮明な姿を描き出すことができるのです。

技術要約：集団整合型言語モデル (Population Aligned Language Models: PALMs)

問題提起

大規模言語モデル（LLM）は、個々のユーザー行動をシミュレートするためにますます利用されているが、ある集団を他の集団から区別する価値観、信念、および文化的規範の体系的な変異を忠実に表現することに苦慮している。既存のアプローチは、通常、浅いデモグラフィック・プロンプティング（例：「ブラジル出身の30歳として振る舞え」）や、行動調査データへの直接的なファインチューニングに依存している。本論文は、これらの手法が、表面的な応答分布を最適化するにとどまり、人間の判断を共同で形成する潜在的な心理学的および文化的構成概念を捉えきれていないために失敗していると主張している。その結果、モデルは多数派の視点を過剰に代表したり、直接的な行動へのファインチューニングによって汎用的な表現へと崩壊したりすることがあり、人間が持つ好みの豊かな構成的構造を保持できていない。

手法

著者らは、**集団整合型言語モデル（PALMs）**を導入する。これは、好みの学習をマルチ構成ラショナル（多角的な根拠）に接地させることで、LLMを特定の集団に整合させるフレームワークである。この手法は、人間の好みは個人レベルの心理学とグループレベルの文化的変異の相互作用から生じるという前提に基づいている。

1. 構成概念空間 (Construct Space)

このアプローチは、推論の潜在空間を形成するために、確立された5つの社会科学理論を利用する：

パーソナリティ (OCEAN): 個人の特性（開放性、誠実性、外向性、協調性、神経症傾向）。
文化的次元 (Hofstede): グループレベルの傾向（例：個人主義 vs 集団主義、権力格差）。
人間的価値観 (Schwartz): 動機付けの優先順位（例：自己決定、安全、慈愛）。
原始的世界観 (Clifton): 世界に対する個人の仮定（例：安全 vs 危険、魅力的 vs 退屈）。
道徳基盤 (Haidt): 倫理的直観（例：ケア／危害、公正／不公正、忠誠／裏切り）。

2. トレーニング・パイライン

PALMsは、アメリカ、インド、ブラジル、フランス、イタリアの5カ国をカバーするコミュニティ整合（Community Alignment）データセットを用いて、2段階のプロセスで訓練される。

ステージ1：教師ありファインチューニング (SFT): ベースモデル（Llama-3.1-8B-Instruct）を、ペルソナ条件付きの好みのインスタンス $(p, q, a^+)$ に対してファインチューニングし、好みの予測を初期化する。
ステージ2：潜在的監督による好みの最適化: コアとなる革新は、**構成に基づいたラショナル（根拠）**によって拡張された直接選好最適化（DPO）である。
- 各好みのペアに対して、外部LLM（Qwen2.5-7B-Instruct）によって合成ラショナルが生成される。これらのラショナルは、5つの構成ファミリーにわたって好みの決定を分解し、「なぜ特定のデモグラフィック・プロファイルが $a^-$ よりも $a^+$ を好むのか」を説明する。
- DPOの間、これらのラショナルはプロンプトのコンテキストに挿入されるが、損失関数からはマスクされる。モデルはラショナルのトークンを明示的に生成するように訓練されるのではなく、ラショナルは構造化された潜在的な誘導バイアスとして機能し、モデルの好みの内部表現を形成する。
- これは、「汎用的」なラショナル（構成に基づかないもの）や、直接的な行動ファインチューニングとは対照的であり、著者らはこれらが必要な構造的信号を欠いていると主張している。

3. 推論

推論時には、モデルはユーザーのペルソナとクエリを受け取る。モデルは、好みの決定を導くために、内部的に構成に基づいたラショナルを生成する。ラショナルのトークンは推論時の入力として必要とされないため、モデルは外部の注釈なしに汎化することができる。

主な貢献

PALMsフレームワーク: 心理学的および文化的理論に根ざしたマルチ構成ラショナルを潜在的な監督として使用し、特定の集団に整合させた一連のモデルの導入。
構成に基づいたラショナルの優位性: 構成に基づいたラショナルによる好みの学習が、デモグラフィック・プロンプティングや行動ベースのファインチューニング（CultureLLMのような文化特化型モデルを含む）よりも優れていることを示す実証的証拠。
ダウンストリーム・タスクへの汎化: PALMsは、タスク固有の監督なしに、パーソナライズされた報酬モデリング、集団シミュレーション、社会的推論などのダウンストリームのアプリケーションに汎化できることを示しており、これは構成に基づいた表現が転移可能な人間の多様性の潜在構造を捉えていることを示唆している。

結果

著者らは、ターゲットとなる集団の正解となる人間分布を用いて、パーソナリティ、価値観／信念、文化的規範、道徳の4つの次元にわたってPALMsを評価した。

ドメイン内整合: PALMsは、5つの全集団において、すべてのベースライン（ゼロショットのLlama-3.1-8B-Instruct、Gemini-2.5-Flash、およびCultureLLMを含む）を一貫して上回った。完全なPALMモデルは、最高のベースラインに対して平均 8.59% の相対的な改善を達成した。注目すべきは、「SFT + DPO + Generic」の設定（構成に基づかないラショナルを使用）は、標準的なDPOよりも性能は高かったものの、PALMsには及ばなかったことであり、これにより心理学的構成概念の具体的な貢献が特定された。
ダウンストリーム性能:
- パーソナライズされた報酬モデリング: PALMsは、PersonalizedRewardBenchおよびPRISMにおいて、ベースラインと比較して精度を 5.19% 向上させ、特に社会関連のトピック（宗教、法律、政治）で大きな利得を示した。
- 集団シミュレーション: SIMBENCHにおいて、PALMsは17のデータセットのうち15で最高の整合性を達成し、特に構成ファミリーに関連するタスク（OpinionQA, OSPPsychMACHなど）で大きな向上（最大約20%）が見られた。
- 社会的推論: SOCIALIQAのケーススタディにおいて、PALMsはテストセットで 80.23% の精度を達成し、強力なベースラインであるGemini-2.5-Flash（79.72%）を、より小さな8Bモデルでありながら上回った。最大の利得は、人間の動機の推論において見られた。

意義と主張

本論文は、確立された心理学的および文化的構成概念を通じて合理化することは、デモグラフィックな条件付けや調査ベースの訓練データ単独よりも、好みの学習に対してより豊かな誘導信号を提供すると主張している。

著者らは、観察された行動出力にモデルを直接適合させることは、しばしば表現の多様性の崩壊を招く一方で、学習プロセスを潜在的な構成概念に接地させることで、モデルが好みの背後にある「なぜ」を内面化できると論じている。このアプローチにより、単なる統計的な調査データの模倣ではなく、人間の判断を駆動する心理学的メカニズムに構造的に整合した、集団固有のモデルを作成することが可能になる。本研究は、構造的な誘導バイアスとして社会科学理論を採用することの広範な普及を提唱しており、多言語かつ微細なレベルでの集団モデリングのための原則的な基礎を提供している。

著者らは、集団の代理として国レベルの抽象化を使用していること（これにより国内の変異が平坦化される）、選択された構成ファミリーが網羅的ではないこと、および現在の英語のみの訓練データへの依存といった限界を認めている。彼らは、今後の研究において、より詳細な集団定義やネイティブな多言語モデリングを探索すべきであると考えている。