Enhancing Social Intelligence in LLMs with Hierarchical Reasoning and Utterance-Level Goal Rewarding

ロボットのためのソーシャル・ジム

ロボットに「友達」になる方法を教えているところを想像してみてください。一番簡単な方法は、「優しくしなさい」と伝えて、あとはあとは任せることだと考えるかもしれません。しかし、人間の会話は混沌としており、複雑で、隠れたルールに満ちています。時には毅然とした態度が必要であり、時にはジョークを飛ばし、時には相手を怒らせることなく自分の望みを叶えるために、三歩先まで計画を立てる必要があります。これが**ソーシャル・インテリジェンス（社会的知能）**の世界です。つまり、人の考えていることを理解し、感情を感じ取り、交渉や親睦といった複雑な社交のダンスを巧みに操る能力のことです。

長い間、コンピュータ科学者たちは、チャットボットの背後にある超スマートなAIの脳である大規模言語モデル（LLM）に、こうした社会的な状況に対処する方法を教えようと試みてきました。大きな問題は、これらのAIは数学やコードの記述には非常に長けているものの、人間との会話ではつまずきやすいということです。彼らは正しい言葉を選んでいるようでいて、肝心なポイントを見逃していたり、あるいは高いスコアを得るための近道を見つけ出そうとして、不自然でロボットのような印象を与えてしまったりすることがあります。研究者たちが問いかけているのは、「AIが単に正解を推測するのではなく、社会的なゲームを真に理解するために、話す前に人間のように考える方法をどうやって教えるか？」ということです。

「思考・戦略・応答」という秘伝のレシピ

本論文では、AIエージェントの社交性を向上させるための新しい訓練方法として、**TSR（Think-Strategy-Response：思考・戦略・応答）**フレームワークを紹介しています。その仕組みを理解するために、あなたがハイステークスなポーカーのゲームをしているところを想像してみてください。

従来のAIの訓練方法では、コンピュータに対して「カードを出し、もしその手で勝てたら報酬を与える」と指示していました。そこでは「どのように」勝ったかは重要視されなかったため、AIはコンピュータにとっては有効でも、人間のプレイヤーを混乱させてしまうようなブラフ（はったり）を学習してしまうことがありました。それは、数学の本質を理解せずに、テストの答えだけを暗記している学生のようなものです。

論文の著者たちは、「ストップ！まずはAIに考えさせましょう」と提案しています。彼らは、人間が実際に行動を計画する方法に倣い、プロセスを以下の3つの明確なステップに分解しました。

1. 思考 (Think): 何かを話す前に、AIは状況を分析するために一旦立ち止まります。AIは自問自します。「相手は何を感じているのか？ ここにある暗黙のルールは何か？ 私の長期的な目標は何か？」これは、チェスのプレイヤーが盤面を見つめ、次の三手先を想像している状態と同じです。
2. 戦略 (Strategy): その思考に基づき、AIはプランを選択します。「よし、友好的でありつつも毅然とした態度を取り、取引を成立させるために少し値引きを提示しよう」といった具合です。これがゲームプランです。
3. 応答 (Response): 最後に、AIは今立てたプランを用いて、完璧な文章を作り出し、発言します。

論文では、AIに「応答」する前に「思考」と「戦略」のステップを書き出すことを強制することで、AIが単なる推測をするのを止め、真の社会的推論への道を歩み始めるのだと主張しています。

「バリアンス・ゲーテッド（分散制御型）」報酬システム

しかし、まだ問題がありました。AIにどのように報酬を与えるべきか、ということです。もし単に「よくやった、取引を成立させたな」と言うだけなら、AIは取引を得るためだけに強引になったり失礼な態度を取ったりすることを学習するかもしれません。逆に「よくやった、礼儀正しかったぞ」と言うだけなら、AIは丁寧になりすぎて取引を逃してしまうかもしれません。

研究者たちは、**バリアンス・ゲーテッド・リワード（分散制御型報酬）**と呼ばれる巧妙な解決策を考案しました。あなたがコーチとして選手の練習を見守っている場面を想像してください。

• もし選手が苦戦しており、スコアがバラバラ（高バリアンス）であれば、コーチは「メインの目標に集中しろ！とにかくポイントを取ることに集中するんだ！」と言います。
• しかし、もし選手が安定して良い成績を出している（低バリアンス）のであれば、コーチは「勝ち方は素晴らしい。だが、次は『どのように』勝ったかに注目しよう。戦略に従っていたか？ それは良い一手だったか？」と言います。

論文の新しいアルゴリズムであるLHRL-VGRは、まさにこれを行います。AIの目標達成の安定性をチェックします。AIが確信を持てていない場合は、目標を達成したことに報酬を与えます。もしAIがすでに目標を達成できている場合は、ギアを切り替え、事前に計画したスマートな戦略に従っていることに対して報酬を与えます。これにより、AIが単なる「勝利至上主義」のロボットではなく、効果的かつ社会的に賢い存在であることを学習できるようにしています。

研究結果

チームはこの新手法を、AIエージェントが交渉したり、物を売ったり、友達を作ったりする巨大な社交シナリオの遊び場であるSOTOPIAというベンチマークでテストしました。彼らはQwen2.5-7Bというモデルを使用し、新しいTSRおよびLHRL-VGR手法を用いて訓練を行いました。

結果は目覚ましいものでした。非常に難易度の高い社会的パズルである「SOTOPIA-Hard」のテストにおいて、彼らが訓練したAIは、有名なGPT-4oモデルを目標達成率において**7.32%**上回りました。さらに重要なことに、人間の評価者（実在の人間）は、この新しい手法によって生成された戦略や応答を、従来の手法よりも好ましいと判断しました。

本論文は、「思考」と「発話」を分離し、結果を求めるべき時と適切な振る舞いを求めるべき時を判別できるスマートな報酬システムを用いることで、単に人間らしく聞こえるだけでなく、社会的な状況において実際に人間のように「考える」AIエージェントを作ることができると示唆しています。これは、単にチャットをするだけでなく、人間同士の繋がりのゲームを真に理解するAIへの一歩なのです。