技術要約: OmniSapiens: 異質性を考慮した相対的方策最適化による社会行動処理のための基盤モデル

1. 問題提起

社会的に知的なAIシステムには、多様な人間の行動タスクを推論し、新しい社会的文脈へと汎化する能力が求められます。しかし、既存のAIシステムは、主に単一の行動タスク（例：感情分析や感情認識）に特化しており、多様な行動的文脈を効果的に汎化できる統一されたモデルを欠いています。

統一された社会行動モデルを開発する上での主要な課題は、行動データの固有の異質性にあります。このデータは、異なる特徴量タイプ（例：音響プロソディ、対人相互作用、テキスト、視覚）および予測ターゲット（例：感情分類、社会的推論、病理学的状態の検出）にわたります。この異質性は、サンプル間で不均衡な学習ダイナミクスを生み出し、不均一な学習信号をもたらします。

現在の統一モデルは、推論を強化するためにGRPO（Group Relative Policy Optimization）のような強化学習（RL）手法を採用することがよくあります。しかし、これらの手法は、異質なサンプル間で方策の更新を明示的に制御することなく、異質なサンプル間で方策の更新を集約してしまいます。その結果、最適化が特定の行動タスクや、系統的に高いアドバンテージの大きさを持つサンプルによって不当に支配され、マルチタスク性能やクロスコンテキストの汎化を妨げる可能性があります。

2. 手法

2.1 モデルアーキテクチャ: OmniSapiens-7B 2.0

著者らは、統一された社会行動分析のための基盤モデルである OMNISAPIENS-7B 2.0 を導入しています。

• バックボーン: 本モデルは、テキスト、視覚、音声入力を処理可能なマルチモーダル・ベース・アーキテクチャとして Qwen 2.5 Omni-7B を活用しています。
• トレーニング設定: 10の多様な行動タスク（センチメント（SEN）、感情認識（EMO）、社会的推論（SOC）、意図認識（INT）、非言語コミュニケーション（NVC）、ユーモア（HUM）、皮肉（SAR）、不安（ANX）、うつ（DEP）、PTSD（PTSD））にわたる10万件以上のサンプルをカバーする Human Behavior Atlas ベンチマークでトレーニングされています。
• 目的: 単一の共有方策 $\pi_\theta$ が、すべてのタスクに対して同時にパフォーマンスを最大化するようにトレーニングされます。

2.2 コアアルゴリズム: 異質性を考慮した相対的方策最適化 (HARPO)

学習信号の不均衡に対処するため、論文ではクリティックフリー（critic-free）なオンポリシーRL手法である HARPO を提案しています。HARPOは、標準的なGRPOの目的関数を修正し、異質なサンプルとタスク間で学習信号を動的に再バランスさせます。

HARPOの主要メカニズム:

1. 寄与信号の近似:
   方策勾配はアドバンテージ値によってスケールされるため、アドバンテージの大きさは、あるサンプルが方策の更新にどれだけ貢献しているかのプロキシ（代理指標）となります。HARPOは、2つのレベルで寄与信号を計算します：

   • サンプルレベル ($p^{(t)}_{(m,q)}$): 特定のタスク $m$ 内の特定のサンプル $q$ における、グループ正規化された絶対アドバンテージの平均。
   • タスクレベル ($p^{(t)}_m$): タスク $m$ のすべてのサンプルにおける、グループ正規化された絶対アドバンテージの平均。

2. 幾何学的中心化による変調:
   単一のタスクやサンプルが更新に不当な影響を与えるのを防ぐため、HARPOは幾何平均リファレンスからの偏差に基づいてアドバンテージをスケールします。

   • 幾何平均リファレンス（サンプルのための $\bar{p}^{(t)}_{ref,m}$ およびタスクのための $\bar{p}^{(t)}_{ref,M}$）を算出します。
   • 変調係数 ($s^{(t)}_{(m,q)}$ および $s^{(t)}_m$) は、寄与信号と幾何平均の比の逆数として導出されます。
   • 効果: 寄与信号がリファレンスを上回るサンプルやタスクには係数 $<1$（ダウンスケーリング）が適用され、リファレンスを下回るものには係数 $>1$（アップスケーリング）が適用されます。
   • 安定性: これらの係数は幾何平均から構築されているため、その幾何平均は正確に1になります。これにより、乗法的アップスケーリングがダウンスケーリングによって正確に相殺され、意図しないグローバルなステップサイズの変更を防ぎます。

3. 慣性スムージング:
   安定性を確保し、確率的なオンポリシーの変動ではなく、持続的な傾向に反応するために、寄与信号と変調係数は慣性制御を用いて更新されます：

   • 寄与信号には指数移動平均（EMA）を使用します。
   • 変調係数（乗法的比率であるため）は、乗法的更新を通じてスムージングされます。

目的関数:
HARPOはGRPOのPPOスタイルの信頼領域目的関数を保持しますが、標準的なグループ正規化アドバンテージ $\hat{A}$ を、HARPO変調アドバンテージ $A^H$ に置き換えます：
$$A^H_{(m,q,i)} = s^{(t)}_{(m,q)} \cdot s^{(t)}_m \cdot \hat{A}^{(t)}_{(m,q,i)}$$

2.3 報酬設計

モデルは、以下の複合報酬関数 $r$ を用いてトレーニングされます：
$$r = (1 - w_{fmt}) r_{task} + w_{fmt} r_{fmt} + \lambda_{len} r_{len}$$

• $r_{task}$: 正確なラベルの一致（分類）または自由記述QAのコサイン類似度に対するバイナリ報酬。
• $r_{fmt}$: 要求された出力構造（推論プロセスに続く予測）に従っているかどうかのバイナリ報酬。
• $r_{len}$: 過度なレスポンス長に対するペナルティ。

3. 主な貢献

1. OmniSapiens-7B 2.0: 情動的、認知的、病理学的、および社会的次元にわたる幅広い行動分析タスクを共同で取り組むことができる、統一された基盤モデルのリリース。
2. HARPO: クリティックネットワークを使用せずに、異質な行動データから学習するために学習信号を再バランスさせるように設計された、新しいRL手法の導入。
3. 解釈可能性: モデルはより解釈可能な推論プロセスを生成し、実世界のアプリケーションにおける透明性と信頼性を向上させます。

4. 実験結果

4.1 マルチタスク性能

10の行動タスクにわたって評価した結果、OmniSapiens-7B 2.0 は、以下と比較して最高かつ最も一貫した性能を達成しました：

• 汎用LLM: (例: Gemma-4, Qwen-2.5-Omni)。
• 特化型行動モデル: (例: HumanOmniV2, 以前のOmniSapiensのバリアント)。
• RLアルゴリズム: GRPO, RLOO, RE++, GPG, および EMAGRPO を上回りました。

主要な指標:

• すべてのモデルの中で最高の平均タスク性能ランク (1.90) を達成。
• 以前の最先端モデルと比較して、最大 +12.02% の性能向上を実現。
• GRPOのような他の手法が特定のタスク（例：皮肉検出）で性能崩壊を示す中で、堅牢性を示しました。

4.2 ゼロショット汎化

モデルは、ファインチューニングなしで5つのホールドアウト行動ベンチマーク（自閉症検出、音声感情認識、野生下のうつ病認識、ソーシャルメディア・センチメント、皮肉の不一致）で評価されました。

• OmniSapiens-7B 2.0 は、5つのホールドアウトタスクすべてにおいて、すべてのベースラインを上回りました。
• 以前のモデルと比較して、最大 +9.37% の利得に達しました。
• これは、モデルが訓練分布を超えて汎化する、転移可能な行動特徴を学習していることを示唆しています。

4.3 推論プロセスの解釈可能性

論文では、XAI（説明可能なAI）のデシデラタ（要件）を用いて推論プロセスの質を評価しています：

• 堅牢性: 独立してサンプリングされたプロセスおよびパラフレーズ（言い換え）のバリエーション間で、高い一貫性（87.7% および 88.4%）を達成。
• 効率性: ベースライン（例：OmniSapiens-7B RL の 57.69 トークン）と比較して、大幅に簡潔な推論プロセス（19.86 トークン）を生成。
• 人間による評価: ペア比較において、OmniSapiens-7B 2.0 は、簡潔さにおいて 99.2%、一貫性において 88.3%、具体性において 78.9% のケースで、ベースラインと同等またはそれ以上と判定されました。

4.4 アブレーション研究

• 構造化された変調: 幾何学的リファレンスを削除した場合（単純な逆数スケーリングを使用）、性能が低下（平均ランク 2.00 vs 1.90）し、グローバルなステップサイズの歪みを防ぐための幾何学的中心化の必要性が確認されました。
• 慣性制御: 慣性スムージングを削除すると、特に寄与信号が変動するタスク（例：皮肉、センチメント）において、性能が著しく低下しました（平均ランク 2.70）。
• サンプルレベルの変調: サンプルレベルの変調を削除（タスクレベルのみ）すると、性能が低下しました（平均ランク 2.60）。これは、極端なアドバンテージの値を抑制するために、個々のサンプルレベルで信号をバランスさせる必要があることを示しています。

5. 重要性と主張

本論文は、OmniSapiens-7B 2.0 が統一された社会行動分析への重要な一歩であることを主張しています。HARPO を通じて異質な学習信号を明示的にモデル化することにより、不均衡な学習ダイナミクスによって制約を受けていた既存の統一的アプローチの限界を克服しています。

著者らは、彼らの研究が以下のことを実現すると断言しています：

• 情動コンピューティング、行動ヘルスケア、および社会的に知的なAIシステム（特に、行動データが乏しく、モデルの解釈可能性が極めて重要となる環境）における潜在的なアプリケーションを解き放つこと。
• （HARPOを通じて）より弱い、構造的に意味のある信号を保護することが、基盤モデルが潜在的な社会的・行動的構造をより効果的に符号化することを可能にすること。
• 正確であるだけでなく、堅牢で効率的、かつ解釈可能な推論プロセスを生成することで、現実世界の行動アプリケーションのための信頼できるフレームワークを提供すること。

本研究は、将来の社会行動基盤モデルは、すべてのタスクやサンプルを一様に扱うのではなく、学習信号の異質性に明示的に対処することから恩恵を受ける可能性があることを示唆しています。