HAL: Inducing Human-likeness in LLMs with Alignment

技術要約：HAL：アライメントによるLLMへの人間らしさの誘導

問題提起
大規模言語モデル（LLM）を、会話における「人間らしさ」という定性的な行動特性にアライメントさせることは、依然として大きな課題である。タスク指向の指標とは異なり、「人間らしさ」は定義、測定、および体系的な最適化が困難である。現在の人間らしさの知覚的な向上は、主にモデルのスケール拡大や広範な教師あり学習によって推進されており、ターゲットを絞ったアライメントによるものではない。さらに、人間による人間らしさの判断は通常、包括的かつ暗黙的であり、強化学習や選好最適化のための報酬信号を構築するために必要な明示的な基準を欠いている。その結果、モデルをより人間らしい会話行動へと導くための体系的な手法が存在しない。

手法
本論文では、会話における人間らしさを解釈可能なスカラー報酬信号へと定量化する、データ駆動型のフレームワークであるHAL (Human Aligning LLMs) を導入する。この手法は以下の4つの段階で進行する：

1. 対照データからの特性抽出：
   著者らは、対照データ（具体的にはJones and Bergen, 2025によるチューリングテストの対話トランスクリプト）を利用する。これには、人間同士の会話と人間とAIの会話のペアが含まれている。高次の推論能力を持つLLMベースのジャッジ（当初はGPT-5）がこれらのペアを分析し、人間とAIを区別するための理由を構造化されたリッカート形式の理由として生成する。これらの自然言語による理由は、埋め込み（embedding）およびクラスタリングされ、繰り返される手がかりを特定するために使用される。要約プロセスを通じて、これらは、この文脈において人間とAIの対話を確実に区別する**32の特性（HL32Q）**というコンパクトなセットへと蒸留される。

2. ロジスティック回帰による定量化：
   これらの定性的な特性を定量的な信号に変換するために、著者らはロジスティック回帰モデルを訓練する。LLMジャッジ（HL32Q Judge）は、与えられた対話を32の特性に対して1〜5のリッカート尺度で独立してスコアリングし、特徴ベクトル $A \in \mathbb{R}^{32}$ を生成する。ロジスティック回帰モデルは、対話が人間（$y=1$）かAI（$y=0$）かを予測するための重み（$W$）とバイアス（$b$）を学習する。
   解釈性を高めるため、著者らは特徴量削減を行い、学習された重みの絶対値に基づいて上位**16の特性（HL16Q）を選択する。これにより、単一のスカラー人間らしさスコア（Human-Likeness Score）**が得られる：
   $$\text{HumanLikeness}(A) = \sum_{i=1}^{16} A_i W_i + b$$
   このスコアは、アライメントのための報酬信号として機能する。

3. 選好最適化（DPO）：
   本フレームワークは、アライメントを選好学習問題として構成する。合成されたペルソナのセット（主に医療コミュニケーション領域）に対し、様々なモデルによって候補となる対話が生成される。これらの対話はHL16Q Judgeによってスコアリングされる。対話のペアは、HL16Qスコアが高い方の対話を「選択されたもの（chosen）」、低い方を「拒絶されたもの（rejected）」として構築される。これらのランク付けされたペアを用いて、1Bから72Bパラメータまでの様々なサイズのモデルを**直接選好最適化（DPO）**を用いて微調整する。

4. 評価：
   著者らは以下の方法を通じてアプローチを検証する：

• 分布外（OOD）テスト： HL16Qスコアの汎用性を確認するため、別の癌コミュニケーションデータセットで評価を行う。
• 人間による評価： 人間の参加者が2つのモデルのうちどちらがより人間らしく感じるかを判断する、Chatbot Arena形式のA/Bテスト。
• 能力ベンチマーク： アライメントによって他の能力が低下していないことを確認するため、感情的知性のベンチマーク（EmoBench, EQBench3）での性能評価。

主な結果

• 特性の特定： パイプラインは、人間とAIの対話を効果的に区別する32の異なる特性を特定し、16（HL16Q）へと削減することに成功した。ロジスティック回帰分類器は、32の全特性を用いたチューリングテストデータセットにおいて77.47%の精度を、削減された16の特性を用いて77.12%の精度を達成した。
• 汎用性： OODデータセット（癌コミュニケーション）において、人間同士の会話は人間とAIの会話よりも有意に高いHL16Qスコアを受け取り（平均差 $\Delta = 3.02, p < 10^{-17}$）、AUCは0.907であった。これは、抽出された特性が転移可能な人間らしさの手がかりを捉えていることを示している。
• アライメント性能： 人間による評価において、HALでアライメントされたQwen2.5-14Bモデルは、61.78%の勝率と1556.97のEloスコアを達成し、そのベースモデル（53.62%）およびプロプライエタリなGPT-4o-mini（34.29%）の両方を上回った。
• 能力の保持： HALによるアライメントは、感情的知性ベンチマークにおける系統的な性能低下をもたらさなかった。特に小規模および中規模モデルにおいては、アライメント後にEQBench3の性能が向上するケースも見られた。
• 解釈性： 本フレームワークにより、訓練中の特定の特性の変化を検査することが可能である。例えば、著者らは「返答を簡潔かつカジュアルに保つ（Keeps replies brief and casual）」（Q1）という特性が最も顕著な分布の変化を示したことを観察しており、これはモデルが不透明な目的関数ではなく、具体的で解釈可能な行動を学習していることを裏付けている。

意義と主張
本論文は、HALが、従来の標準的なアライメントの目的範囲外であった「ソフト」で定性的な特性に対して、有効な経路を示すものであると主張している。対照的な例から明示的で解釈可能な特性を導出し、それらを透明な報酬信号へと圧縮することで、HALは以下を可能にする：

1. 測定可能なアライメント： 「人間らしさ」という主観的な概念を、定量化可能なスカラー報酬へと変換する。
2. 透明性と診断： ブラックボックス型の報酬モデルとは異なり、HL16Qスコアにより、研究者はどの特定の会話特性が促進されているかを検査し、意図しない影響や報酬ハッキングを診断することができる。
3. 手法の汎用性： 本アプローチは、測定可能にできるのであれば、対照的な例から特性を推論することによって、他の困難な特性（例：へつらい、操作性）を誘導するための一般的な手法を提供する。

著者らは、本手法は知覚される人間らしさを向上させるものの、抽出された特性は訓練データ（チューリングテスト）の会話規範に特有のものであり、他の文脈（例：医療対話）にはドメイン適応が必要である可能性についても述べている。また、報酬構築のためにLLMジャッジを使用することによる計算コストについても認めているが、HALを、解釈性が極めて重要となる、より豊かな報酬構築のための洗練ステップ、あるいは手法として位置づけている。