💻 computer science

SHALA-LLM: Smartly Handling Ambiguous Labels in Aligning LLMs

本論文は、アノテータによるラベルの曖昧さをノイズとしてではなく価値ある情報として扱うことで、人間の判断分布をより適切にモデル化しつつ分類性能を同時に向上させる、LLMのアライメントを改善するための強化学習フレームワークであるSHALA-LLMを導入するものである。

原著者： Jingyao Wu, Ashley Wang, Keane Ong, Paul Pu Liang, Rosalind Picard

公開日 2026-06-05

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jingyao Wu, Ashley Wang, Keane Ong, Paul Pu Liang, Rosalind Picard

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

問題点：全員の意見が食い違うとき

あなたが学生のエッセイを採点している教師だと想像してください。あなたは5人の専門家に同じ段落を読んでもらい、それが「真（True）」、「偽（False）」、あるいは「どちらとも言えない（Maybe）」かを判断してもらうことにしました。

専門家A：「間違いなく『真』である」
専門家B：「間違いなく『偽』である」
専門家C、D、E：「両方の側面がある。曖昧である」

これまでのAI（大規模言語モデル、LLM）の学習において、研究者たちはこれらの5つの意見を見て、「よし、3人が『どちらとも言えない』と言ったので、答えは『どちらとも言えない』だ」としてきました。彼らは、2人の専門家が強く反対しているという事実を切り捨ててしまったのです。彼らは、この意見の相違を修正すべき「ノイズ」や「間違い」として扱っていました。

この論文の著者たちは、これは間違いであると主張しています。彼らは、この意見の相違はノイズではなく、情報であると言います。賢い人々が合意に至れないという事実は、その状況が複雑で、解釈の余地があり、トリッキーであることをAIに教えてくれるのです。

解決策：SHALA-LLM

チームは、SHALA-LLM（Smartly Handling Ambiguous Labels in Aligning LLMs：LLMのアライメントにおける曖昧なラベルのスマートな扱い方）と呼ばれる新しい手法を開発しました。これは、AIに対して、単に「最も声の大きい意見」を聞くのではなく、専門家たちの「会話全体」を聞くように教える新しい方法です。

仕組みは以下の通りです。

1. 単一の答えではなく「投票箱」を

AIに単一のラベル（例えば「真」）を強制する代わりに、SHALA-LLMはAIに確率分布を出すよう求めます。

従来の方法： AIは「これは100%『真』である」と言います。
SHALA-LLMの方法： AIは「これは40%の確率で『真』、40%の確率で『偽』、そして20%の確率で『どちらとも言えない』だと思う」と言います。

これは、意見が真っ二つに割れた人間の専門家たちの現実と一致しています。

2. 「混乱ボーナス」（秘伝のレシピ）

これがこの論文の中で最も独創的な部分です。研究者たちは、簡単な問題（全員が同意する）もあれば、難しい問題（全員が争う）もあることに気づきました。

簡単な問題： 全員が同意しています。AIは正解に対して標準的な報酬を受け取ります。
難しい問題： 人間が混乱し、意見が分かれています。

SHALA-LLMでは、AIは**特別な「混乱ボーナス」**を受け取ります。もし特定の例に対して人間の専門家が高度に混乱している場合、AIはその特定の例を学習することに対して、より多くの報酬を与えられます。

比喩： サッカーのコーチが選手をトレーニングしている場面を想像してください。選手が簡単なゴールを決めたら、ハイタッチをもらえます。しかし、もし選手が、ボールが予測不能に跳ねるような滑りやすく泥だらけのグラウンド（高い曖昧性）で練習し、それでもなおゴールを決めることができたら、コーチは巨大なトロフィーを授与します。

AIは、「泥だらけで混乱した」例こそが、より賢くなるために最も価値のあるものだと学習するのです。

3. 結果：より人間らしいAIへ

チームはこの手法を、以下のようなタスクでテストしました。

NLI（自然言語推論）： ある文章が別の文章から論理的に導き出せるかどうかを判断する。
ER（感情認識）： 声が「嬉しい」「悲しい」「怒っている」などのうち、どれに近いかを推測する。

何が起きたのでしょうか？

一致度の向上： AIの「推測」（分布）は、以前よりも人間の意見の広がりをはるかに正確に反映していました。これにより、AIの考えと人間の考えの間のギャップを最大62%削減しました。
精度の向上： 驚くべきことに、混乱を扱う方法を学ぶことで、AIは単一の「最善の」答えを選ぶ能力も向上しました。精度スコアは最大16%向上しました。
堅牢性（ロバストネス）： タスクが極めて困難で混乱した状況になると、従来のAIモデルは崩壊してしまいました。しかし、SHALA-LLMモデルは安定していました。人間が意見を戦わせてもパニックにならず、その不一致を利用して、より深いパターンを学習したのです。

まとめ

この論文は、人間の意見の相違を「バグ（間違い）」ではなく「フィーチャー（役立つ信号）」として扱うことで、不確実性に対してより正直であり、白黒はっきりしない現実世界においてもより正確に機能するAIを構築できると主張しています。

AIは単に「何を言うか」を学ぶだけでなく、「どの程度確信を持たれるべきか」を学ぶのです。それが、AIをより優れた人間の判断の模倣へと進化させるのです。

技術要約: SHALA-LLM

問題提起

自然言語推論（NLI）や感情認識（ER）といった、人間中心の多くの自然言語タスクは、本質的に複数の妥当な解釈を内包しています。これは、文脈の理解、文化的背景、個人の経験などの要因に起因するラベルの曖昧さと、人間によるアノテーション間の重大な不一致をもたらします。

現在の大規模言語モデル（LLM）のアライメント・パラダイムは、主にこのアノテーター間の不一致を「ノイズ」として扱います。これらは通常、多数決や平均化を用いて、曖昧なアノテーションを単一の「ゴールドスタンダード」ラベルへと集約してしまいます。このようなアプローチは、特に高度に曖昧な設定において、人間の不一致に埋め込まれた豊かな情報を破棄してしまいます。近年の研究では分布的アライメントが探索されていますが、それらは多くの場合、推論時（プロンプティング経由）に動作しており、アノテーターの不一致を考慮して訓練中にLLMを直接最適化するものではありません。その結果、既存の手法は、人間の判断の完全な分布を保持したり、曖昧さが最も情報量を持つサンプルを動的に優先したりすることに失敗しています。

手法: SHALA-LLM

著者らは、単一の集約されたラベルではなく、経験的なアノテーター分布に直接アライメントするように設計された強化学習（RL）フレームワークであるSHALA-LLM（Smartly Handling Ambiguous Labels in Aligning LLMs）を提案しています。このフレームワークは、以下の主要なコンポーネントを通じて機能します。

1. 問題定式化

アノテーションを集約してしまう代わりに、SHALA-LLMは、与えられたサンプル $q$ に対して $N$ 人の人間による経験的ラベル分布 ( $p_q$ ) を導出します。この分布は、アノテーターの投票頻度に基づく各候補クラスの確率を表します。目標は、この潜在的な人間の判断分布と一致する予測 ( $\hat{p}$ ) を生成するようにLLMを訓練することです。

2. 言語化された分布予測

分布学習を促進するために、LLMは言語化された分布を生成するように促されます。単一のクラスを出力するのではなく、モデルはすべての候補クラスに対する確率推定を含むテキスト応答（例：JSON形式）を生成します。これらのテキスト出力は、予測確率分布 $\hat{p}^{(q,i)}$ へとパースされます。

3. 報酬設計: 曖昧さ強化型最適化

核心となる革新は、Group Relative Policy Optimization (GRPO) フレームワーク内で使用される報酬関数にあります。サンプリングされたロールアウトに対する報酬 $r^{SHALA}_{(q,i)}$ は、以下のように定義されます。

$r^{SHALA}_{(q,i)} = \tilde{H}(p_q) \cdot [1 - D_{JS}(\hat{p}^{(q,i)}, p_q)]$

ここで：

分布的アライメント項: $[1 - D_{JS}(\hat{p}^{(q,i)}, p_q)]$ は、イェンセン・シャノン（JS）距離を用いて、モデルの予測分布とアノテーターの分布との一致度を測定します。これは、多数派ラベルによる教師あり学習の疎でバイナリな報酬に代わり、分布的一致度に比例する連続的な報酬を提供します。
曖昧さ強化項: $\tilde{H}(p_q)$ $\tilde{H} (p_{q})$ は、アノテーター分布の正規化されたエントロピーです。これは、アノテーター間の不一致（曖昧さ）の程度を定量化します。
- 動的再重み付け: アノテーターの不一致が高い（エントロピーが高い）サンプルには、比例して増幅された報酬が与えられます。これにより、高度に曖昧なサンプルを最適化中に動的に優先し、モデルが単なる支配的なラベルではなく、より豊かな不一致の構造から学習することを強制します。

4. 最適化

フレームワークは、ポリシーを最適化するためにGRPOを利用します。曖昧さ強化型報酬に基づいたグループ正規化アドバンテージを計算することで、SHALA-LLMはモデルが不確実性と多様な人間の解釈を捉えることを促進します。これにより、報酬の幾何学的構造が再形成され、曖昧な教師あり学習下においても、より滑らかなアドバンテージ分布とより情報量の多いポリシー更新が得られます。

主な貢献

パラダイムシフト: 本論文は、アノテーターの不一致をノイズと見なす仮定に異議を唱え、それをモデルの挙動を改善する情報的な教師信号として再定義しています。
アルゴリズムの革新: 曖昧さを考慮した報酬変調を、特にGRPOを利用して訓練ループに直接統合する、新しいRLベースのアルゴリズム（SHALA-LLM）を導入しました。
二重の改善: 本手法は、アノテーターの不一致をモデル化することが、分布的一致（人間の不確実性の捕捉）を向上させるだけでなく、標準的な分類性能（F1スコア）をも向上させることを示しており、これは曖昧さの処理が精度を損なうという従来の信念に反するものです。

実験結果

フレームワークは、曖昧さに敏感なNLIおよびERのベンチマークである ChaosNLI、GoEmotions、MSP-Podcast で評価されました。

分布的一致: SHALA-LLMは、モデルの予測と人間の分布の間のイェンセン・シャノン距離（JSD）を有意に減少させました。ChaosNLI において、JSDは多数派ラベルによる教師あり学習（MLS）と比較して 62.1% 減少しました。MSP-Podcast では、J、JSDは 6.2% 減少しました。
分類性能: 分布的教師あり学習が点推定の精度を損なうという予想に反して、SHALA-LLMはF1スコアを向上させました。ChaosNLI では、MLSと比較してF1が 16.6% 増加し、MSP-Podcast では 29.2% 増加しました。
曖昧さへの堅牢性: さまざかな曖昧さレベル（低、中、高）にわたる分析により、SHALA-LLMは曖昧さが増加しても安定した性能を維持する一方で、ベースライン手法（MLSなど）は高曖昧な設定で著しい劣化を示すことが明らかになりました。
カテゴリ特有の利得: モデルは、本質的に曖昧な意味カテゴリ（NLIにおける「矛盾」、ERにおける「驚き」など）において、特に強力な改善を示しました。これらのカテゴリでは、ベースラインモデルがしばしば苦戦します。
推論行動: 定性的分析により、SHALA-LLMは、ゼロショットや多数派ラベルのベースラインに見られる過度に自信に満ちた単一解釈の出力ではなく、複数の妥当な解釈と不確実性を反映した推論パターンを生成することが示されました。

意義と主張

著者らは、SHALA-LLMが、人間の不一致をノイズではなく信号として扱う価値を実証していると主張しています。不一致の構造を保持し、曖昧なサンプルを動的に優先することで、このフレームワークは、主観的で現実世界の環境における、より堅牢で人間と整合したLLMの挙動をもたらします。

本論文は次のように結論付けています：

不一致の保持: 人間の判断の完全な構造を維持することで、モデルは多様で、時には相反するラベルから学習することが可能になり、結果として人間の分布へのより良いアライメントにつながります。
性能の相乗効果: 曖昧さを考慮した最適化は、分類精度とアライメントのどちらかを犠牲にするのではなく、その両方を強化します。
汎用性: このアプローチは、異なるモダリティ（テキストと音声）およびタスクタイプ（推論と感情認識）にわたって効果的です。

著者らは、現在の評価は構造化されたラベル分布に焦点を当てており、自由記述の生成タスクや複雑なマルチターン対話にはまだ対処していないことを認め、限界についても述べています。また、本フレームワークは、経験的分布がアノテーターの専門性などの潜在的な要因を適切に代表していると仮定していますが、それがすべての曖昧さの源泉を完全に捉えきれない可能性があることも指摘しています。それにもかかわらず、本研究は、より堅牢で人間中心の大規模言語モデルを開発するための有望な方向性を示唆しています。