💬 NLP

High Accuracy, Less Talk (HALT): Reliable LLMs through Capability-Aligned Finetuning

この論文は、LLM が回答できるかできないかを学習データに埋め込む「HALT」という手法を提案し、回答の完全性を多少犠牲にすることで、事実誤認（ハルシネーション）を大幅に削減し、医療や数学など多様な分野における回答の正確性を飛躍的に向上させることを実証しています。

原著者： Tim Franzmeyer, Archie Sravankumar, Lijuan Liu, Yuning Mao, Rui Hou, Sinong Wang, Jakob N. Foerster, Luke Zettlemoyer, Madian Khabsa

公開日 2026-02-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Tim Franzmeyer, Archie Sravankumar, Lijuan Liu, Yuning Mao, Rui Hou, Sinong Wang, Jakob N. Foerster, Luke Zettlemoyer, Madian Khabsa

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

「HALT」：AI に「わからないことは言わない」と教える新しい方法

この論文は、大規模言語モデル（LLM/AI）が抱える大きな問題——「知らないことでも、自信満々に嘘をつく（ハルシネーション）」——を解決するための新しいアプローチ「HALT」を紹介しています。

まるで、**「自信がないときは黙る」あるいは「わからない部分は『ここからは不明です』と正直に言う」**という、AI へのしつけのようなものです。

以下に、難しい専門用語を使わず、身近な例え話で解説します。

1. 問題：AI は「何でも答えたがる」癖がある

現在の AI は、どんな質問をされても「答えなければならない」と思っています。
例えば、ある人が「私の犬の名前と種類を教えて」と聞かれたとき、AI はその人の犬が何だったか知らないのに、**「ボウというシェパードでしたよ！」**と勝手に作り話をしてしまいます。

今の AI の状態： 嘘をついてでも、何でも答えて「おしゃべり」を続ける。
リスク： 医療や法律など、間違いが許されない分野では、この「おしゃべり」が危険です。

2. 解決策：HALT（ハルト）のアイデア

「HALT」は、AI に**「自分が本当に知っていることだけ話し、わからないことは隠す（または『不明』と告げる）」**ように訓練する技術です。

🍎 例え話：「完璧なシェフ」vs「正直な料理人」

普通の AI（従来の学習）：
料理のレシピ本（データ）を丸暗記したシェフです。でも、知らない食材が出ると、**「たぶんこれは〇〇でしょう！」**と推測して、間違った味付けをしてしまいます。客は「美味しい！」と思っているかもしれませんが、実は毒が入っているかもしれません。
HALT 学習をした AI：
この AI は、**「自分が確信を持っている材料だけで料理を作る」**ように訓練されます。
- 自信がある部分：「これは牛のステーキです」
- 自信がない部分：「あとのソースの味は、**『ここからは不明です』**と書きます」
結果、料理の量は減りますが、**「出されたものは間違いなく美味しい（正しい）」**という信頼性が劇的に上がります。

3. HALT がどうやって動くのか？（3 つのステップ）

HALT は、AI に以下の手順で「しつけ」を行います。

試し書き： まず AI に「この質問に答えてみて」と言います。
分解とチェック： AI が書いた回答を、小さな断片（事実の塊）に切り分けます。そして、**「この断片は正しいか？」**を、別の超優秀な AI（審査員）にチェックさせます。
- 例：「オバマ元大統領の犬の名前はサンニー」→ 正解 ✅
- 例：「サンニーはドイツ・シェパードだった」→ 実際は違う（誤り）❌
修正と再訓練：
- 間違った断片は、削除するか、「ここからは不明です（Unsure from here）」という一言に置き換えます。
- この**「正しい部分だけ、または『不明』と正直に書いた回答」**を、AI にとっての「正解」として、再度学習させます。

4. すごい効果：「正しさ」と「量」のバランス調整

HALT の素晴らしいところは、「どれくらい慎重に答えるか」を人間が調整できる点です。

慎重モード（正しさ重視）：
「わからないことは絶対に言わない」と設定すると、AI は回答の長さは短くなりますが、間違いがほぼなくなります。
- 実験結果： 4 つの分野（数学、医療、プログラミング、人物伝）でテストしたところ、従来の AI が 51% だった正解率が、87% まで跳ね上がりました！（ただし、回答の量は半分くらいになりました）。
おしゃべりモード（量重視）：
多少の間違いを許容すれば、もっと長く答えることもできます。

5. 応用：「不明」を隠さず、マークする

ユーザーは「全部の文章を見たいが、どこが嘘か知りたい」と思うかもしれません。
HALT は、間違った部分を**「削除」するのではなく**、「ここは『不明』です」と赤文字でマークするようにも改造できます。
これなら、ユーザーは「ここは信用できるけど、ここは自分で確認しよう」と判断でき、「完全な回答」を失わずに「信頼性」も得られます。

まとめ

HALTは、AI に「何でも知ったかぶりする」のをやめさせ、「自分の能力の範囲内で正直に答える」ことを教える技術です。

従来の AI： 「嘘をついてでも、何でも答える」→ 便利だが危険。
HALT の AI： 「わからないことは『不明』と言う」→ 回答は短くなるが、信頼性が劇的に向上する。

医療診断や法律相談など、「間違いが許されない」場面では、この「おしゃべりしない AI」が、より安全で頼れるパートナーになるでしょう。

HALT: 能力整合型ファインチューニングによる信頼性の高い LLM 構築

技術的サマリー（日本語）

本論文は、ICLR 2026 にて発表された「HIGH ACCURACY, LESS TALK (HALT)」という手法を提案するものです。大規模言語モデル（LLM）が知識や能力が不足している場合に誤った回答（ハルシネーション）を生成する問題を解決し、モデルが自身の能力範囲内で確信のある情報のみを提供し、それ以外は（部分的に）回答を控える（Abstain）ようにするポストトレーニング手法を提案しています。

1. 問題設定

現在の LLM は、複雑な質問や専門知識を要するタスクであっても、回答を生成しようとする傾向があります。しかし、モデルがその知識や推論能力を持っていない場合、誤った情報を生成する「ハルシネーション」が発生し、医療や法務などの高リスク分野において重大なリスクとなります。
既存の「拒否（Abstain）」を学習させる手法は、回答全体を拒否するか完全に回答するかの二者択一になりがちです。HALT は、「回答の完全性（Completeness）」と「回答の正確性（Correctness）」の間のトレードオフを制御可能にし、モデルが確信のない部分を「Unsure from here（ここからは確信できません）」と明示するか、あるいはその部分を省略することで、信頼性の高い部分のみを出力することを可能にします。

2. 手法 (Methodology)

HALT の核心は、**「事前学習済みモデルが確実に生成できる内容のみを含むファインチューニングデータセット」**を作成することにあります。モデルはファインチューニングによって新しい能力を獲得するのではなく、事前学習で得た能力を効果的に活用するようになるという仮説に基づいています。

HALT のパイプラインは以下の 4 つのステップで構成されます：

予備回答の生成:
事前学習済みモデルに、少量のサンプル（Few-shot）を用いて各プロンプトに対する初期回答を生成させます。
事実的フラグメントへの分割:
生成された回答を、検証可能な単位（事実的フラグメント）に分割します。
- 独立フラグメント（例：伝記の事実）: 文脈に依存せず独立して検証可能な文単位に分割。
- 因果依存フラグメント（例：数学の解法、コード）: 論理的な順序で依存するステップ単位に分割（改行や式など自然な境界で分割）。
正誤評価:
評価用 LLM（Ground Truth にアクセス可能）を用いて、各フラグメントの正誤を判定します。
- 独立フラグメント: 各フラグメントを個別に評価。
- 因果依存フラグメント: 最初の誤りが発生したフラグメントを特定し、それ以降のすべてを誤りとみなします。
HALT 用回答の作成:
- 誤りと判定されたフラグメントを削除するか、因果依存の場合は「Unsure from here」というマーカーに置き換えます。
- これにより、モデルが「確信を持って答えられる部分」のみを含む、能力整合型のターゲット回答 $y^H_j$ が作成されます。

トレードオフの調整:
モデルの能力推定を保守的に行うために、複数の予備回答をサンプリングし、その中で正解フラグメント数が最も少ないもの（最悪のケース）を選択してデータを作成することで、より高い正確性を得る代わりに完全性を犠牲にする設定が可能です。逆に、より多くの回答を生成させる設定も可能です。

3. 主な貢献と結果 (Key Contributions & Results)

著者らは、4 つのオープンソースモデル（Llama3-8B/70B, Gemma2-9B, Mistral-7B）と 4 つのドメイン（伝記作成、数学、医療、コーディング）で HALT を評価しました。

正確性の劇的な向上:
HALT を適用し、正確性を最優先に調整した場合、Llama3-70B モデルは 4 つのドメイン全体で平均正確性が 51% から 87% に向上しました。これは標準的なファインチューニングと比較して大幅な改善です。
完全性とのバランス:
正確性を最大化する設定でも、回答の完全性は標準ファインチューニングの約 53% を維持しました。HALT は、完全性と正確性の調和平均である F1 スコアを、ベースライン手法（FactTune, IDK など）と比較して平均 4% 向上させました。
汎用性の維持:
特定のドメインに特化したモデルだけでなく、4 つのドメインのデータを混合して単一の信頼性の高い Llama3-70B モデルを訓練したところ、全ドメインで 87% の正確性を達成しました。また、AlpacaEval による評価では、一般的な指示追従能力や一貫性が大幅に損なわれていないことが確認されました。
「不確実性」の明示:
誤ったフラグメントを削除するのではなく、「Unsure」としてラベル付けする「Add-On HALT」を提案しました。これにより、ユーザーは回答の完全性を保ちつつ、どの部分が不確実であるかを把握できるようになります。

4. 意義と結論 (Significance)

HALT は、LLM のハルシネーション問題に対する新しいパラダイムを提供します。

テスト時のオーバーヘッドなし: 既存の多くの手法がテスト時に追加の計算やサンプリングを必要とするのに対し、HALT はファインチューニング済みのモデルをそのまま使用するため、推論コストが増加しません。
能力への整合性: モデルに「できないこと」を無理に教えるのではなく、モデルが「できること」に焦点を当てて学習させることで、信頼性を高めています。
実用性: 医療や法務など、正確性が極めて重要な分野において、モデルが自信のない部分を自発的に隠す（または明示する）ことで、人間の判断を支援するシステム構築が可能になります。

結論として、HALT は「より多くのことを話す」ことではなく、「確信のあることだけを話す」ことで、LLM の信頼性を飛躍的に高める効果的なポストトレーニング手法です。