💻 computer science

ERRORQUAKE: Heavy-Tailed Error Severity Distributions in Open-Weight Large Language Models

本論文は、オープンウェイトの大規模言語モデルが、同等の精度水準においても明確に異なる重い裾を持つエラー深刻度分布を示すことを実証する包括的なベンチマークであるErrorquake-10kを導入するものであり、これらの深刻度プロファイルが、スカラー値のエラー率では捉えきれない信頼性に関する極めて重要かつ非冗長な情報を提供することを証明している。

原著者： Jason Z Wang

公開日 2026-06-05

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jason Z Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、自社のレポートを作成するためのアシスタント・チームを採用していると想像してください。あなたは標準的なテストとして、彼らに1万問の質問をし、何回間違えたかをカウントします。

AIの世界では、これを**エラー率（誤答率）**と呼びます。もしアシスタントAが58%の回答を間違え、アシスタントBも58%間違えた場合、標準的な報告書にはこう記されます。「両者は等しく劣っている。」

この論文は、この報告が極めて誤解を招きやすいものであると主張しています。

著者であるJason Z Wang氏らは、間違いの捉え方に関する新しい手法としてERRORQUAKEを導入しています。彼らは、すべての間違いが等しく扱われるべきではないと考えています。日付の間違いは「爪の上の擦り傷」に過ぎませんが、誰かを投獄させかねない架空の判決を捏造することは「建物の崩壊」です。従来のシステムでは、どちらも「1つのエラー」としてカウントされますが、その結果は天と地ほどの差があります。

以下に、彼らの知見を分かりやすい比喩を用いて解説します。

1. 地震の比喩（核心となるアイデア）

著者らは地震学（地震の研究）の概念を借用しています。地震学者たちは、地震には特定のパターンがあることを知っています。つまり、小さな震動は多く、中規模のものは少なく、大規模で壊滅的な地震はごく稀であるということです。彼らはこのパターンを記述するために、 $b$ 値と呼ばれる数値を使用します。

高い $b$ 値： 小さくて厄介な震動は多いが、大きな災害はほとんど起こらない。（例：モデルが多くのタイプミスや軽微な事実の誤りを犯している状態）。
低い $b$ 値： エラーの総数は少ないが、発生するエラーが不釣り合いに巨大で壊滅的である。（例：普段は静かだが、いざ発言すると架空の法律や科学的発見を捏造してしまうモデル）。

発見： 著者らは21種類の異なるオープンソースAIモデルをテストしました。その結果、たとえ2つのモデルのエラー率が全く同じであっても（例：どちらも58.6%の間違い）、彼らの $b$ 値は全く異なることが分かりました。

例：あるモデル（DeepSeek-V3.2）は「低い $b$ 値」を持っており、エラーがヘビーテイル（稀だが壊滅的）でした。別のモデル（Ministral-14B）は「高い $b$ 値」を持っており、エラーがよりライト（軽微）で危険性が低いものでした。
教訓： モデルがどれくらい失敗するかを単にカウントするだけでは、そのモデルの安全性は判断できません。モデルが失敗したとき、「どのように」失敗するのかを見なければなりません。

2. 「ヘビーテイル（重い裾）」への警告

この論文は、このような危険なパターンを**「ヘビーテイルなエラー分布」**と呼んでいます。
ビー玉が入った袋を想像してください。

正規分布： ほとんどのビー玉が同じサイズです。
ヘビーテイル分布： 大部分が小さな小石ですが、袋の中に隠された数個の巨大な岩が含まれています。単に「ビー玉の数」を数えるだけでは、そのうちの一つがあなたの足を押しつぶす可能性があるという事実を見落としてしまいます。

著者らは、より大規模で強力なAIモデル（「高密度」なモデル）は、実際にはよりヘビーテイルな傾向があることを発見しました。

パラドックス： モデルが大きくなるにつれ、小さな間違い（タイプミスや些細なミス）は少なくなります。しかし、彼らが犯す間違いは、より自信に満ちた、精巧な嘘（捏造）である可能性が高くなります。
比喩： 小さな子供は頻繁につまずいて転びます（多くの小さなエラー）。巨人は何時間も完璧に歩き続けますが、もし彼がよろめいたとしたら、家をなぎ倒してしまうかもしれません（エラーは少ないが、壊滅的）。

3. 「地震計」 vs 「カウンター」

現在のベンチマークは**「カウンター」のようなものです。モデルがミスをするたびに、単に「間違い」とクリックするだけです。
著者らは、代わりに「地震計」**として機能する新しいツール、ERRORQUAKE-10Kを構築しました。

単に「間違い」とクリックするのではなく、エラーを0から4のスケールで評価します。
- 0：完璧。
- 0.5–1.0： 軽微なミス（例：「会議は午後2時」ではなく「3時」とした）。
- 2.0–3.0： 読者を誤導する可能性のある深刻なエラー。
- 3.5–4.0： 完全な捏造（例：「会議は並行世界で開催された」）。
彼らはこれを人間の専門家と共にテストし、人間とAI判定器の評価がよく一致することを確認しました。

4. なぜこれが重要なのか？（メカニズム）

この論文は、なぜこのようなヘビーテイルが発生するのかを掘り下げています。彼らは、深刻度が増すにつれてエラーの種類が変化することを発見しました。

低深刻度： エラーは通常、検索の失敗（モデルが事実を忘れた、あるいは間違った数値を参照した）です。
高深刻度： エラーは通常、捏造（モデルが実際には存在しないことを自信満々に作り上げた）です。

決定的なことに、大規模なモデルはこれらの高深刻度の捏造を起こしやすい傾向があります。モデルが大きくなるにつれ、事実を記憶する能力は向上しますが（検索エラーは減少）、答えを知らない時に説得力のある嘘を「幻覚（ハルシネーション）」として生成する能力も高まってしまうようです。

5. 結論

本論文は、業界は単なる「エラー率」（カウンターによるカウント）を報告することを止めるべきだと結論付けています。

旧来の方法： 「モデルAとモデルBは、どちらも58%間違っている。」
新しい方法： 「モデルAとモデルBは、どちらも58%間違っているが、モデルAは時限爆弾（ヘビーテイル）のようであり、モデルBは単なる騒々しい隣人（ライトテイル）である。」

推奨事項： AIがどの程度の頻度で間違いを犯すかを報告する場合、必ず**深刻度の分布（ $b$ 値）**も報告しなければなりません。それは、そのモデルが「迷惑なミス」を起こしやすいのか、それとも「壊滅的な嘘」をつきやすいのかを教えてくれます。これは、単純なエラー率では決して隠されてしまう情報です。

この論文が主張して「いない」こと：

特定の実世界の業務（医療や法律など）に対して、これらのモデルが「安全」または「安全ではない」と断定しているわけではありません（さらなるテストが必要です）。
大規模なモデルが全体として「劣っている」と主張しているわけではありません。単に、失敗の「仕方」が異なるということを述べています。
この問題に対する解決策を提示しているのではなく、あくまで測定する方法を提示しています。

技術要約：ERRORQUAKE：オープンウェイト大規模言語モデルにおける重い裾を持つエラー深刻度分布

1. 問題提起

標準的なハルシネーション・ベンチマーク（例：TruthfulQA、HaluEval）は、モデルの性能を単一のスカラー値であるエラー率（ $\varepsilon$ ）に集約し、すべてのエラーを同等に扱います。このアプローチは、モデルの失敗における極めて重要な次元、すなわち**深刻度（severity）**を切り捨ててしまいます。誤った出版日を引用するモデルと、司法判断全体を捏造するモデルは、どちらも $\varepsilon$ に対して1カウントとして計算されますが、そのダウンストリームへの影響は桁違いに異なります。

本論文は、誤差率が一致している場合でも、オープンウェイトの大規模言語モデル（LLM）はエラー深刻度分布の形状において実質的な差異を示すと主張しています。具体的には、「テールの挙動」（軽微なミスに対する壊滅的なエラーの頻度）はモデル間で大きく異なり、これはスカラーのエラー率からは見えない特性です。著者らは地震学から概念を借用し、グーテンベルク・リヒターのマグニチュード頻度関係の傾き $b$ を用いて、このテールの挙動を特徴付けることを提案しています： $\log_{10} N(M \ge m) = a - b m$ 。小さな $b$ は、エラーは少ないが壊滅的なものが発生することを示し、大きな $b$ は、深刻度が限定的な小さなエラーが多いことを示します。

2. メソドロジー

2.1 ERRORQUAKE-10K ベンチマーク

著者らは、8つのドメイン（BIO, LAW, HIST, GEO, SCI, TECH, FIN, CULT）と5つの難易度ティア（T1–T5）にわたる10,000件のクエリで構成されるERRORQUAKE-10Kを導入しました。

構造: ドメインごとに1,250件のクエリ。T1–T2は容易な事実に関するクエリであり、T4–T5は自信を持った捏造を誘発するように設計されたトラップ質問を含みます。
評価対象モデル: 10のファミリーに含まれる、21のオープンウェイト指示チューニング済みモデル（3Bから約37Bのアクティブパラメータ）。これにはデンス（dense）型およびMoEアーキテクチャが含まれます。

2.2 深刻度スコアリング・スケール

回答は、連続的な0.0–4.0スケール（0.5刻みの9段階に量子化）でスコアリングされます：

0.0: 正解。
0.5–1.0: 要旨を維持した不正確さ。
1.5–2.0: 中程度の事実誤認。
2.5–3.0: 一般的な読者を誤導するような実質的な誤り。
3.5–4.0: 捏造（発明された情報の自信を持った主張）。

2.3 評価パイプライン

デュアル・ジャッジ・システム: 各回答は、ターゲットとなるモデルを除いた8モデルのラウンドロビン・プールから選ばれた2つのジャッジによってスコアリングされます。
集計: ジャッジ間の差異が1.0以内の場合は平均値を採用し、それ以外の場合は3つのうちの中央値とタイブレーカーを使用します。
人間による検証: LLMジャッジ・パイプラインを検証するため、519項目の層化サンプルを3名の専門家によるヒューマン・レイター（評価者）がスコアリングしました。
- 信頼性: ヒューマン・インターレイター・リライアビリティ（ICC(2, k=3) = 0.85）は極めて良好です。
- 相関: 人間による深刻度ランキングは、LLMジャッジによるランキングと強く相関しています（ $\rho = 0.89$ ）。
- オーバーコール率: LLMジャッジは、人間（13.7%）と比較して、深刻度を過大評価（スコア2.0）する傾向があります（33.5%）。

2.4 統計分析

分布適合: 正の値のみを持つスコアに対して、5つの候補ファミリー（離散冪乗則、切断冪乗則、指数分布、ストレッチ指数分布、対数正規分布）を適合させます。
パラメータ推定: グリッド量子化されたスコアに対し、離散性補正を加えたAkiの公式を用いて、深刻度分布指数（ $b$ ）を推定します。
信頼区間: $b$ の信頼区間を決定するために、95%パーセンタイル・ブートストラップ（2,000回の再サンプリング）を使用します。

3. 主な貢献

非冗長性定理 (C1): 深刻度プロファイル（ $b$ ）とエラー率（ $\varepsilon$ ）が情報的に非冗長であることを示す理論的証明。経験的にも、 $I(b; \text{model} \mid \varepsilon) = 1.56$ ビットであり、モデル間の $b$ の分散のうち64.5%は $\varepsilon$ では説明できないことを示しています。
一致精度識別器 (C3): エラー率が同一であっても、 $b$ がモデルを区別するという主要な経験的知見。
深刻度メカニズムの分類学 (C4): 深刻度とともにエラーのメカニズムがカテゴリー的に変化することを示す、6つのカテゴリー（検索、捏造、増幅、推論、フォーマット、メタ認知）による分類。
スケーリング相関 (C5): モデルサイズと深刻度のテールの形状との関係に関する分析。
リソース公開 (C7): ERRORQUAKE-10Kベンチマーク、スコアリング・ツールキット、および分析コードの公開。

4. 主な結果

4.1 一致精度における識別

21のモデルによる210組のペアにおいて、人間によるコンセンサス・スコアリングに基づき、エラー率が一致している（ $|\Delta\varepsilon| < 0.05$ ）場合でも、85組のペアで $b$ の95%信頼区間が重複しませんでした。

例: DEEPSEEK-V3.2 と MINISTRAL-14B は、エラー率（ $\varepsilon = 0.586$ ）は同一ですが、テールの傾きが大きく異なります（ $\Delta b = 0.47$ ）。
堅牢性: この結果は、クロスドメイン・ジャックナイフ、異なるジャッジ集計ルール、および高いデュアル・ジャッジ・カバレッジを持つサブセットにおいても成立します。

4.2 分布の特性化

ヘビーテイル（重い裾）の性質: 21モデル中17モデルが、指数分布系ではないファミリー（ストレッチ指数分布または切断冪乗則）に最もよく適合し、離散的な深刻度グリッド上で「ヘビーテイル」（指数関数よりも減衰が遅い）が存在することを裏付けました。
操作的定義: ここでの「ヘビーテイル」とは、BIC（ベイズ情報量基準）で最良のファミリーが非指数分布であること、または上部ビン（ $M \ge 2.5$ ）の残差質量が指数分布による予測よりも大きいことを意味します。

4.3 スケーリング相関

デンスモデル: モデルサイズ（ログ・アクティブパラメータ）と $b$ 値の間には負の相関があります（ヒューマン・データにおいて $\rho_s = -0.86$ ）。
解釈: より大きなデンスモデルは、小さなミス（バルクの減衰が急峻）は少ないものの、相対的に高い割合で壊滅的な捏造（テールの減衰が緩慢）を犯します。
注記: この相関は、テールの傾きに特有のものです。バルクの減衰率は逆の方向に動きます。

4.4 メカニズムの分類学

深刻度のシフト: 低深刻度のエラー（0.5–1.0）は主に検索（retrieval）エラー（71%）です。高深刻度のエラー（2.0–4.0）は主に捏造（fabrication）（39%）です。
サイズの結合: 小規模モデル（3–9B）は44.7%の検索エラーを示しますが、大規模モデル（≥24B）は29.2%の捏造エラーを示します。大規模モデルにおける捏造へのシフトが、ヘビーテイルの原因となっています。

4.5 予測の限界

容易なティア（T1/T2）における $b$ の適合が、困難なティア（T4/T5）における壊滅的なエラー数を予測するという事前登録された仮説は、主要な基準を満たせませんでした。

結果: ランク相関は弱く（ $\rho_s = 0.443$ ）、絶対的な発生率の予測も失敗しました（21モデル中、予測できたものは0、17モデルが過小評価）。
理由: 困難なクエリは深刻度分布全体を上方へ押し上げる（レベルシフトを引き起こす）ため、相対的な傾きを捉えるグーテンベルク・リヒターの法則では、容易なデータからこれを外挿することはできません。

5. 意義と主張

本論文は、深刻度分布を精度とともに報告すべきであると主張しています。なぜなら、深刻度分布はエラー率では得られない識別的な情報を持っているからです。

情報的価値: 深刻度プロファイルは、エラー率の単なる冗長な言い換えではありません。エラー率が同一であっても、2つのモデルは、壊滅的な失敗のリスク（100万クエリあたりの期待壊滅的事象の数の差）において、桁違いに異なる可能性があります。
展開リスク: 深刻度分布を無視することは、不適切なリスク診断につながります。「ヘビーテイル（より低い $b$ ）」を持つモデルは、同じエラー率を持つ「ライトテイル」のモデルよりも、壊滅的な捏造のリスクが高いと言えます。
スケーリングのパラドックス: スケーリング則は全体的な精度を向上させる一方で、残存する失敗の構成（検索エラーから捏造へのシフト）を悪化させる可能性があり、これは標準的なエラー率では不可視の現象です。

著者らは、本研究を単一の数値によるリーダーボードではなく、高リスクな事実設定におけるモデル選択および監査のための診断ツールとして位置付けています。また、プロプライエタリな最先端モデルの除外、LLM生成クエリへの依存、および「微細なエラーから壊滅的エラーへの予測」タスクの失敗といった限界についても明記しています。