💬 NLP

Lost in Sampling: Assessing Lexical Reachability in LLMs via the Word Coverage Score (WCS)

本論文は、大規模言語モデルにおける標準的なデコーディングサンプリングフィルタが、文脈的に適切かつ低頻度の人間の語彙を体系的に排除し、それによって語彙的多様性を抑制し生成テキストを均質化する意図せぬ検閲メカニズムとして機能することを示す指標として、語彙カバレッジスコア（WCS）を導入する。

原著者： Samer Awad, Javier Conde, Carlos Arriaga, Tairan Fu, Javier Coronado-Blázquez, Pedro Reviriego

公開日 2026-05-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Samer Awad, Javier Conde, Carlos Arriaga, Tairan Fu, Javier Coronado-Blázquez, Pedro Reviriego

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大な無限の図書館に座る熟練の物語語りとして、大規模言語モデル（LLM）を想像してみてください。この図書館には、"the" や "and" のような一般的な単語から、「ephemeral（移ろいやすい）」や「petrichor（雨上がりの土の香り）」のような希少で洗練され、美しい単語に至るまで、人類の言語を構成するすべての単語が収められています。

この論文によれば、物語語り者が図書館全体にアクセスできるにもかかわらず、次の単語を選ぶ方法は、肩越しに立って非常に厳格で過保護な編集者がいるようなものです。この編集者は単に助けるだけでなく、能動的に道筋を遮断し、物語語り者が最も一般的で安全、そして退屈な単語のみを使用することを強要します。

以下は、この論文が示した発見を、簡単なアナロジーを用いて解説したものです。

1. 「分岐する道々の庭」

著者たちは、モデルの意思決定プロセスを、ホルヘ・ルイス・ボルヘスの有名な物語に例えています。そこでは、すべての可能な未来の道が同時に存在する庭が描かれています。

理想: この庭において、物語語り者は、曲がりくねった希少なものを含むあらゆる道を選び、独創的で色彩豊かな表現へと導くことができました。
現実: モデルの「サンプリングフィルター」（単語を選ぶための設定）は、チェーンソーのように機能します。物語語り者が興味深い希少な道を見ることさえも許さないうちに、チェーンソーがそれらをすべて切り倒してしまいます。モデルは、最も一般的な単語が存在する、広く舗装された主要道路だけを歩かされることになります。

2. 「語彙網羅スコア（WCS）：生存テスト」

これを証明するため、研究者たちは「語彙網羅スコア（WCS）」と呼ばれるテストを考案しました。

設定: 彼らは「ミドル・ロングテール」の単語のリストを取り上げました。これらは「the」ほど一般的ではありませんが、「flibber（意味のない言葉）」のような無意味な言葉でもありません。これらは人間の文章に風味と質感を与える単語です。
テスト: これらの単語を、人間が書いた実際の文章に組み込みました。そして、AI に次のように問いかけました。「あなたがこの文章を書いているとしたら、現在の設定でこの特定の単語を選ぶことは可能でしょうか？」
結果: 答えはしばしば「いいえ」でした。AI はその単語を知っていた（トレーニングデータに含まれていた）にもかかわらず、単語を選ぶために使用する数学的な規則（Top-p や Top-k など）が、その単語が選ばれることを数学的にブロックしていました。その瞬間、その単語は実質的に AI の語彙から「消去」されたのです。

3. 「アライメント」の罠

論文は、AI を「より安全で有益にする」（アライメントまたはインストラクションチューニングと呼ばれるプロセス）ことが、実際にはこの問題を悪化させたことを発見しました。

アナロジー: 多様な色を使う野生で創造的な芸術家（「ベース」モデル）を想像してください。その後、マネージャー（「アライメント」プロセス）が芸術家に、「顧客が最も好む色に絞りなさい」と伝えます。
結果: 芸術家はさらに少ない色の数を使うようになります。論文でテストされた「インストラクト」または「アライメント」済みのモデルは、生の未チューニング版よりも多くの単語を消去しました。それらはさらに均質化し、平坦で反復的な口調を話すようになりました。

4. 「デフォルト設定」の問題

研究者たちは、チャットやメール作成などの日常的な使用のために企業が推奨する設定を確認しました。

発見: これらの標準的な設定の下では、「ミドル・ロングテール」の単語の大きな塊（モデルによっては 22% から 57% の間）が完全に到達不能となっていました。
比喩: 料理人にエキゾチックなスパイスでいっぱいのキッチンを与えながら、「塩、コショウ、ケチャップしか使ってはいけない」と伝えるようなものです。料理人はサフランやトリュフオイルが何であるかを知っていても、キッチンの規則がそれらを使用することを阻止します。

5. 長期的な危険性：「平坦化」された世界

論文は、危険なサイクルについて警告しています。

サイクル: AI モデルが一般的な単語のみを使用するテキストを生成し始め、その後に生成された AI テキストに基づいて将来の AI モデルがトレーニングされると、「希少な」単語はトレーニングデータから完全に消滅してしまいます。
結果: 「分岐する道々の庭」は最終的に、単一で直線的で退屈な廊下へと変わってしまいます。人間の言語の豊かで多様な質感は、均質で反復的なスラッジへと恒久的に平滑化されてしまう可能性があります。

まとめ

この論文は、AI テキストを「一貫性があり」「安全にする」ために使用するツールが、偶然にも検閲として機能していると主張しています。それらは、人間の言語の独創的で希少で表現力豊かな部分を数学的に剪定し、安全で一貫性はあるが、信じられないほど退屈な英語のバージョンを残しています。著者たちは、この「庭」を生き生きとさせ、多様な道で満たすために、モデルから単語を選ぶ方法を再考する必要があると提案しています。

技術的サマリー：サンプリングにおける迷走

問題提起

現代の大規模言語モデル（LLM）は、しばしば均質で反復的であり、人間の談話に見られる語彙的豊かさに欠けるテキストを生成する。これまでの研究では、この「モード崩壊」をモデルの整合化技術（RLHF や DPO など）や訓練データの限界に帰因してきたが、本論文では「デコーディング機構」が言語的多様性を抑制する役割を調査する。著者らは、標準的なサンプリングフィルタ（Top-p、Top-k、Min-p など）が、低頻度かつ高情報量の単語を生成経路から数学的に排除する過激な剪定メカニズムとして機能し、それらの単語がモデルの潜在確率空間内に存在する場合であっても、それを排除すると主張する。その結果、モデルの運用語彙が人為的に制限される「構造的崩壊」が生じ、独自の人間の表現が均質化された談話へと平滑化される。

手法：語彙カバレッジスコア（WCS）

サンプリングフィルタが文脈的に適切な語彙をどの程度剪定するかを定量化するため、著者は「語彙カバレッジスコア（WCS）」を導入する。この指標は、サンプリングパラメータの関数として、人間の単語の「語彙生存率」を測定する。評価は、4 段階の「強制経路監査」に従って行われる：

語彙選択: Google Web Trillion Word コーパスから「ミドル・ロングテール」の単語のターゲットセットが選択される。これらの単語は、一般的な機能語や極めて稀なノイズを避けるため、頻度順位で 10,000 位から 40,000 位の間でランク付けされる。
文脈ペアリング: ターゲット単語は、PG-19 データセット（1919 年以前に出版された書籍）から抽出された自然な文脈にマッピングされる。これにより、現代のウェブクロールによる均質化から自由な、言語的に豊かで人間が作成した環境内での評価が保証される。
強制経路監査: 各単語 $w$ $w$ （サブワードトークン $t_1, \dots, t_n$ $t_{1}, \dots, t_{n}$ で構成）と文脈 $C$ $C$ について、モデルに真の接頭辞が提供される。サンプリングを行う代わりに、システムは真のトークンの順位と確率を記録する。監査は、これらのトークンが特定のサンプリングアルゴリズムの剪定ロジックを生き延びるかどうかを判定する：
- Top-k 生存: トークンは、最も確率の高い上位 $k$ 位以内でなければならない。
- Top-p（ヌクレウス）生存: トークンは、累積確率が閾値 $p$ に達する最小のトークン集合に属さなければならない。
- Min-p 生存: トークンの確率は、最大トークン確率のスケールされた分数 $m$ を超えなければならない。
指標計算: WCS は、ターゲット単語セット $W$ とそれらの文脈全体における到達可能性（ $R$ ）の集計平均として計算される。単語が「カバード（網羅）」とみなされる（ $R=1$ ）のは、構成するすべてのトークンがそれぞれのステップでフィルタを生き延びた場合に限られる。

実験設定

本研究では、200 億パラメータ未満のオープンウェイトモデルを評価し、Base（生）バリアントとInstruct/It（整合化）バリアントを比較した。モデルファミリーには、Llama、Mistral、Qwen、Gemma、DeepSeek が含まれる。実験ではサンプリングパラメータを体系的にスweepした：

Top-p: 0.7 から 0.99
Top-k: 1 から 20
Min-p: 0.01 から 0.1
Temperature: 0.7、1.0、1.5

評価は、単語あたり 10 の文脈にわたって到達不可能となる単語の割合（ $WCS(\theta, w) = 0$ ）に焦点を当て、実質的に「単語抹消」を測定した。

主要な結果

システム的な単語抹消: 業界標準のデフォルト設定（例：Top-p $\approx$ 0.8–0.95、 $T \approx$ 0.7）の下では、ターゲット単語の significant な割合（22% から 57%）が、いかなる文脈においても完全に到達不可能となる。例えば、Gemma-4-E4B-it モデルはデフォルト設定下でターゲット単語の 57% を抹消した。
整合化の影響: インストラクションチューニング（整合化）されたモデルは、一般的にベースモデルよりも低い語彙到達可能性を示す。一致するペア全体で、単語レベルの平均到達可能性は 0.740（Base）から 0.728（Instruct）に低下し、集計 WCS は 0.290 から 0.277 に減少した。これは、好意最適化プロセスが直接使用可能な語彙空間を直接制限することを示唆している。
蒸留の欠陥: DeepSeek-R1-Distill-Qwen-14B モデルは、ベースモデルである Qwen2.5-14B と比較して著しい語彙の損失を示し、構造化された推論能力の蒸留が語彙へのアクセスに追加的な制約をもたらすことを示している。
高温設定の非効率性: 過激な高温設定（ $T=1.5$ ）であっても、ターゲット単語を選択しない文脈の割合は依然として相当数存在し、単に温度を上げても語彙的多様性が完全に回復せず、しばしば一貫性を損なうことを示している。
モデル固有のばらつき: ほとんどのファミリーが整合化後に多様性の低下を示したが、Gemma ファミリーは非均一なパターンを示した。Gemma-3-12B-it はベースモデルより改善したが、Gemma-4-E4B-it は深刻な侵食を被り、整合化の影響はアーキテクチャと訓練の反復によって異なることを浮き彫りにした。

意義と主張

本論文は、標準的なサンプリングのデフォルト設定が、トークンが選択される前にモデルの潜在確率空間の比喩である「分岐する路の庭」を数学的に剪定する「意図せざる検閲メカニズム」として機能すると主張する。WCS はこの現象を定量化するための厳密な診断ツールを提供し、LLM 出力の均質化が訓練データや整合化の結果のみならず、デコーディングフィルタによって構造的に強制されていることを明らかにする。

著者らは、この語彙の侵食が言語進化に対して長期的なリスクを伴うと論じる。モデル生成テキストが公共リポジトリを埋め尽くし、将来のモデルの訓練データとなるにつれて、この平坦化された談話の再帰的な取り込みが、活発な人間の語彙を永続的に制限し、多様な表現の「ロングテール」を消し去る可能性がある。論文は、語彙の多様性を維持するには、語彙の広さを事実の正確性と同等の中核的なアーキテクチャ目標として扱い、表面的なパラメータではなく、ノイズと文脈的に豊かで低頻度の語彙を区別できるセマンティックガイド付きデコーダを開発するというパラダイムシフトが必要であると結論づける。

限界

著者はいくつかの制約を認めている：

範囲: 本研究は 200 億パラメータ未満のオープンウェイトモデルと英語のみに限定されている。
データバイアス: 文脈は 1919 年以前の文献（PG-19）から抽出されており、歴史的バイアスをもたらすが、これは現代のウェブによる均質化を回避する。
二値指標: WCS は絶対的な排除（ $R=0$ または $1$）を測定し、単語が到達可能だが確率が著しく減衰する「ソフトな侵食」を捉えるものではない。
トークナイザーのばらつき: モデルファミリー間でのサブワードトークナイゼーションの違いにより、単一の単語に対するフィルタリングステップ数が異なり、直接比較性に影響を与える。
静的文脈: 監査は固定された 256 トークンの接頭辞を使用し、長距離依存性を評価していない。