💬 NLP

Diverse, not Short: A Length-Controlled Data Selection Strategy for Improving Response Diversity of Language Models

本論文は、言語モデルにおける短い出力への系統的なバイアスを軽減し、品質を維持しながら様々なクリエイティブなタスクにおける応答の多様性と表現力を大幅に向上させる、長さ制御型のデータ選択戦略であるDiverse-NSを導入する。

原著者： Vijeta Deshpande, Debasmita Ghose, John D. Patterson, Roger Beaty, Anna Rumshisky

公開日 2026-02-02

📖 1 分で読めます☕ さくっと読める

原著者： Vijeta Deshpande, Debasmita Ghose, John D. Patterson, Roger Beaty, Anna Rumshisky

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

問題点：「短くて退屈」という罠

非常に才能のある書き手（大規模言語モデル）が、役に立ち、安全で、礼儀正しいように訓練されている場面を想像してみてください。あなたは彼に物語を書くよう頼みます。

問題は、彼が「完璧」かつ安全であろうとするあまり、テストを受ける緊張した学生のように振る舞い始めてしまったことです。彼らは、短い回答の方が優れた回答であると考えているため、長く書くことを恐れています。

なぜでしょうか？それは、彼らの作品を採点するために使われるツール（多様性指標）が壊れているからです。これらのツールは、30語のパラグラフよりも、たった3語の文章の方が「創造的」だと判断してしまう審判のようなものです。書き手はこのことに気づき、良い成績を取るために、短くて安全で、反復的な回答を出すようになりました。

著者らはこれを**「簡潔性バイアス（Brevity Bias）」**と呼んでいます。これは、味見役がプレーンな味付けしか好まないために、シェフがスパイスを足すのをやめてしまうようなものです。その結果、AIは創造性や表現力を失い、最終的にはすべてのAIの出力が全く同じようになってしまいます（これは「モデル崩壊」と呼ばれる現象です）。

解決策：「短さではなく、多様性を（Diverse, not Short / Diverse-NS）」

著者らは、壊れた採点システムを修正するための新しいトレーニングプログラムである、**「Diverse, not Short (Diverse-NS)」**という新しい戦略を生み出しました。これは、書き手に対する新しい教育プログラムだと考えてください。

その仕組みは以下の通りです。

「二つの下書き」ゲーム：
研究者たちは、AIに物語を2回書かせます。
- 下書きA： AIが自然に書くもの（デフォルトの、しばしば退屈なスタイル）。
- 下書きB： AIに対し、「より面白く、変化に富んだものにせよ。ただし、下書きAと全く同じ長さ（文字数）を維持せよ」という特定のルールを与えて書き直させます。
「公平な審判」フィルター：
通常、創造性を求めると文章は長くなります。しかし、研究者たちは厳格なルールを設けました。もし下書きBが下書きAよりも長くなったら、その下稿は破棄する。
彼らは、「よりクリエイティブな」バージョンが「退屈な」バージョンとほぼ同じ長さであるペアのみを残します。これにより、AIにこう教え込みます。「言葉数を増やさなくても、創造的になれるのだ」と。
「小さな先生」のトリック：
研究者たちは驚くべき発見をしました。より小さく安価なAIモデル（例：70億パラメータのモデル）が、より大きく高価なモデル（例：130億パラメータのモデル）に対して「多様性の先生」として機能できるということです。
- 比喩： 地元の小規模で勢いのあるアーティストが、有名な大作スタジオに、よりユニークな絵の描き方を教えている様子を想像してください。その小さなアーティストは、ルールを創造的に破る方法を知っており、大作スタジオは彼らから学びます。これにより、多大な費用と計算資源を節約できます。

結果：味はそのままに、ボリュームも維持

研究者たちは、これら4つの異なる創造的タスクでテストを行いました。

拡散的連想（Divergent Associations）： 互いに非常に異なる単語を列挙すること。
ペルソナ生成（Persona Generation）： ユニークなキャラクター設定（名前、職業、都市）を作成すること。
用途の転換（Alternate Uses）： 一般的な物体（レンガなど）の奇妙な使い方を考えること。
クリエイティブ・ライティング（Creative Writing）： 3つのランダムな単語を使って短い物語を書くこと。

何が起きたのか？

より高い多様性： 「Diverse, not Short」で訓練されたモデルは、より多様で興味深い出力を行いました。よりユニークな単語やアイデアを使用しました。
品質の損失なし： 通常、多様性を高めようとすると、品質が低下します（例えば、めちゃくちゃで混沌とした物語になるなど）。しかし、ここでは品質が維持されました。場合によっては、むしろ向上しました。
効率性： この新しいスキルを教えるために、わずか3,000の例しか必要としませんでした。これは、学生に数年かけて教える代わりに、数時間で教えるようなものです。

新しいツール：「ダイバーシティ・デシル（Diversity Decile）」

著者らはまた、従来の創造性を測定するツールは長い回答に対して不公平であることにも気づきました。そこで、彼らは**「ダイバーシティ・デシル（Diversity Decile）」**という新しい定規を発明しました。

比喩： あるレースを想像してください。古い定規は、走る速さだけを測っていましたが、一部のランナーが重いバックパック（長いテキスト）を背負い、他のランナーは背負っていないことを無視していました。
新しい定規： 「ダイバーシティ・デシル」は、同じサイズのバックパックを背負っている他のランナーと比較して、どれだけ速く走ったかを見ます。「この長い物語は、他の長い物語と比較して、どれほど創造的なのか？」と問いかけるのです。これにより、表現豊かな長い回答が正当に評価されるようになります。

まとめ

この論文は、AIモデルが短く反復的になってしまったのは、私たちが「創造性」を測定する方法が、図らずも簡潔さを報酬として与えてしまっているからだと主張しています。

Diverse, not Short という戦略を用いることで、著者らはモデルに対し、回答を長くすることなく創造的になる方法を教えました。彼らは以下の方法で行いました。

退屈なドラフトと、同じ長さのクリエイティブなドラフトを比較すること。
より小さく安価なAIを使用して、より大きなAIに多様性を教えること。
長い回答を不利にしない、より公平な創造性の測定ルール（定規）を作ること。

その結果、AIはより表現力豊かで、より創造的になり、かつ高品質でありながら、訓練コストも低く、高速に動作するようになりました。

技術要約: Diverse, not Short (Diverse-NS)

問題提起

アライメント技術（指示チューニングや選好最適化）は、大規模言語モデル（LLM）をより安全で有用なものにしてきたが、一方でモデルの出力の多様性を意図せず減少させてしまうことが多い。この多様性の減少は、創造的なアイデア創出を妨げ、出力の均質化を招き、モデルが自身のアライメント済み出力に対して繰り返し学習を行う際に「モデル崩壊」を引き起こす原因ともなる。

この問題における、しばしば見落とされがちな重要な交絡因子は、テキストの長さである。本論文は、標準的な多様性指標（エントロピーやタイプ・トークン比など）や、選好最適化に使用される報酬モデル（ArmoRMなど）において、短い出力に対して系統的なバイアスが存在することを主張している。これらの指標は、しばしば短い一節に対して高いスコアを付与するため、最適化を行うとモデルは表現力豊かになるのではなく、簡潔になることを促してしまう。この「簡潔さへのバイアス（brevity bias）」は、特に深みやニュアンスが求められるオープンエンドなタスクにおいて、モデルが本来育むべき創造性を損なうものである。

手法: Diverse, not Short (Diverse-NS)

著者らは、レスポンスの長さを一定に保ちながら、応答の多様性を向上させるために設計された、長さ制御型のデータ選択戦略である**Diverse, not Short (Diverse-NS)**を提案する。このフレームワークは、以下の3つの主要なステージを含む自己学習ループ内で動作する。

1. データ生成

著者らは、多様なレスポンスを引き出すために、創造的な執筆タスク（3つの特定の単語を含む5文の物語の生成）を利用する。

逐次プロンプティング (Sequential Prompting): 単一の推論ではなく、プロセスは2つのステップで行われる。まず、モデルが自然なレスポンス（ $r_1$ ）を生成する。次に、反復を減らし多様性を高めることを目的とした追加の制約を用いて、物語を書き直すようモデルに指示し、第2のレスポンス（ $r_2$ ）を生成させる。
規模: このプロセスにより、LLaMA-3.1-8BおよびOlmo-2-7Bの両方に対して、(prompt, $r_1$ , $r_2$ ) の20万個のタプルが生成される。

2. データフィルタリング (中核となる革新)

Direct Preference Optimization (DPO) 用の高品質な選好ペアを作成するために、著者らは生成されたデータを、以下の4つの厳格な基準に従って順次フィルタリングする：

品質の閾値: $r_2$ の品質は、 $r_1$ の全品質スコアの50パーセンタイル以上でなければならない。
品質の向上: $r_2$ の品質は、 $r_1$ よりも厳密に高くなければならない。
多様性の向上: $r_2$ の多様性は、 $r_1$ よりも厳密に高くなければならない。
長さの等価性 (Length Parity): $r_1$ と $r_2$ の単語数の絶対差は、5単語以内でなければならない。

この長さの制約は、より短く「容易な」多様なレスポンスが選択されるのを防ぐために極めて重要である。

指標: 主要な手法として、多様性にはエントロピーを、品質にはArmoRMスコアを使用する。
Diverse-NS-Lite: 計算コストを削減するため（エントロピーやArmoRMの計算には複数の推論パスを必要とするため）、著者らは軽量版を導入している。これは、エントロピーをタイプ・トークン比 (TTR)に、ArmoRMをMAASインデックスに置き換えたものであり、これらは分析において元の指標と最も高い相関を示した。

3. 選好チューニング

フィルタリングされたデータセットは、エントロピーの利得に基づいてソートされた3,000個の選好ペアに限定され、Direct Preference Optimization (DPO) を用いてベースモデルのファインチューニングに使用される。また、著者らは「スモール・トゥ・ラージ（小から大へ）」の転移についても調査しており、より小さなモデル（Olmo-7B）によって生成されたデータを使用して、より大きなモデル（Olmo-13B）を訓練している。

4. 長さ調整済み評価

評価におけるバイアスに対処するため、著者らは** $\Delta$ Diversity Decile ( $\Delta$ DD)**を導入する。

彼らは80万個の物語に基づいたデシルマップを構築し、レスポンスを単語数ごとにグループ化し、各長さに対する多様性の閾値を算出する。
評価時、新しいレスポンスは、その長さとマップに対する多様性スコアに基づいたデシルランクが割り当てられる。
$\Delta$ DDは、チューニングされたモデルのデシルスコアとベースモデルのスコアの差として計算され、多様性の向上が単に長さの増加によるアーティファクトではないことを保証する。

主な貢献

Diverse-NS 戦略: 長さのバイアスを明示的に制御することで、わずか3,000個の選好ペアを用いて LLaMA-3.1-8B および Olmo-2-7B のレスポンス多様性を大幅に向上させるデータ選択手法。
Diverse-NS-Lite: プロキシ指標（TTR および MAAS）を使用し、フルメソッドと同等の性能を達成しながら、フィルタリングコストを劇的に削減する計算効率の高いバリアント。
Small-to-Large Transfer: 小さなモデル（Olmo-2-7B）がより大きなモデル（Olmo-2-13B）の「多様性の教師」として効果的に機能できることを示す、低コストな多様性アライメントの証拠。
長さ制御型指標: テキストの長さに応じて多様性スコアを調整し、評価における簡潔さへのバイアスを防ぐDiversity Decileの導入。
データセットの公開: LLaMA-3.1-8B および Olmo-2-7B から生成された、6,000個の選好ペアからなる高品質なデータセット。

結果

著者らは、4つの創造的生成タスク（Divergent Associations (DAT)、Persona Generation (PGT)、Alternate Uses (AUT)、Creative Writing (CWT)）で手法を評価した。

多様性の向上: Diverse-NS および Diverse-NS-Lite は、すべてのタスクとモデルサイズにおいて、ベースモデルおよび DivPO（長さを制御しない最近の手法）を一貫して上回った。
- DAT および PGT タスクにおいて、これらの手法は、より多くのユニークな単語、名前、都市、および職業を生み出した。
- CWT において、Diverse-NS は最高の Divergent Semantic Integration (DSI) スコアと 4-gram 多様性を達成した。
統計的有意性: 独立した t 検定により、D-NS および D-NS-Lite がベースモデルおよび DivPO よりも有意に多様なレスポンスを生成することが確認された（D-NS vs. Base で p < 0.001）。D-NS と D-NS-Lite の差は統計的に有意ではなく、Lite バージョンの効率性が検証された。
品質の維持: 多様性と品質はしばしばトレードオフの関係にあるが、Diverse-NS はいくつかのケース（例：Olmo-7B および Olmo-13B）において品質を維持、あるいはわずかに向上させた。品質がわずかに低下した場合でも、絶対的な多様性の値はベースモデルを上回っており、人間による評価でも、多様性の向上が知覚可能であり好ましいものであることが確認された。
人間による評価: CWT におけるペア比較において、人間のアノテーターは、大多数のケースでベースモデルや DivPO よりも D-NS を好んだ（DivPO に対する勝率は最大 72.73%）。

意義と主張

本論文は、トレーニングデータの選択および多様性指標に内在する長さのバイアスを明示的に対処することで、Diverse-NS が品質を犠牲にすることなく、アライメント済み LLM の多様性を高めるための実用的かつスケーラブルなソリューションを提供すると主張している。

効率性: この手法は、非常に小さなデータセット（3k ペア）と最小限のトレーニング時間（単一 GPU で 2 時間未満）で、大幅な改善を実現する。
アクセシビリティ: 小さなモデルが多様性の教師として機能できることを示し、軽量なフィルタリングバリアントを提供することで、多様性を考慮したアライメントへのリソース障壁を下げている。
基礎的な転換: 著者らは、多様性の向上の失敗は、指標における未対処の簡潔さへのバイアスに起因している可能性があると述べている。彼らの研究は、多様性を簡潔さから切り離すことで、より表現力豊かな言語生成のための基礎を築くものである。

著者らは、単一の多様性指標への依存、単一のタスク（物語作成）への焦点、および単一ラウンドの自己学習の調査といった限界についても謙虚に言及している。彼らは、今後の研究として、マルチ指標最適化やマルチラウンドの自己学習を探索すべきであると示唆している。