💬 NLP

HERMES: A Multi-Granularity Labeling Substrate for Pre-training Data Mixtures

HERMESは、学習された意味論的変換と残差ベクトル量子化を用いる、再利用可能なデータ由来の階層的ラベル付け基質を導入しており、これにより、固定粒度の手法ではテスト不可能な、様々な解像度にわたる最適なデータ混合戦略の発見を可能にするマルチ粒度コードで文書を注釈付けする。

原著者： Ziyun Qiao, Yue Min, Ruining Chen, Yujun Li

公開日 2026-07-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ziyun Qiao, Yue Min, Ruining Chen, Yujun Li

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大なロボット（AI）に、膨大な量の本、ウェブサイト、記事を読み込ませることで、言葉や思考を教えようとしている場面を想像してみてください。大きな疑問は、どれだけのデータを読み込ませるかではなく、「どの本を選ぶか」、そして「どのような順番で読み込ませるか」です。

この論文は、ある特定の課題を解決するための新しいツール、HERMESを紹介しています。その課題とは、**「この混沌としたライブラリをどのように整理すれば、ロボットに最適なトピックの混合比率を学習させることができるのか？」**という問題です。

以下に、簡単な比喩を用いて解説します。

1. 問題点：「一律のラベル」という限界

巨大な書類の山が混ざり合っているところを想像してください。ロボットに教えるためには、それらをグループに分類する必要があります。

従来の方法： 「科学」「歴史」「料理」といった、あらかじめ用意されたカテゴリーのリストを使うかもしれません。しかし、これらは硬直的です。もし「科学」をもっと詳細に調べたいと思っても、単にズームインすることはできず、古いリストを捨ててゼロから新しいリストを作り直さなければなりません。
ボトルネック： 論文では、問題はロボットの学習能力（「ミキサー」）にあるのではなく、ラベル付けのシステム自体にあると主張しています。そのシステムがあまりにも硬直的なのです。

2. 解決策：HERMES（ラベルの「ロシアのマトリョーシカ」）

HERMESは、ライブラリ内のすべての文書に対して、一度だけラベルを付ける新しい方法です。しかも、一度ラベルを付ければ、本を並べ直すことなく、いつでも好きなだけ「ズームイン」したり「ズームアウト」したりできる仕組みになっています。

HERMESを、ロシアのマトリョーシカ、あるいは階層的な住所システムのように考えてみてください。

レベル1（大きな箱）： すべての文書に、「音楽」や「料理」といった広いラベルが付与されます。これには約256個の大きな箱があります。
レベル2（中くらいの箱）： 「音楽」の中にズームインすると、「ロック」「ジャズ」「ヒップホップ」といったサブグループが見えてきます。これには約65,000個あります。
レベル3（小さな箱）： 「ヒップホップ」の中にさらにズームインすると、特定のアーティストや時代まで細分化されます。これには約130,000個の小さなグループがあります。

魔法のトリック： 複数の仕分けマシンを走らせる必要はありません。仕分けマシンを一度実行するだけで済みます。「ズームレベル」とは、単にアドレスの数字をいくつ読むかという問題に過ぎません。

1桁だけ読めば、広範な「音楽」カテゴリーが得られます。
3桁読めば、特定の「1990年代のヒップホップ」カテゴリーが得られます。

これにより、膨大な計算資源を節約できます。ライブラリのラベル付けは一度で済むのに、異なる詳細度での実験を即座に行うことができるからです。

3. 発見：重要なのは「最高のグループ」ではなく、「適切なズーム」である

研究者たちは、これを10億パラメータのAIモデルでテストしました。そこで、2つの驚くべき発見がありました。

発見A：「ゴルディロックス（適温）」ゾーン
彼らは、グループから本を選ぶ方法として、2つの異なるアプローチを試しました。

「全方位カバー」アプローチ： いくら小さくても、あるいは品質が低くても、あらゆるサブグループから少しずつ本を選ぶ方法。
「最高品質」アプローチ： 各サブグループの中で、上位30%の最も優れた本だけを選ぶ方法。

結果： 中間レベルのズーム（レベル2、65,000のグループ）において、「最高品質」アプローチを採用したことで、ロボットは著しく賢くなりました。グループが十分に大きかったため、「最高の」本を選ぶという行為が実際に意味を成し、学習効果が高まったのです。

発見B：「小さすぎる」罠
しかし、最も細かいレベル（レベル3、130,000の極小グループ）にズームインすると、「最高品質」アプローチは機能しなくなりました。

なぜか？ グループが小さくなりすぎたため、中にある本がほんの数冊しかなくなってしまったからです。わずか5冊の本の中から「最高の1冊」を選ぼうとするのは、5人しかいないチームから「最高の選手」を選ぼうとするようなものです。その差は微々たるものであり、運悪く質の低いものを選んでしまうリスクもあります。
教訓： 無限にズームインし続けることはできません。グループが詳細でありながら、かつ選択肢として十分な規模を保っている、という「スイートスポット（最適解）」が存在するのです。

4. 結論：データの考え方を変える

論文は、HERMESが単なる優れた分類アルゴリズムではないと結論付けています（全体的な視点で見れば、標準的な分類方法とほぼ同等の性能を発揮します）。

HERهِMESの真の価値は、データの整理を「スイッチ」ではなく「ダイヤル」に変えたことにあります。

以前は： 「粗いラベル」か「細かいラベル」かのどちらかを選び、それに固執しなければなりませんでした。
現在は： 単一のラベル付けシステムを使用しながら、「粒度のダイヤル」を調整することで、特定のAI学習ニーズに最適なバランスを見つけ出すことができます。

要約すると、HERMESは研究者に柔軟で再利用可能なデータの地図を提供し、高品質なデータ選択がAIの知能を実際に向上させる「完璧なズームレベル」を見つけ出すことを可能にするのです。

技術要約: HERMES: 事前学習データ混合のためのマルチグラニュラリティ・ラベル基質

1. 問題提起

大規模言語モデル（LLM）の事前学習における現在のデータ混合戦略は、混合アルゴリズムそのものではなく、ラベルシステムにおいてボトルネックに直面しています。既存のアプローチは通常、コーパスを固定されたタクソノミー（プロベナンス、トピック、フォーマット）や平坦な埋め込みクラスター（例：KMeans）を用いてグループ化します。これらの手法には、主に以下の3つの制限があります：

単一の粒度／軸: これらは単一のセマンティック軸と固定された解像度に固執します。粒度を変更する場合（例：広範なトピックから微細なクラスターへ）、ラベルセット全体を再構築する必要があります。
再計算コスト: 平坦なクラスタリング手法（KMeansなど）は、クラスター数（ $K$ ）を変更するために再計算を必要とするため、粒度の系統的なスイープを行うには計算コストが高く、断片的になります。
柔軟性の欠如: グループの選択がミキサーが表現できる内容を規定してしまい、データの解像度とサンプリング戦略の間の相互作用をテストする能力を制限します。

著者らは、ボトルネックはミキサーの機構ではなく、ラベル付けのインフラストラクチャにあると主張しています。実務者が再クラスタリングを行うことなく、階層的な粒度をナビゲートできる、再利用可能なデータ由来の基質（substrate）が必要です。

2. 手法: HERMES

HERMES（Hierarchical Embedding-based RVQ for Mixture Selection）は、文書に粗いものから細かいものへのコードを付与するために設計された、ワンショットの階層的ラベル基質です。これは主に2つのステージで構成されます。

A. 学習済みセマンティック変換 (Learned Semantic Transform: LST)

量子化のために埋め込みを準備するため、HERMESは学習済みセマンティック変換を採用しています。

入力: 事前学習済みエンコーダーからの凍結された文書埋め込み（ $e_i \in \mathbb{R}^{1024}$ ）。
メカニズム: 正規化を伴う単一の線形層（ $h_i = \text{normalize}(W e_i + b)$ ）が埋め込み空間を回転させます。
学習目的: この変換は、以下の3つの損失を最適化するために、量子化コードブックと共に共同で訓練されます：
1. ペアワイズ構造保存 (Pairwise Structure Preservation): 生の埋め込みと変換後の埋め込みの間のコサイン幾何学を維持します。
2. 量子化を考慮した再構成 (Quantization-Aware Reconstruction): ベクトル量子化器の再構成誤差を最小化します。
3. 直交性 (Orthogonality): 変換行列 $W$ の近接直交性を強制することで、表現の崩壊を防ぎます。

B. 3ステージ残差ベクトル量子化 (3-Stage Residual Vector Quantization: RVQ)

変換された埋め込み（ $h_i$ ）は、カスケード式の3ステージRVQによってエンコードされます。

アーキテクチャ: 3つの連続するベクトル量子化器で構成され、各コードブックのサイズは $K=256$ です。
プロセス:
1. ステージ1 (粗い): $h_i$ をエンコードして最も近いセントロイド $c_1$ を見つけ、残差 $r_2 = h_i - q_1$ を生成します。
2. ステージ2 (中間): $r_2$ をエンコードして $c_2$ を見つけ、残差 $r_3$ を生成します。
3. ステージ3 (細かい): $r_3$ をエンコードして $c_3$ を見つけます。
出力: 各文書は階層的なコード $(c_1, c_2, c_3)$ を受け取ります。
粒度の制御: 粒度はコードのプレフィックス長によって定義されます：
- L1: コード $(c_1)$ $\rightarrow$ 256個のバケット。
- L12: コード $(c_1, c_2)$ $\rightarrow$ 約65k個のバケット。
- L123: コード $(c_1, c_2, c_3)$ $\rightarrow$ 公称値 $1.67 \times 10^7$ に対して、観測されたバケット数は約130k個。

C. サンプリング・タクソノミー

本論文では、HERMES基質上で動作する2つのステージの合成としてサンプラーを定義しています。

ステージ1 (外部重み): L1の祖先（ancestors）に重みを割り当てます。論文ではUniform（最大エントロピー）またはDoReMi（プロキシモデルに対するGroup-DRO）を使用しています。
ステージ2 (サブバケット・サンプラー): L1の祖先内での適格性と選択を決定します。
- 質量分布: 等価（最大エントロピー）対サイズ比例。
- 文書ごとの適格性: すべての文書対サブバケット内の品質スコア（FineWeb-Edu）による上位30%。

3. 主な貢献

HERMES 基質: 約5,000万の文書を最大約13万のセルに注釈付ける、ワンショットの階層的RVQシステムです。これは、解像度を変更する際に再クラスタリングを必要とせずに、単一の訓練済みコードブックスタック上のプレフィックス長として粒度を露出させます。
粒度とサンプラーの相互作用: サンプリング規則（例：品質ベースの選択）の有効性は、粒度のレベルに依存することを著者らは示しています。
候補競争の診断 (Candidate Competition Diagnostic): 粒度を上げると候補プールが縮小し、バケット内ランキングが不安定になるという構造的な限界を特定しています。

4. 実験結果

実験は、16のタスク能力のマクロ平均（Avg.）で評価された、25Bトークンで訓練された1BパラメータのLLaMA型モデルに対して行われました。

A. クラスタリングのプラトー (L1=256)

知見: 最も粗い粒度（L1=256）において、HERMESは標準的なクラスタリング手法（KMeans, MiniBatchKMeans, Plain RVQ）と同等の性能を示しました。
指標: 固有の指標（コンパクトネス、質量バランス、エントロピー）において、HERMESは他の256ウェイ・クラスタラーと同じプラトー上に位置しています。
ダウンストリーム: Uniform + L1 max-entropy サンプラーと組み合わせた場合、HERMESとKMeansの差はわずか 0.0002 でした。
含意: HERMESの性能向上は、それが優れたクラスタリングアルゴリズムであることによるものではなく、むしろその「基質」によるものです。

B. 知見A: 中間粒度におけるステージ2ルール (L12)

設定: 固定されたDoReMi L1外部重み、固定されたHERMESコードブック、粒度はL12（約65kバケット）。
比較: ステージ2のサンプラーを、最大エントロキシー・カバレッジ（等価なサブバケット質量、全文書）から品質上位30%（サイズ比例質量、FineWeb-Eduスコアによる上位30%）に切り替えました。
結果: この切り替えにより、16タスクのAvg.が +0.0253（zスコア +2.09）向上しました。
解釈: L12において、サブバケットは十分に大きく（中央値のプールは約2,271文書）、品質ランキングがグローバルな品質の安定したプロキシとなっています。

C. 知見B: 微細な粒度における崩壊 (L123)

設定: L123（約130kバケット）において、同じルールを適用。
観察: 中央値の候補プールは、L12（2,271文書）からL123（429文書）へと 5.3倍 収縮しました。
結果: 品質上位30%ルールの優位性が失われました。品質上位30%とローカルランダムカバレッジの間の性能差は +0.0002（0.3988 vs. 0.3986）に縮まり、単一シード評価の下では統計的に区別がつかない状態になりました。
含意: これは**候補競争（candidate competition）**の仮説を支持しています。サブバケットが小さくなりすぎると、バケット内のランキングはもはやグローバルな品質の信頼できるプロキシではなくなり、品質ベースの選択のメリットを打ち消してしまいます。

D. 最良の構成

スイープにおける最高性能の構成は、DoReMi-L1 外部重み + L12 品質上位30% (corrected reader) であり、Avg. 0.4222 を達成しました。

5. 意義と主張

本論文は、HERMISがデータ混合設計を再定義するという控えめな主張を行っています。その主な意義は、「固定されたラベルセットの中から選ぶ」ことから、「再利用可能なデータ由来の粒度階層をナビゲートする」ことへと焦点を移した点にあります。

クラスタラーよりも基質: 貢献は、粒度を（クラスタリング性能そのものではなく）自由な変数（ダイヤル）として扱えるインフラストラクチャです。
共同決定: 粒度とステージ2のサンプラーは、共に決定される軸です。ある粒度（L12）で機能するルールは、候補プールサイズのような構造的制約により、別の粒度（L123）では機能しない可能性があります。
限界: 著者らは、結論が内部コーパスを用いた1B/25Bのレジームに限定されていることを認めています。最適な粒度の深さは「候補競争」によって制限されており、これはより大きなモデルやコーパスでは変化する可能性があります。また、最適なステージ2ルール（L12 品質上位30%）における外部重みの選択（DoReMi vs Uniform）については、完全なクロスバリデーションは行われていないことも述べています。

要約すると、HERMESはデータ粒度を連続的で調整可能なパラメータとして扱うメカニズムを提供し、データ選択戦略の有効性が、基礎となるラベルシステムの解像度と本質的に結びついていることを明らかにしています。