💬 NLP

HERMES: A Multi-Granularity Labeling Substrate for Pre-training Data Mixtures

HERMES introduit un substrat de labellisation hiérarchique réutilisable et dérivé de données qui utilise des transformations sémantiques apprises et la quantification vectorielle résiduelle pour annoter des documents avec des codes à multi-granularité, permettant la découverte de stratégies de mélange de données optimales à travers diverses résolutions que les méthodes à granularité fixe ne peuvent tester.

Auteurs originaux : Ziyun Qiao, Yue Min, Ruining Chen, Yujun Li

Publié 2026-07-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ziyun Qiao, Yue Min, Ruining Chen, Yujun Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot géant (une IA) à parler et à penser en le nourrissant d'une immense bibliothèque de livres, de sites web et d'articles. La grande question n'est pas seulement quelle quantité de données vous lui donnez, mais quels livres vous choisissez et dans quel ordre.

Ce document présente un nouvel outil appelé HERMES pour résoudre un problème spécifique : Comment organiser cette bibliothèque désordonnée pour que le robot apprenne le meilleur mélange possible de sujets ?

Voici la décomposition utilisant des analogies simples :

1. Le Problème : L'étiquette « Taille Unique »

Imaginez que vous avez un énorme tas de documents mélangés. Pour enseigner au robot, vous devez les trier en groupes.

L'ancienne méthode : Vous pourriez utiliser une liste de catégories préétablies comme « Science », « Histoire » ou « Cuisine ». Mais celles-ci sont rigides. Si vous voulez examiner la « Science » plus en détail, vous ne pouvez pas simplement zoomer ; vous devez jeter l'ancienne liste et en créer une toute nouvelle à partir de zéro.
Le goulot d'étranglement : Le document soutient que le problème n'est pas la capacité du robot à apprendre (le « mélangeur ») ; le problème est le système d'étiquetage lui-même. Il est trop rigide.

2. La Solution : HERMES (L'étiquette « Poupée Russe »)

HERMES est une nouvelle façon d'étiqueter chaque document de la bibliothèque une seule fois, mais d'une manière qui vous permet de « zoomer » ou de « dézoomer » autant que vous le souhaitez sans jamais avoir à retrier les livres.

Pensez à HERMES comme à un ensemble de poupées russes ou à un système d'adressage hiérarchique :

Niveau 1 (La Grande Boîte) : Chaque document reçoit une étiquette large, comme « Musique » ou « Cuisine ». Il y a environ 25 6 de ces grandes boîtes.
Niveau 2 (La Boîte du Milieu) : À l'intérieur de « Musique », vous pouvez zoomer pour voir des sous-groupes comme « Rock », « Jazz » ou « Hip-Hop ». Il y en a environ 65 000.
Niveau 3 (La Petite Boîte) : À l'intérieur du « Hip-Hop », vous pouvez zoomer encore plus loin pour atteindre des artistes ou des époques spécifiques. Il y a environ 130 000 de ces petits groupes.

Le tour de magie : Vous n'avez pas besoin de faire fonctionner trois machines de tri différentes. Vous faites fonctionner la machine de tri une seule fois. Le « niveau de zoom » n'est qu'une question de lecture du nombre de chiffres de l'adresse.

Lire 1 chiffre ? Vous obtenez la catégorie large « Musique ».
Lire 3 chiffres ? Vous obtenez la catégorie spécifique « Hip-Hop des années 1990 ».

Cela économise énormément de puissance de calcul car vous n'avez qu'à étiqueter la bibliothèque une seule fois, mais vous pouvez expérimenter différents niveaux de détail instantanément.

3. La Découverte : Il ne s'agit pas du « Meilleur » Groupe, mais du « Bon » Zoom

Les chercheurs ont testé cela sur un modèle d'IA de 1 milliard de paramètres. Ils ont découvert deux choses surprenantes :

Découverte A : La zone « Goldilocks » (Ni trop chaud, ni trop froid)
Ils ont testé deux manières différentes de choisir des livres parmi les groupes :

L'approche « Couvrir toutes les bases » : Prendre quelques livres de chaque sous-groupe, peu importe la taille ou la faible qualité.
L'approche « Qualité Supérieure » : Ne choisir que les 30 % de meilleurs livres au sein de chaque sous-groupe.

Le résultat : Au niveau de zoom intermédiaire (Niveau 2, les 65 000 groupes), l'approche « Qualité Supérieure » a rendu le robot nettement plus intelligent. Il a mieux appris car les groupes étaient assez grands pour que le choix des « meilleurs » livres ait réellement un sens.

Découverte B : Le pièage du « Trop Petit »
Cependant, lorsqu'ils ont zoomé jusqu'au niveau le plus fin (Niveau 3, les 130 000 petits groupes), l'approche « Qualité Supérieure » a cessé de fonctionner.

Pourquoi ? Les groupes étaient devenus si petits qu'il n'y avait qu'une poignée de livres dedans. Essayer de choisir le « meilleur » livre dans un groupe de seulement 5 livres, c'est comme essayer de choisir le meilleur joueur d'une équipe de 5 personnes ; la différence est négligeable, et vous pourriez accidentellement choisir un mauvais exemplaire par pur hasard.
La leçon : On ne peut pas simplement zoomer indéfiniment. Il existe un « point idéal » où les groupes sont assez détaillés pour être utiles, mais assez grands pour offrir une bonne sélection de données de haute qualité.

4. La Conclusion : Une nouvelle façon de penser les données

Le document conclut que HERMES n'est pas seulement un meilleur algorithme de tri (il est d'ailleurs presque aussi performant que les méthodes de tri standard lorsqu'on regarde l'ensemble du tableau).

Sa véritable valeur est qu'il transforme l'organisation des données en un « cadran » plutôt qu'en un « interrupteur ».

Avant : Vous deviez choisir entre des « Étiquettes Grossières » ou des « Étiquettes Fines » et vous y tenir.
Maintenant : Vous pouvez utiliser un seul et même système d'étiquetage et ajuster le « cadran de granularité » pour trouver l'équilibre parfait pour vos besoins spécifiques d'entraînement d'IA.

En bref, HERMES offre aux chercheurs une carte flexible et réutilisable de leurs données, leur permettant de trouver le « niveau de zoom » parfait où la sélection de données de haute qualité améliore réellement la puissance cérébrale de l'IA.

Résumé Technique : HERMES : Un substrat de labellisation multi-granularité pour les mélanges de données de pré-entraînement

1. Énoncé du Problème

Les stratégies actuelles de mélange de données pour le pré-entraînement des LLM (Large Language Models) font face à un goulot d'étranglement dans le système de labellisation plutôt que dans les algorithmes de mélange eux-mêmes. Les approches existantes partitionnent généralement les corpus en groupes utilisant des taxonomies fixes (provenance, sujets, formats) ou des clusters d'embeddings plats (par exemple, KMeans). Ces méthodes souffrent de trois limitations principales :

Granularité/Axe unique : Elles s'engagent sur un seul axe sémantique à une résolution fixe. Changer la granularité (par exemple, passer de sujets larges à des clusters plus fins) nécessite de reconstruire l'ensemble des labels.
Coût de re-calcul : Les méthodes de clustering plat (comme KMeans) nécessitent un nouveau calcul pour changer le nombre de clusters ( $K$ ), ceant rendant les balayages systématiques de la granularité coûteux et disjoints sur le plan computationnel.
Inflexibilité : Le choix des groupes dicte ce qu'un mélangeur peut exprimer, limitant la capacité de tester les interactions entre la résolution des données et les stratégies d'échantillonnage.

Les auteurs soutiennent que le goulot d'étranglement est l'infrastructure de labellisation, et non la mécanique du mélangeur. Il existe un besoin pour un substrat réutilisable, dérivé des données, qui permette aux praticiens de naviguer dans une hiérarchie de granularités sans re-clustering.

2. Méthodologie : HERMES

HERMES (Hierarchical Embedding-based RVQ for Mixture Selection) est un substrat de labellisation hiérarchique en une seule étape (one-shot), conçu pour annoter des documents avec des codes allant du grossier au fin. Il se compose de deux étapes principales :

A. Transformée Sémantique Apprise (LST)

Pour préparer les embeddings pour la quantification, HERMES utilise une Transformée Sémantique Apprise.

Entrée : Embeddings de documents gelés ( $e_i \in \mathbb{R}^{1024}$ ) provenant d'un encodeur pré-entraîné.
Mécanisme : Une couche linéaire unique avec normalisation ( $h_i = \text{normalize}(W e_i + b)$ ) fait pivoter l'espace des embeddings.
Objectif d'entraînement : La transformée est entraînée conjointement avec les livres de codes (codebooks) de quantification pour optimiser trois pertes :
1. Préservation de la structure par paires : Maintient la géométrie cosinus entre les embeddings bruts et transformés.
2. Reconstruction sensible à la quantification : Minimise l'erreur de reconstruction du quantificateur vectoriel.
3. Orthogonalité : Empêche l'effondrement de la représentation en imposant une quasi-orthogonalité de la matrice de transformation $W$ .

B. RVQ à 3 étapes résiduelles

Les embeddings transformés ( $h_i$ ) sont encodés par une RVQ (Residual Vector Quantization) à 3 étapes en cascade.

Architecture : Trois quantificateurs vectoriels séquentiels, chacun avec une taille de codebook $K=256$ .
Processus :
1. Étape 1 (Grossière) : Encode $h_i$ pour trouver le centroïde le plus proche $c_1$ , produisant un résidu $r_2 = h_i - q_1$ .
2. Étape 2 (Intermédiaire) : Encode $r_2$ pour trouver $c_2$ , produisant un résidu $r_3$ .
3. Étape 3 (Fine) : Encode $r_3$ pour trouver $c_3$ .
Sortie : Chaque document reçoit un code hiérarchique $(c_1, c_2, c_3)$ .
Contrôle de la granularité : La granularité est définie par la longueur du préfixe du code :
- L1 : Code $(c_1)$ $\rightarrow$ 256 compartiments (buckets).
- L12 : Code $(c_1, c_2)$ $\rightarrow$ $\sim$ 65k compartiments.
- L123 : Code $(c_1, c_2, c_3)$ $\rightarrow$ $\sim$ 130k compartiments observés (sur un total nominal de $1.67 \times 10^7$ ).

C. Taxonomie d'échantillonnage

Le papier définit un échantillonneur comme une composition de deux étapes opérant sur le substrat HERMES :

Étape 1 (Poids extérieur) : Assigne des poids aux ancêtres L1. Le papier utilise Uniform (entropie maximale) ou DoReMi (group-DRO sur un modèle proxy).
Étape 2 (Échantillonneur de sous-compartiment) : Décide de l'éligibilité et de la sélection au sein des ancêtres L1.
- Distribution de masse : Égale (entropie maximale) vs Proportionnelle à la taille.
- Éligibilité par document : Tous les documents vs Top-30% par score de qualité (FineWeb-Edu) au sein du sous-compartiment.

3. Contributions Clés

Substrat HERMES : Un système de RVQ hiérarchique en une seule étape qui annote $\sim$ 50M de documents en jusqu'à $\sim$ 130k cellules. Il expose la granularité comme un préfixe sur une pile de codebooks entraînée, éliminant le besoin de re-clustering lors du changement de résolution.
Interaction Granularité-Échantillonneur : Les auteurs démontrent que l'efficacité d'une règle d'échantillonnage (par exemple, la sélection basée sur la qualité) dépend du niveau de granularité.
Diagnostic de Compétition de Candidats : Le papier identifie une limite structurelle où l'augmentation de la granularité réduit la taille du pool de candidats à un point tel que le classement au sein des compartiments devient instable.

4. Résultats Expérimentaux

Les expériences ont été menées sur un modèle de type LLaMA de 1 milliard de paramètres entraîné sur 25 milliards de tokens, évalué sur une macro-moyenne de 16 tâches (Avg.).

A. Le Plateau de Clustering (L1=256)

Constat : À la granularité la plus grossière (L1=256), HERMES est au même niveau que les méthodes de clustering standards (KMeans, MiniBatchKMeans, Plain RVQ).
Métriques : Sur les métriques intrinsèques (compacité, équilibre de masse, entropie), HERMES se situe sur un plateau avec les autres clusteriseurs à 256 voies.
Aval (Downstream) : Lorsqu'il est couplé à un échantillonneur Uniform + L1 max-entropy, HERmy et KMeans ne diffèrent que de 0.0002 en précision moyenne (Avg.).
Implication : Le gain de performance de HERMES n'est pas dû à un algorithme de clustering supérieur, mais bien au substrat lui-même.

B. Constat A : Règle d'Étape-2 à Granularité Intermédiaire (L12)

Configuration : Poids extérieurs DoReMi L1 fixes, codebook HERMES fixe, granularité à L12 ( $\sim$ 65k compartiments).
Comparaison : Passage de l'échantillonneur de l'étape 2 de la couverture max-entropy (masse égale des sous-compartiments, tous les documents) à la qualité top-30% (masse proportionnelle à la taille, top-30% par score FineWeb-Edu).
Résultat : Ce changement a augmenté la moyenne des 16 tâches de +0.0253 (z-score +2.09).
Interprétation : À L12, les sous-compartiments sont suffisamment grands (pool médian $\sim$ 2 271 documents) pour que le classement par qualité soit un proxy stable de la qualité globale.

C. Constat B : Effondrement à Granularité Fine (L123)

Configuration : Même règles appliquées à L123 ( $\sim$ 130k compartiments).
Observation : Le pool de candidats médian se contracte de 5.3x de L12 (2 271 docs) à L123 (429 docs).
Résultat : L'avantage de la règle de qualité top-30% s'effondre. L'écart de performance entre la règle qualité top-30% et la couverture aléatoire locale se réduit à +0.0002 (0.3988 vs 0.3986), ce qui est statistiquement indiscernable sous une évaluation à graine unique (single-seed).
Implication : Cela soutient l'hypothèse de la compétition de candidats : lorsque les sous-compartiments deviennent trop petits, le classement intra-compartiment n'est plus un proxy fiable de la qualité globale, annulant le bénéfice de la sélection basée sur la qualité.

D. Meilleure Configuration

La configuration la plus performante dans le balayage était Poids extérieurs DoReMi-L1 + Qualité top-30% L12 (lecteur corrigé), atteignant une moyenne de 0.4222.

5. Signification et Revendications

Le papier revendique modestement que HERMES recadre la conception du mélange de données. Sa principale importance réside dans le passage de "choisir parmi des ensembles de labels fixes" à "naviguer dans une hiérarchie de granularité réutilisable et dérivée des données".

Substrat plutôt que Clusteriseur : La contribution est l'infrastructure qui permet à la granularité d'être une variable libre (un cadran), et non la performance du clustering elle-même.
Détermination Conjointe : La granularité et l'échantillonneur de l'étape 2 sont des axes déterminés conjointement. Une règle qui fonctionne à une granularité (L12) peut échouer à une autre (L123) en raison de contraintes structurelles comme la taille du pool de candidats.
Limites : Les auteurs reconnaissent que les conclusions sont limitées à un régime 1B/25B sur un corpus interne. La profondeur de granularité optimale est bornée par la "compétition de candidats", qui peut varier avec des modèles et des corpus plus grands. Ils notent également que le choix du poids extérieur spécifique (DoReMi vs Uniform) pour la règle optimale de l'étape 2 (L12 qualité top-30%) n'a pas été entièrement validé de manière croisée (le test Uniform + L12 qualité top-30% n'a pas été effectué).

En résumé, HERMES fournit un mécanisme pour traiter la granularité des données comme un paramètre continu et ajustable, révélant que l'efficacité des stratégies de sélection de données est intrinsèquement liée à la résolution du système de labels sous-jacent.