Riepilogo Tecnico: HERMES: Un Substrato di Etichettatura Multi-Granularità per Miscele di Dati di Pre-training

1. Definizione del Problema

Le attuali strategie di miscelazione dei dati per il pre-training di Large Language Model (LLM) affrontano un collo di bottiglia nel sistema di etichettatura piuttosto che negli algoritmi di miscelazione stessi. Gli approcci esistenti suddividono tipicamente i corpora in gruppi utilizzando tassonomie fisse (provenienza, argomenti, formati) o cluster di embedding piatti (es. KMeans). Questi metodi soffrono di tre limitazioni primarie:

1. Singola Granularità/Asse: Si impegnano in un singolo asse semantico a una risoluzione fissa. Cambiare la granularità (es. da argomenti ampi a cluster fini) richiede la ricostruzione dell'intero set di etichette.
2. Costo di Ricalcolo: I metodi di clustering piatti (come KMeans) richiedono il ricalcolo per cambiare il numero di cluster ($K$), rendendo le analisi sistematiche della granularità computazionalmente costose e disgiunte.
3. Inflessibilità: La scelta dei gruppi detta ciò che un mixer può esprimere, limitando la capacità di testare le interazioni tra la risoluzione dei dati e le strategie di campionamento.

Gli autori sostengono che il collo di bottiglia sia l'infrastruttura di etichettatura, non il meccanismo del mixer. È necessario un substrato riutilizzabile, derivato dai dati, che permetta ai professionisti di navigare in una gerarchia di granularità senza ricalcolare il clustering.

2. Metodologia: HERMES

HERMES (Hierarchical Embedding-based RVQ for Mixture Selection) è un substrato di etichettatura gerarchica basato su RVQ, progettato per annotare documenti con codici da grossolani a fini. Consiste in due fasi principali:

A. Trasformata Semantica Appresa (LST)

Per preparare gli embedding per la quantizzazione, HERMES impiega una Trasformata Semantica Appresa.

• Input: Embedding di documenti congelati ($e_i \in \mathbb{R}^{1024}$) da un encoder pre-addestrato.
• Meccanismo: Un singolo strato lineare con normalizzazione ($h_i = \text{normalize}(W e_i + b)$) ruota lo spazio degli embedding.
• Obiettivo di Addestramento: La trasformata è addestrata congiuntamente con i codebook di quantizzazione per ottimizzare tre perdite:
  1. Preservazione della Struttura a Coppie: Mantiene la geometria del coseno tra gli embedding grezzi e quelli trasformati.
  2. Ricostruzione Consapevole della Quantizzazione: Minimizza l'errore di ricostruzione del quantizzatore vettoriale.
  3. Ortogonalità: Previene il collasso della rappresentazione imponendo la quasi-ortogonalità della matrice di trasformazione $W$.

B. RVQ a 3 Stadi (Residual Vector Quantization)

Gli embedding trasformati ($h_i$) sono codificati da un RVQ a 3 stadi in cascata.

• Architettura: Tre quantizzatori vettoriali sequenziali, ciascuno con una dimensione del codebook $K=256$.
• Processo:
  1. Stadio 1 (Grossolano): Codifica $h_i$ per trovare il centroide più vicino $c_1$, producendo un residuo $r_2 = h_i - q_1$.
  2. Stadio 2 (Intermedio): Codifica $r_2$ per trovare $c_2$, producendo il residuo $r_3$.
  3. Stadio 3 (Fine): Codifica $r_3$ per trovare $c_3$.
• Output: Ogni documento riceve un codice gerarchico $(c_1, c_2, c_3)$.
• Controllo della Granularità: La granularità è definita dalla lunghezza del prefisso del codice:
  • L1: Codice $(c_1)$ $\rightarrow$ 256 bucket.
  • L12: Codice $(c_1, c_2)$ $\rightarrow$ $\sim$65k bucket.
  • L123: Codice $(c_1, c_2, c_3)$ $\rightarrow$ $\sim$130k bucket osservati (su un nominale $1.67 \times 10^7$).

C. Tassonomia di Campionamento

Il paper definisce un sampler come una composizione di due stadi che operano sul substrato HERMES:

1. Stadio 1 (Peso Esterno): Assegna pesi agli antenati L1. Il paper utilizza Uniform (massima entropia) o DoReMi (group-DRO su un modello proxy).
2. Stadio 2 (Sampler di Sotto-bucket): Decide l'eleggibilità e la selezione all'interno degli antenati L1.
   • Distribuzione della Massa: Uguale (massima entropia) vs. Proporzionale alla dimensione.
   • Eleggibilità per Documento: Tutti i documenti vs. Top-30% per punteggio di qualità (FineWeb-Edu) all'interno del sotto-bucket.

3. Contributi Chiave

1. Substrato HERMES: Un sistema RVQ gerarchico one-shot che annota $\sim$50M di documenti in fino a $\sim$130k celle. Espone la granularità come prefisso su un singolo stack di codebook addestrato, eliminando la necessità di ricalcolare il clustering quando si cambia risoluzione.
2. Interazione Granularità-Sampler: Gli autori dimostrano che l'efficacia di una regola di campionamento (es. selezione basata sulla qualità) dipende dal livello di granularità.
3. Diagnostica della Competizione tra Candidati: Il paper identifica un limite strutturale dove l'aumento della granularità riduce la dimensione del pool di candidati a un punto in cui la classificazione entro il bucket diventa instabile.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su un modello stile LLaMA da 1B parametri addestrato su 25B token, valutato su una media macro delle capacità su 16 task (Avg.).

A. Il Plateau del Clustering (L1=256)

• Risultato: Alla granularità più grossolana (L1=256), HERMES performa in linea con i metodi di clustering standard (KMeans, MiniBatchKMeans, Plain RVQ).
• Metriche: Sulle metriche intrinseche (compattezza, bilanciamento della massa, entropia), HERMES si trova su un plateau con altri clusterizzatori a 256 vie.
• Downstream: Quando accoppiato con un sampler Uniform + L1 max-entropy, HERMES e KMeans differiscono solo di 0.0002 in accuratezza media.
• Implicazione: Il guadagno di prestazioni di HERMES non è dovuto ad essere un algoritmo di clustering superiore, ma al substrato stesso.

B. Finding A: Regola di Stadio-2 alla Granularità Intermedia (L12)

• Setup: Pesi esterni DoReMi fissi, codebook HERMES fisso, granularità a L12 ($\sim$65k bucket).
• Confronto: Passare dal sampler di stadio-2 a copertura max-entropy (massa uguale nei sotto-bucket, tutti i documenti) alla qualità top-30% (massa proporzionale alla dimensione, top-30% per punteggio FineWeb-Edu).
• Risultato: Questo passaggio ha aumentato la media dei 16 task di +0.0253 (z-score +2.09).
• Interpretazione: A L12, i sotto-bucket sono abbastanza grandi (pool mediano $\sim$2.271 documenti) affinché la classifica per qualità sia un proxy stabile della qualità globale.

C. Finding B: Collasso alla Granularità Fine (L123)

• Setup: Stesse regole applicate a L123 ($\sim$130k bucket).
• Osservazione: Il pool di candidati mediano si contrae di 5.3x da L12 (2.271 doc) a L123 (429 doc).
• Risultato: Il vantaggio della regola della qualità top-30% crolla. Il divario di prestazioni tra la regola qualità top-30% e la copertura casuale locale si riduce a +0.0002 (0.3986 vs 0.3986), statisticamente indistinguibile sotto valutazione a seed singolo.
• Implicazione: Ciò supporta l'ipotesi della competizione tra candidati: quando i sotto-bucket diventano troppo piccoli, la classificazione entro il bucket non è più un proxy affidabile della qualità globale, negando il beneficio della selezione basata sulla qualità.

D. Migliore Configurazione

La configurazione con le prestazioni più elevate nel sweep è stata DoReMi-L1 (pesi esterni) + L12 qualità top-30% (lettore corretto), raggiungendo una media di 0.4222.

5. Significato e Rivendicazioni

Il paper rivendica con modestia che HERMES riformula il design della miscela di dati. La sua importanza primaria risiede nello spostare il focus da "scegliere tra set di etichette fissi" a "navigare in una gerarchia di granularità riutilizzabile e derivata dai dati".

• Substrato sopra il Clusterer: Il contributo è l'infrastruttura che permette alla granularità di essere una variabile libera (un cursore), non la performance del clustering in sé.
• Determinazione Congiunta: Granularità e il sampler di Stadio-2 sono assi determinati congiuntamente. Una regola che funziona a una granularità (L12) può fallire a un'altra (L123) a causa di vincoli strutturali come la dimensione del pool di candidati.
• Limitazioni: Gli autori riconoscono che le conclusioni sono limitate a un regime 1B/25B su un corpus interno. La profondità di granularità ottimale è limitata dalla "competizione tra candidati", che potrebbe cambiare con modelli e corpora più grandi. Notano inoltre che la scelta del peso esterno (DoReMi vs Uniform) alla regola ottimale di Stadio-2 (L12 qualità top-30%) non è stata completamente validata incrociatamente (la run Uniform + L12 qualità top-30% non è stata eseguita).

In sintesi, HERMES fornisce un meccanismo per trattare la granularità dei dati come un parametro continuo e regolabile, rivelando che l'efficacia delle strategie di selezione dei dati è intrinsecamente legata alla risoluzione del sistema di etichettatura sottostante.