Resumo Técnico: HERMES: Um Substrato de Rotulagem de Multi-Granularidade para Misturas de Dados de Pré-treinamento

1. Declaração do Problema

As estratégias atuais de mistura de dados para o pré-treinamento de Grandes Modelos de Linguagem (LLMs) enfrentam um gargalo no sistema de rotulagem, e não nos algoritmos de mistura em si. As abordagens existentes tipicamente particionam corpora em grupos usando taxonomias fixas (proveniência, tópicos, formatos) ou agrupamentos de embeddings planos (ex: KMeans). Esses métodos sofrem de três limitações primárias:

1. Granularidade/Eixo Único: Eles se comprometem com um único eixo semântico em uma resolução fixa. Alterar a granularidade (ex: de tópicos amplos para clusters finos) exige a reconstrução de todo o conjunto de rótulos.
2. Custo de Recálculo: Métodos de agrupamento plano (como o KMeans) exigem recálculo para alterar o número de clusters ($K$), tornando varreduras sistemáticas de granularidade computacionalmente caras e desarticuladas.
3. Inflexibilidade: A escolha dos grupos dita o que um mixer pode expressar, limitando a capacidade de testar interações entre a resolução dos dados e as estratégias de amostragem.

Os autores argumentam que o gargalo é a infraestrutura de rotulagem, não a maquinaria do mixer. Há necessidade de um substrato reutilizável, derivado dos dados, que permita aos praticantes navegar por uma hierarquia de granularidades sem a necessidade de novo agrupamento.

2. Metodologia: HERMES

O HERMES (Hierarchical Embedding-based RVQ for Mixture Selection) é um substrato de rotulagem hierárquica de passo único, projetado para anotar documentos com códigos de grosseiro a fino. Ele consiste em duas etapas principais:

A. Transformação Semântica Aprendida (LST)

Para preparar os embeddings para a quantização, o HERMES emprega uma Transformação Semântica Aprendida.

• Entrada: Embeddings de documentos congelados ($e_i \in \mathbb{R}^{1024}$) de um codificador pré-treinado.
• Mecanismo: Uma única camada linear com normalização ($h_i = \text{normalize}(W e_i + b)$) rotaciona o espaço de embedding.
• Objetivo de Treinamento: A transformação é treinada conjuntamente com os codebooks de quantização para otimizar três perdas:
  1. Preservação da Estrutura de Pares: Mantém a geometria de cosseno entre os embeddings brutos e transformados.
  2. Reconstrução Consciente de Quantização: Minimiza o erro de reconstrução do quantizador vetorial.
  3. Ortogonalidade: Evita o colapso de representação ao impor a quase-ortogonalidade da matriz de transformação $W$.

B. Quantização Vetorial Residual de 3 Estágios (RVQ)

Os embeddings transformados ($h_i$) são codificados por um RVQ em cascata de 3 estágios.

• Arquitetura: Três quantizadores vetoriais sequenciais, cada um com um tamanho de codebook $K=256$.
• Processo:
  1. Estágio 1 (Grosseiro): Codifica $h_i$ para encontrar o centroide mais próximo $c_1$, produzindo um resíduo $r_2 = h_i - q_1$.
  2. Estágio 2 (Intermediário): Codifica $r_2$ para encontrar $c_2$, produzindo o resíduo $r_3$.
  3. Estágio 3 (Fino): Codifica $r_3$ para encontrar $c_3$.
• Saída: Cada documento recebe um código hierárquico $(c_1, c_2, c_3)$.
• Controle de Granularidade: A granularidade é definida pelo comprimento do prefixo do código:
  • L1: Código $(c_1)$ $\rightarrow$ 256 buckets.
  • L12: Código $(c_1, c_2)$ $\rightarrow$ $\sim$65k buckets.
  • L123: Código $(c_1, c_2, c_3)$ $\rightarrow$ $\sim$130k buckets observados (de um nominal de $1.67 \times 10^7$).

C. Taxonomia de Amostragem

O artigo define um amostrador como uma composição de dois estágios operando no substrato HERMES:

1. Estágio 1 (Peso Externo): Atribui pesos aos ancestrais L1. O artigo utiliza Uniforme (entropia máxima) ou DoReMi (group-DRO sobre um modelo proxy).
2. Estágio 2 (Amostrador de Sub-bucket): Decide a elegibilidade e seleção dentro dos ancestrais L1.
   • Distribuição de Massa: Igual (entropia máxima) vs. Proporcional ao tamanho.
   • Elegibilidade por Documento: Todos os documentos vs. Top-30% por pontuação de qualidade (FineWeb-Edu) dentro do sub-bucket.

3. Principais Contribuições

1. Substrato HERMES: Um sistema de RVQ hierárquico de passo único que anota $\sim$50M de documentos em até $\sim$130k células. Ele expõe a granularidade como um prefixo em uma única pilha de codebooks treinada, eliminando a necessidade de novo agrupamento ao mudar a resolução.
2. Interação Granularidade-Amostrador: Os autores demonstram que a eficácia de uma regra de amostragem (ex: seleção baseada em qualidade) é dependente do nível de granularidade.
3. Diagnóstico de Competição de Candidatos: O artigo identifica um limite estrutural onde o aumento da granularidade reduz o tamanho do pool de candidatos a um ponto onde o ranking dentro do bucket torna-se instável.

4. Resultados Experimentais

Os experimentos foram conduzidos em um modelo estilo LLaMA de 1B de parâmetros treinado por 25B de tokens, avaliado em uma média macro de 16 tarefas (Avg.).

A. O Platô de Agrupamento (L1=256)

• Achado: Na granularidade mais grosseira (L1=256), o HERMES performa de forma equivalente aos métodos de agrupamento padrão (KMeans, MiniBatchKMeans, Plain RVQ).
• Métricas: Em métricas intrínsecas (compactação, balanço de massa, entropia), o HERMES situa-se em um platô com outros agrupadores de 256 vias.
• Downstream: Quando pareado com um amostrador Uniforme + L1 de entropia máxima, o HERMES e o KMeans diferem por apenas 0.0002 na precisão média (Avg.).
• Implicação: O ganho de performance do HERMES não se deve a ser um algoritmo de agrupamento superior, mas sim ao próprio substrato.

B. Achado A: Regra de Estágio-2 em Granularidade Intermediária (L12)

• Configuração: Pesos externos DoReMi fixos, codebook HERMES fixo, granularidade em L12 ($\sim$65k buckets).
• Comparação: Alternar o amostrador de Estágio-2 de cobertura de max-entropia (massa de sub-bucket igual, todos os documentos) para top-30% de qualidade (massa proporcional ao tamanho, top-30% por pontuação FineWeb-Edu).
• Resultado: Essa mudança aumentou a média das 16 tarefas em +0.0253 (z-score +2.09).
• Interpretação: Em L12, os sub-buckets são grandes o suficiente (pool mediano $\sim$2.271 documentos) para que o ranking de qualidade seja um proxy estável para a qualidade global.

C. Achado B: Colapso em Granularidade Fina (L123)

• Configuração: Mesmas regras aplicadas a L123 ($\sim$130k buckets).
• Observação: O pool de candidatos mediano contrai 5.3x de L12 (2.271 docs) para L123 (429 docs).
• Resultado: A vantagem da regra de top-30% de qualidade colapsa. A lacuna de performance entre a regra de top-30% de qualidade e a cobertura aleatória local encolhe para +0.0002 (0.3988 vs. 0.3986), o que é estatisticamente indistinguível sob avaliação de semente única.
• Implicação: Isso apoia a hipótese da competição de candidatos: quando os sub-buckets se tornam muito pequenos, o ranking dentro do bucket não é mais um proxy confiável para a qualidade global, negando o benefício da seleção baseada em qualidade.

D. Melhor Configuração

A configuração de maior desempenho no sweep foi pesos externos DoReMi + L12 qualidade top-30% (leitor corrigido), alcançando um Avg. de 0.4222.

5. Significância e Alegações

O artigo modestamente alega que o HERMES reformula o design de mistura de dados. Sua principal significância reside em mudar o foco de "escolher entre conjuntos de rótulos fixos" para "navegar por uma hierarquia de granularidade reutilizável e derivada dos dados".

• Substrato sobre Agrupador: A contribuição é a infraestrutura que permite que a granularidade seja uma variável livre (um dial), não o desempenho do agrupamento em si.
• Determinação Conjunta: Granularidade e o amostrador de Estágio-2 são eixos determinados conjuntamente. Uma regra que funciona em uma granularidade (L12) pode falhar em outra (L123) devido a restrições estruturais como o tamanho do pool de candidatos.
• Limitações: Os autores reconhecem que as conclusões são limitadas a um regime de 1B/25B em um corpus interno. A profundidade ideal de granularidade é limitada pela "competição de candidatos", que pode mudar com modelos e corpora maiores. Eles também observam que a escolha do peso externo (DoReMi vs. Uniforme) no estágio-2 ideal (L12 qualidade top-30%) não foi totalmente validada cruzadamente (a execução Uniforme + L12 qualidade top-30% não foi realizada).

Em resumo, o HERMES fornece um mecanismo para tratar a granularidade dos dados como um parâmetro contínuo e ajustável, revelando que a eficácia das estratégias de seleção de dados está intrinsecamente ligada à resolução do sistema de rótulos subjacente.