Resumo Técnico: FineInstructions: Escalando Instruções Sintéticas para a Escala de Pré-Treinamento

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) são tipicamente pré-treinados usando predição de próximo token auto-supervisionada em vastos corpora de texto não estruturados. Embora esta etapa transmita a maior parte do conhecimento do modelo, ela é frequentemente seguida por uma fase separada de "ajuste de instrução" (instruction-tuning) usando uma quantidade relativamente pequena de dados de instrução-resposta supervisionados para alinhar o modelo com a intenção do usuário. Os conjuntos de dados de ajuste de instrução existentes sofrem de limitações: são frequentemente pequenos (milhares de exemplos), estreitos (focados em tarefas acadêmicas de PLN) ou dependem de destilação de modelos de fronteira, que podem apenas mimetizar superficialmente as capacidades. Consequentemente, o estágio de pré-treinamento permanece responsável por codificar o conhecimento, enquanto o estágio de ajuste de instrução é amplamente limitado ao aprendizado de estilos de resposta. Além disso, o pré-treinamento padrão muitas vezes desperdiça computação em ruído de baixa qualidade (cabeçalhos, rodapés) e não se alinha bem com a distribuição a jusante dos prompts de usuários.

Metodologia: O Pipeline FineInstructions

Os autores propõem o FineInstructions, um procedimento para transformar documentos de pré-treinamento em escala de internet em bilhões de pares sintéticos de instrução-resposta, permitindo efetivamente o ajuste de instrução supervisionada na escala de pré-treinamento. O pipeline consiste em oito estágios principais:

1. Geração de Templates de Instrução:

   • Fonte: Os autores coletaram cerca de 21,5 milhões de consultas reais escritas por usuários de diversas fontes (ex: WildChat, LMSys, StackExchange, Reddit QA, GooAQ).
   • Genericização: Usando um "Modelo de Genericização de Consultas" (um modelo Llama-3.2 1B destilado), estas consultas são convertidas em cerca de 18 milhões de templates de instrução genéricos. Entidades específicas ou cenários nas consultas são substituídos por tags <fi> contendo descrições em linguagem natural do conteúdo requerido (ex: <fi>Entidade A</fi>).
   • Filtragem: Consultas prejudiciais são removidas, e os dados são descontaminados de benchmarks comuns.

2. Correspondência de Documentos:

   • Embedding: Um modelo de similaridade semântica (BGE-M3) é usado para gerar embeddings de "descrições de documentos compatíveis" para os templates e para os próprios documentos de pré-treinamento.
   • Pooling Gaussiano: Para garantir que os templates correspondam a seções específicas de documentos longos, os autores introduzem uma camada customizada de "pooling gaussiano". Em vez de um único embedding global, o modelo gera $K=5$ embeddings locais representando chunks distintos do documento, além de um embedding global.
   • Recuperação: Para cada documento, o sistema recupera templates de instrução compatíveis baseados em similaridade de cosseno (limiar de 0.865). Uma estratégia de amostragem aleatória ponderada garante diversidade na complexidade dos templates.

3. Instanciação e Geração de Resposta:

   • Modelo Instanciador: Um modelo Llama-3.2 3B destilado é treinado para instanciar os templates recuperados usando o conteúdo do documento e gerar respostas.
   • Aterramento (Grounding): Para evitar alucinação e colapso do modelo, as respostas são primordialmente ancoradas no documento de origem. O modelo é instruído a copiar trechos diretamente. Um mecanismo de tag especial (<excerpt>...</excerpt>) é usado para reduzir os custos de geração de tokens, permitendo que o modelo gere tags com notação de elipse para spans longos, que são expandidos programaticamente mais tarde.
   • Restrições: A proporção de texto extraído nas respostas geradas é mantida obrigatoriamente $\ge 0.80$.

4. Julgamento e Filtragem:

   • Um modelo "Flow Judge" (um modelo destilado de 3.8 bilhões de parâmetros) avalia os pares de instrução-resposta gerados em uma escala Likert de 5 pontos.
   • Pares que pontuam $\ge 4$ (abordando a consulta sem conteúdo estranho) são retidos. Este estágio também filtra instanciações malformadas e respostas que não estão ancoradas na fonte.

5. Treinamento:

   • O conjunto de dados resultante, FineInstructions, contém mais de 1 bilhão de pares sintéticos de instrução-resposta.
   • Modelos são pré-treinados do zero exclusivamente neste objetivo de ajuste de instrução (Instrução: {{instruction}} \n\n Resposta: {{answer}}), em vez da predição de próximo token padrão.

Principais Contribuições

1. Criação de Templates em Larga Escala: A criação de ~18 milhões de templates de instrução derivados de consultas reais de usuários, permitindo a geração de dados sintéticos altamente diversos e dentro da distribuição.
2. O Procedimento FineInstructions: Um pipeline escalável para converter documentos de pré-treinamento não estruturados em pares de instrução-resposta supervisionados, utilizando modelos destilados eficientes para genericização, correspondência e instanciação.
3. Validação Empírica: Demonstração de que o pré-treinamento puramente no FineInstructions supera o pré-treinamento padrão e outros baselines de transformação sintética (Instruction Pre-Training, Nemotron-CC, WRAP) em benchmarks correlacionados com o julgamento humano de qualidade de resposta.
4. Recursos Abertos: Liberação de código, modelos treinados e o dataset FineInstructions (1B+ pares).

Resultados

Os autores conduziram experimentos de treinamento controlados token-por-token usando modelos de 1.8 bilhão de parâmetros em duas escalas de corpus (IPT ~23B tokens e Nemotron-CC ~300B tokens).

• Ganhos de Desempenho: O FineInstructions superou significativamente os baselines no MixEval (um benchmark que correlaciona com o julgamento humano), MT-Bench-101 (consultas subjetivas de múltiplos turnos) e AlpacaEval (taxas de vitória head-to-head).
  • No corpus IPT, o FineInstructions mostrou uma melhoria relativa de ~69% no MixEval comparado ao pré-treinamento padrão.
  • No corpus Nemotron-CC, mostrou uma melhoria de ~39% no MixEval.
  • No AlpacaEval, as saídas do FineInstructions foram consistentemente preferidas sobre todos os outros pipelines.
• Generalização: As melhorias foram consistentes tanto em tarefas focadas em conhecimento (MixEval) quanto em tarefas de mundo real de código aberto (MT-Bench-101, AlpacaEval).
• Eficiência: Experimentos em diferentes escalas de modelos (300M, 1.8B, 7B) indicaram que o FineInstructions permite que modelos menores alcancem níveis de desempenho comparáveis ou superiores a modelos maiores treinados em baselines padrão, dado orçamentos equivalentes de tokens e computação.

Significância e Alegações

O artigo afirma que reestruturar os dados de pré-treinamento em formatos de instrução-resposta melhora a eficiência de absorção de conhecimento e alinha a distribuição de pré-treinamento mais de perto com o uso subsequente do usuário. Ao transformar o objetivo de aprendizado de "predizer a próxima palavra" para "responder a uma instrução", o modelo aprende a seguir instruções e a generalizar entre tarefas durante o próprio estágio de pré-treinamento, em vez de depender de um estágio separado e escasso de ajuste de instrução.

Os autores explicitamente observam que sua abordagem é otimizada para a utilidade do usuário a jusante (produzir respostas úteis) em vez de proxies de modelagem de linguagem intermediários como perplexidade. Eles concedem que o pré-treinamento padrão provavelmente supera o FineInstructions em métricas baseadas em perplexidade, pois o FineInstructions não treina na predição bruta de próximo token sobre documentos. No entanto, o método proposto oferece um caminho mais eficaz para treinar modelos capazes de alta qualidade em seguimento de instruções e raciocínio em escala.

O trabalho também destaca que a diversidade das instruções geradas (derivadas de consultas reais de usuários) é um diferencial chave em relação aos métodos sintéticos anteriores, que frequentemente focam em formatos de tarefas acadêmicas estreitas. O pipeline mitiga efetivamente o risco de colapso do modelo ao ancorar as respostas nos documentos de origem e filtrar pela qualidade, enquanto o uso de modelos destilados garante que o procedimento seja computacionalmente viável em escalas de pré-treinamento.