Resumo Técnico: O Registro Sempre Importa: Análise de Dados de Pré-treinamento de LLMs através da Lente da Variação Linguística

Declaração do Problema

A curadoria de dados de pré-treinamento é um componente fundamental do desenvolvimento de Modelos de Linguagem de Grande Escala (LLMs). A pesquisa atual concentra-se intensamente na filtragem de qualidade de grandes corpora da web, frequentemente reduzindo os conjuntos de dados a uma classificação binária: textos que passam nos filtros de qualidade são considerados valiosos, enquanto outros são descartados como inúteis ou prejudiciais. No entanto, falta uma compreensão detalhada de como tipos específicos de textos contribuem para o desempenho do modelo. Os métodos existentes de curadoria baseiam-se em heurísticas simples, sinais de qualidade ou rotulagem baseada em LLMs, que podem ignorar os efeitos sutis da variação linguística. Este artigo aborda a lacuna na compreensão de como diferentes registros (ou gêneros) — um conceito padrão na linguística de corpus usado para modelar a variação linguística através de situações — afetam o desempenho de LLMs quando utilizados como dados de pré-treinamento.

Metodologia

Os autores conduziram um estudo de ablação treinando modelos generativos pequenos (1,71 bilhão de parâmetros, arquitetura Llama) em conjuntos de dados curados para conter textos de classes de registro específicas.

• Fonte de Dados: O estudo utilizou o conjunto de dados HPLT versão 2.01, especificamente o subconjunto em inglês deduplicado.
• Classificação de Registro: Os documentos receberam rótulos de registro usando um classificador multirrotulado baseado em XLM-RoBERTa-Large, treinado no esquema de registro CORE. Este esquema inclui 9 registros principais e 25 subregistros.
• Desenho Experimental:
  • Registros Individuais: Os modelos foram treinados com 100 bilhões de tokens (ou todos os dados disponíveis para classes menores) de classes de registro específicas, incluindo registros principais (ex: Instruções de Como-fazer, Narrativa, Opinião), subregistros (ex: Notícias, Descrição) e uma classe híbrida (Informativo-Instrutivo).
  • Combinações: Os autores criaram conjuntos de dados combinados amostrando igualmente os registros individuais de melhor desempenho para testar se a mistura de registros poderia gerar melhorias em relação ao treinamento de registro único ou de conjunto de dados completo.
  • Linhas de Base: As comparações foram feitas contra um modelo treinado em uma amostra aleatória do conjunto de dados completo HPLT v2 deduplicado e um modelo treinado em uma amostra do conjunto de dados FineWeb.
• Avaliação: Os modelos foram avaliados usando o ambiente LightEval em configuração zero-shot em oito benchmarks padrão: HellaSwag, WinoGrande, PIQA, SIQA, OpenBookQA, ARC Easy, ARC Challenge, CommonsenseQA e MMLU.

Principais Resultados

O estudo revela que o registro dos dados de pré-treinamento tem um impacto substancial e não uniforme nas capacidades do modelo.

• Impacto do Registro no Desempenho:

  • Alto Desempenho: Modelos treinados nos registros Instruções de Como-fazer (HI), Descrição Informativa (dtp) e Opinião (OP) alcançaram as médias de precisão mais altas entre os modelos de registro único. Surpreendentemente, o registro Opinião (cobrindo resenhas e blogs de opinião) produziu o 4º melhor desempenho geral, superando Narrativa e Descrição Informativa.
  • Baixo Desempenho: Registros como Lírico (LY), Tradução Automática (MT) e Persuasão Informativa (IP) resultaram no pior desempenho. Notavelmente, o subregistro Notícias (ne) performou entre os piores, apesar de ser uma fonte comum para pré-treinamento.
  • Híbridos: O modelo híbrido Informativo-Instrutivo (HI-IN) superou o modelo treinado no conjunto de dados completo HPLT v2, sugerindo que documentos híbridos possuem qualidades que geram melhor desempenho do que qualquer registro constituinte isoladamente.

• Forças Específicas de Tarefa:

  • Instruções de Como-fazer destacou-se em raciocínio físico (PIQA) e conclusão de sentenças (HellaSwag), mas performou mal em benchmarks de conhecimento mundial (MMLU, CommonsenseQA).
  • Narrativa aumentou o desempenho em tarefas de interação social (SIQA) e resolução de pronomes (WinoGrande), mas teve dificuldades com questões científicas (ARC Challenge).
  • Opinião melhorou significativamente o desempenho em tarefas de raciocínio envolvendo situações sociais e senso comum (WinoGrande, SIQA, CommonsenseQA).

• Efeitos de Combinação:

  • Embora um modelo treinado no conjunto de dados completo não filtrado tenha superado aqueles treinados em registros únicos, a combinação de registros específicos de alto desempenho levou a ganhos adicionais.
  • A combinação de Informativo-Instrutivo, Instruções de Como-fazer, Descrição e Opinião (HI-IN-HI-dtp-OP) alcançou a maior precisão média, superando tanto as linhas de base HPLT v2 quanto FineWeb.
  • Por outro lado, adicionar registros como Discussão Interativa ou Falado a combinações de alto desempenho resultou em quedas de desempenho, sugerindo que esses registros podem conter qualidades prejudiciais aos benchmarks específicos utilizados ou diluir os benefícios de registros mais eficazes.

Significado e Alegações

O artigo afirma ser o primeiro estudo a utilizar classificação de registro para curar conjuntos de dados de pré-treinamento e investigar o efeito do registro no desempenho de LLMs. Os autores afirmam que:

1. O Registro é uma Variável Crítica: O registro é um explicador importante da variação do modelo, desafiando a noção de que todo texto "de alta qualidade" é igualmente benéfico para todas as tarefas.
2. Além da Filtragem Binária: As descobertas sugerem que a curadoria de dados deve ir além de simples bandeiras de qualidade binárias. Registros específicos, como Opinião, são altamente benéficos e devem ser considerados para inclusão, enquanto outros, como Notícias, podem ser menos eficazes do que se assume.
3. Seleção Estratégica de Dados: Combinar registros com forças complementares (ex: Instruções de Como-fazer para raciocínio físico e Opinião para raciocínio social) pode levar a melhorias significativas no desempenho do modelo, potencialmente superando modelos treinados em corpora da web massivos e não curados.
4. Transparência: O estudo defende o uso da classificação de registro como uma ferramenta para aumentar a transparência em modelos de base, permitindo que pesquisadores e usuários compreendam a composição linguística dos dados de treinamento e seu impacto específico nas capacidades do modelo.

Os autores mantêm modéstia em relação às suas alegações, observando que seus experimentos foram limitados ao inglês e que os benchmarks utilizados podem não capturar totalmente as capacidades de modelos treinados em registros específicos (ex: Lírico). Eles posicionam este trabalho como um passo inicial na ponte entre os frameworks da linguística de corpus e a curadoria de dados de pré-treinamento de LLMs.