Resumo Técnico: ARXIV-TO-MODEL – Um Estudo Prático de Treinamento de Modelos de Linguagem Científica

1. Problema e Motivação

Embora os modelos de linguagem de fronteira (frontier LLMs) demonstrem capacidades impressionantes em raciocínio e matemática, o processo prático de treinar modelos científicos especializados diretamente a partir de fontes brutas (como arquivos LaTeX do arXiv) permanece subdocumentado. A maioria dos sistemas públicos depende de corpora curados em larga escala, misturas de dados proprietárias ou pipelines de pré-processamento não divulgados.

O treinamento de modelos específicos de domínio a partir de corpora científicos brutos apresenta desafios únicos:

• Heterogeneidade de arquivos LaTeX (estruturas multi-arquivo, macros personalizadas).
• Conteúdo denso em símbolos e equações.
• Metadados inconsistentes e ruído (artigos retirados, versões curtas, textos não em inglês).
• A falta de documentação transparente sobre como decisões de engenharia de dados afetam a estabilidade do treinamento e o volume de tokens utilizáveis.

O objetivo deste trabalho não é propor uma nova arquitetura, mas fornecer um relato transparente e reproduzível do treinamento de um modelo científico de pequena escala a partir do zero.

2. Metodologia

O estudo descreve um pipeline end-to-end para treinar um modelo de 1,36 bilhão de parâmetros (KiteFish-A1-1.5B) utilizando 2× GPUs NVIDIA A100 (80GB).

2.1. Construção do Conjunto de Dados (Data Engineering)

O pipeline de dados foi dividido em quatro etapas principais, partindo de fontes brutas do arXiv:

1. Extração de Fonte: Download e validação de arquivos tar.gz do arXiv.
2. Filtragem de Metadados:
   • Restrição a categorias específicas (Matemática, Ciência da Computação, Física Teórica, Estatística).
   • Filtro temporal (apenas pós-2000) para evitar inconsistências de formatação antiga.
   • Remoção de artigos retirados (withdrawn) e textos muito curtos (<2.000 caracteres).
   • Detecção de idioma para remover conteúdo não em inglês.
3. Normalização e Limpeza de LaTeX:
   • Extração de arquivos .tex concatenados.
   • Remoção de figuras, referências bibliográficas e comandos de formatação não semânticos, preservando expressões matemáticas e estruturas lógicas.
   • Deduplicação exata e detecção de quase-duplicatas.
4. Montagem da Mistura (Mixture):
   • Uso de uma estratégia de amostragem ponderada. Documentos de alta qualidade ("Gold") foram upsampled para garantir exposição a provas formais e terminologia precisa.
   • Pré-treinamento: Focado exclusivamente em corpora científicos (LaTeX limpo do arXiv + OpenWebMath).
   • Pós-treinamento (Alinhamento): Introdução de dados como StackExchange, MathInstruct e UltraChat apenas na fase final para alinhamento de instruções e conversação, evitando contaminação do raciocínio formal.

2.2. Tokenização

Reconhecendo que esquemas genéricos fragmentam símbolos matemáticos, a equipe adotou um tokenizador SentencePiece compatível com LLaMA (vocabulário de ~102.400 tokens).

• Objetivo: Preservar expressões matemáticas e reduzir a fragmentação de operadores.
• Resultado: O corpus de ~200 GB resultou em 52,18 bilhões de tokens para pré-treinamento e 5 bilhões para pós-treinamento.

2.3. Arquitetura do Modelo

• Tipo: Transformer dense (decoder-only), seguindo o framework LLaMA.
• Parâmetros: ~1,36 bilhões (embeddings de entrada e saída não atrelados).
• Configuração: Dimensão oculta 2048, 24 camadas, 16 cabeças de atenção, RoPE (Rotary Position Embeddings), contexto de 4096 tokens (treinado com 768 tokens para maximizar o batch).
• Escolha de Arquitetura: Optou-se por uma arquitetura densa em vez de Mixture-of-Experts (MoE) para garantir estabilidade de treinamento e escalabilidade eficiente em um orçamento computacional limitado (2 GPUs).

2.4. Configuração de Treinamento

• Hardware: 2× NVIDIA A100 (80GB) com paralelismo de dados distribuído.
• Otimização: AdamW, precisão mista bfloat16, ZeRO Stage 2, gradient checkpointing.
• Estratégia de Currículo:
  1. Warm-up textual: Foco em resumos e introduções.
  2. Integração simbólica: Introdução de corpos completos de LaTeX e teoremas.
  3. Mistura: Conteúdo misto de prosa e fórmulas.

3. Resultados e Análise Experimental

O estudo envolveu 24 execuções experimentais iterativas para refinar hiperparâmetros e estabilizar o treinamento.

3.1. Regimes de Dados (20GB vs. 200GB)

• Regime de Pequena Escala (20GB - Run 24): O treinamento exibiu convergência instável, com perda oscilando e estagnando em valores altos. O modelo começou a memorizar padrões sem diversidade suficiente para generalização.
• Regime de Dados Completos (200GB - Runs 20 e 23): A perda de treinamento diminuiu de forma suave e monótona. O ruído do gradiente foi significativamente reduzido, permitindo uma estabilização de cauda longa típica de transformadores bem treinados.

3.2. Métricas de Desempenho

• Perplexidade Final: Aproximadamente 4,2 (exp(1.438)) no conjunto de validação científica, indicando forte adaptação ao corpus.
• Estabilidade: Não houve divergência sustentada entre as curvas de perda de treinamento e validação, indicando ausência de overfitting severo no horizonte observado.
• Norma do Gradiente: Estabilizou rapidamente abaixo de 1,0 após o warm-up, sem explosões ou desaparecimentos de gradiente.

3.3. Utilização de Hardware

• Utilização da GPU sustentada acima de 95%.
• Consumo de energia estável (~300W).
• Gargalo Identificado: Em estágios iniciais, a throughput de I/O (armazenamento) e a largura de banda de disco foram limitantes mais críticos do que a capacidade bruta de computação da GPU.

4. Contribuições Principais

1. Pipeline Reproduzível: Uma metodologia completa para construir um corpus científico a partir de fontes LaTeX brutas do arXiv, incluindo filtros de metadados e limpeza de artefatos.
2. Análise Quantitativa de Perdas de Dados: Demonstração de que decisões de pré-processamento (validação de arquivo, heurísticas de limpeza) impactam drasticamente o volume final de tokens utilizáveis, muitas vezes mais do que a disponibilidade de dados brutos.
3. Insights sobre Tokenização Científica: Evidências de que tokenizadores padrão podem fragmentar equações e que a escolha do tokenizador é uma decisão arquitetural crítica para a estabilidade simbólica.
4. Estabilidade em Orçamento Restrito: Prova de que modelos científicos de escala média (1-2B parâmetros) podem ser treinados de forma estável em hardware limitado (2×A100) se houver rigor na engenharia de dados e estratégia de currículo.
5. Relato Transparente: Documentação detalhada de falhas, instabilidades e trade-offs de infraestrutura, servindo como guia para pesquisadores com orçamentos moderados.

5. Significado e Conclusão

O trabalho conclui que, para modelos de linguagem científica de pequena e média escala, a engenharia de dados e o design do pipeline são tão críticos quanto a arquitetura do modelo.

• Limitações: O modelo base não possui alinhamento de instruções nativo (requer pós-treinamento para conversação) e o contexto de treinamento (768 tokens) foi menor que o suportado pela arquitetura (4096), limitando o raciocínio de longo prazo.
• Impacto: O estudo reforça que a transparência nas decisões de pré-processamento e os trade-offs de infraestrutura são essenciais para a reprodutibilidade na pesquisa de modelos de linguagem. Ele oferece um roteiro viável para pesquisadores que desejam construir modelos especializados sem depender de recursos computacionais massivos ou dados proprietários.

Em suma, o "ARXIV-TO-MODEL" demonstra que é possível criar um modelo científico robusto e especializado a partir de dados abertos, desde que se priorize a qualidade dos dados, a limpeza rigorosa de LaTeX e a estabilidade do treinamento sobre a simples escalabilidade de parâmetros.