💻 computer science

L20-Edu-135M: An Auditable Single-GPU Study of Data-Efficient Small Language Modeling

Este artigo apresenta o L20-Edu-135M, um estudo de caso auditável de um modelo de linguagem de 135 milhões de parâmetros treinado inteiramente em uma única GPU NVIDIA L20 com 13 bilhões de tokens, demonstrando que, embora fique atrás de modelos de maior escala como o SmolLM2, ele alcança um desempenho competitivo em relação ao seu orçamento mínimo de tokens e destaca modos de falha específicos de RLVR em configurações de recursos limitados.

Autores originais: Yin Li

Publicado 2026-06-23

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yin Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Ideia: Um Chef, Uma Cozinha, Uma Receita

Imagine o mundo da Inteligência Artificial (IA) como uma enorme competição culinária. Geralmente, os vencedores são restaurantes gigantes com 64 chefs de alto nível (GPUs) e ingredientes ilimitados (dados), cozinhando por milhões de horas. Eles criam "Pequenos Modelos de Linguagem" (cérebros de IA minúsculos) que são incrivelmente inteligentes.

Este artigo faz uma pergunta diferente: "Um único chef padrão, trabalhando em uma única cozinha modesta, consegue criar um cérebro de IA minúsculo e competitivo, e o que acontece quando tentamos?"

O autor, Yin Li, aceitou esse desafio usando apenas uma placa gráfica NVIDIA L20 (um chip de computador poderoso, mas único). O resultado é um modelo chamado L20-Edu-135M. É um cérebro de "135 milhões de parâmetros", o que é pequeno no mundo da IA, mas o objetivo era ver até onde você consegue chegar com recursos limitados.

Os Ingredientes: Cozinhando com Cuidado

No mundo da IA, "dados" são a comida. A maioria dos grandes modelos come trilhões de palavras. Este modelo comeu apenas cerca de 13 bilhões de palavras. Para compensar a porção menor, o chef foi extremamente exigente com a qualidade da comida.

O Cardápio: O modelo foi alimentado com uma mistura específica de "FineWeb-Edu" (texto educacional de alta qualidade da web) e uma "mistura" especial de matemática, código e enigmas de raciocínio.
O Controle de Qualidade (O Peneirador): Antes de cozinhar, o chef teve que filtrar os ingredientes ruins. Eles usaram um peneirador digital para remover:
- Duplicatas: Se a mesma frase aparecesse em três livros diferentes, eles mantinham apenas uma.
- Lixo: Texto muito curto, cheio de números ou apenas bobagens sem sentido.
- Contaminação: Eles garantiram que o modelo não "memorizasse" acidentalmente as perguntas de teste nas quais seria avaliado mais tarde.
- Analogia: Imagine fazer uma sopa. Em vez de despejar um oceano inteiro de água, você seleciona cuidadosamente os melhores vegetais, lava-os bem e remove qualquer um que esteja podre ou que se pareça com os que você usará para a guarnição depois.

O Processo de Cozimento: Três Estágios

O treinamento aconteceu em três fases distintas:

O Prato Principal (Pré-treinamento): O modelo leu 10 bilhões de palavras de texto educacional para aprender como a linguagem funciona. Isso levou cerca de 72 horas em um único chip.
O Curso Especializado (Pré-treinamento Continuado): O modelo leu outros 3 bilhões de palavras, focadas especificamente em matemática, codificação e raciocínio, para aguçar suas habilidades.
O Polimento Final (Ajuste de Instrução): O modelo foi ensinado a seguir instruções (como um chatbot). No entanto, o autor notou que ensinar o modelo a conversar o tornava ligeiramente pior em suas habilidades de linguagem originais.
- A Solução: Eles usaram uma técnica chamada Interpolação de Pesos. Imagine pegar um "especialista em linguagem pura" e um "especialista em chat", e misturar seus cérebros. Eles descobriram que manter 87,5% do especialista em linguagem e 12,5% do especialista em chat criava o melhor equilíbrio.

Os Resultados: Como se Saiu?

O modelo foi testado em seis enigmas diferentes (como compreensão de leitura e problemas de lógica).

A Pontuação: Ele marcou 0,4150 (de um total de 1,0).
A Comparação:
- Ele venceu modelos antigos de tamanho semelhante de alguns anos atrás.
- Ele não venceu os "Super Modelos" modernos (SmolLM-135M e SmolLM2-135M), que foram treinados por equipes com 64 supercomputadores.
- O Detalhe: Os Super Modelos comeram de 46 a 154 vezes mais dados do que este modelo de chip único.
- A Conclusão: Este modelo de chip único alcançou 87% do desempenho dos Super Modelos usando apenas 2% do orçamento de dados deles. Não é o vencedor da competição, mas é um segundo lugar muito impressionante para um chef solo.

O Momento "Ops": O Experimento de Matemática

O autor tentou ensinar o modelo a melhorar em matemática (especificamente no teste GSM8K) usando uma técnica chamada RLVR (Aprendizado por Reforço com Recompensas Verificáveis).

A Ideia: Dar uma recompensa ao modelo toda vez que ele acertasse uma resposta matemática, esperando que ele aprenda a pensar mais profundamente.
O Resultado: Falhou. O modelo ficou, na verdade, pior em matemática.
Por quê? O modelo já era tão ruim em matemática que raramente recebia uma "recompensa". Sem feedback positivo, ele apenas ficava confuso.
Analogia: Tentar ensinar um bebê a resolver cálculo dando a ele uma estrela de ouro apenas quando ele acerta. Se ele nunca acerta, ele nunca recebe a estrela de ouro, e ele para de tentar ou fica frustrado. O artigo conclui que, para modelos pequenos, você precisa de um "aquecimento" (melhores habilidades iniciais) antes de poder usar este método de treinamento avançado.

Por Que Isso Importa?

Este artigo não está alegando ter construído a IA mais inteligente do mundo. Em vez disso, é um relatório de transparência e uma prova de conceito.

É Auditável: Como foi feito em uma única máquina com uma única pessoa, sabemos exatamente o que aconteceu. Sabemos os dados, as configurações e os erros.
É Acessível: Prova que pesquisadores independentes não precisam de um orçamento de bilhões de dólares para fazer pesquisas sérias em modelos pequenos. Você pode fazer isso em um único notebook ou servidor potente.
Estabelece Limites: Mostra-nos exatamente onde estão os limites. Diz: "Você pode chegar até aqui com um único GPU, mas se quiser ir além, você realmente precisará de mais dados e mais poder computacional".

Resumo

Pense no L20-Edu-135M como uma refeição caseira muito bem organizada e eficiente. Não ganhará uma estrela Michelin contra um banquete de 64 chefs, mas prova que, com os ingredientes certos, limpeza cuidadosa e técnicas inteligentes, uma única pessoa pode cozinhar uma refeição que é surpreendentemente deliciosa e nutritiva comparada ao que era possível há apenas alguns anos. É uma vitória para a eficiência e para a honestidade na pesquisa de IA.

Resumo Técnico: L20-Edu-135M

Definição do Problema
Embora os modelos de linguagem pequenos (SLMs) sejam atraentes para implantação local devido aos baixos custos de inferência, alcançar um desempenho competitivo na classe de 135 milhões de parâmetros normalmente requer recursos computacionais massivos. Modelos de última geração como SmolLM e SmolLM2 utilizam centenas de bilhões a trilhões de tokens treinados em grandes clusters de GPUs (ex: 64 H100s), tornando seus pipelines de treinamento inacessíveis para pesquisadores independentes. Este artigo aborda uma questão específica e com restrição de recursos: pode um loop completo, auditável e competitivo de pré-treinamento e pós-treinamento de classe 135M ser executado em uma única GPU de datacenter comercial (NVIDIA L20), e quais são os modos de falha e compensações (trade-offs) específicos nesse regime?

Metodologia
O estudo centra-se no L20-Edu-135M, um Transformer de decodificador único com 134,5 milhões de parâmetros, treinado do zero em uma única NVIDIA L20 (48GB). A metodologia é estruturada em torno de três questões de pesquisa relativas à viabilidade, controle de regressão e aprendizado por reforço em pequena escala.

Arquitetura: O modelo adota um design "profundo-fino" (deep-thin) estilo Llama (30 camadas, 576 tamanho oculto, 9 cabeças de query/3 de chave-valor) com embeddings vinculados e Atenção de Consulta Agrupada (GQA), diferenciando-se de bases mais antigas de estilo "raso-largo" (shallow-wide).
Pipeline de Treinamento:
- Estágio 1 (Pré-treinamento): Treinado em ~10 bilhões de tokens do FineWeb-Edu com uma taxa de aprendizado de pico de $4 \times 10^{-4}$ , precisão bfloat16 e PyTorch SDPA.
- Estágio 4 (Pré-treinamento Continuado): Uma mistura curada de 3 bilhões de tokens focada em educação, código, matemática e raciocínio. As fontes incluem DCLM, Dolmino e FineMath.
- Governança de Dados: Um rigoroso "portão de dados do Estágio 4" foi implementado, apresentando limpeza de segmentação, filtragem de qualidade, deduplicação MinHash/LSH entre fontes e verificações de contaminação de benchmarks (usando correspondência de 13-gramas e rejeição de sobreposição LCS) contra benchmarks padrão (ARC, HellaSwag, etc.).
- Pós-treinamento: O modelo passou por Ajuste Fino Supervisionado (SFT) em dados de instrução. Para mitigar a regressão de desempenho nos benchmarks base, os autores empregaram interpolação de pesos entre o modelo base do Estágio 4 e o checkpoint de SFT ( $\theta_\alpha = (1-\alpha)\theta_{base} + \alpha\theta_{SFT}$ ).
- RLVR: Um experimento de Aprendizado por Reforço com Recompensas Verificáveis (RLVR) direto usando otimização do tipo GRPO foi conduzido no GSM8K.

Principais Contribuições
O artigo fornece cinco contribuições concretas, enquadradas como um estudo de caso de sistemas e eficiência de dados, em vez de uma afirmação de estado da arte:

Receita de GPU Única: Documentação de um loop de treinamento completo para um modelo de 135M em uma única GPU L20, alcançando um throughput de ~49k tokens/segundo com configurações otimizadas.
Portões de Dados Estritos: Implementação de um rigoroso portão de Estágio 4 combinando deduplicação entre fontes, limpeza de segmentos e descontaminação explícita de benchmarks, registrando contagens de rejeição para fins de auditabilidade.
Controle de Regressão via Interpolação: Avaliação da interpolação de pesos de SFT como um mecanismo para preservar o desempenho do modelo base. A versão lançada utiliza um fator de interpolação de $\alpha=0,875$ (87,5% de pesos de SFT, 12,5% de pesos base).
Benchmarking Controlado: Avaliação zero-shot em um harness de seis tarefas (ARC-Challenge/Easy, HellaSwag, LAMBADA, PIQA, WinoGrande) utilizando o mesmo protocolo para todos os modelos para garantir uma comparação justa.
Resultado Negativo de RLVR: Um caso de falha documentado onde o RLVR direto no estilo GRPO sobre o GSM8K diminuiu a precisão de correspondência exata para o modelo de 135M, sugerindo que recompensas verificáveis sozinhas são insuficientes sem capacidades de cold-start mais fortes.

Resultos

Desempenho em Benchmarks: O L20-Edu-135M alcançou uma pontuação média de 0,4150 no harness de seis tarefas. Isso supera as bases antigas de 100M–160M (ex: GPT-2 Small, OPT-125M, Pythia-160M), mas fica significativamente atrás dos modelos modernos centrados em dados: SmolLM-135M (0,4767) e SmolLM2-135M (0,4917).
Contexto de Eficiência de Tokens: O modelo atingiu 87,1% do desempenho do SmolLM-135M usando apenas 13B tokens, o que é aproximadamente 2,17% do orçamento de tokens relatado para o SmolLM-135M (600B tokens). Os autores observam que esta razão é descritiva, não uma evidência de uma lei de escala superior.
Eficácia da Interpolação: O SFT total degradou ligeiramente a média do benchmark base (0,4137 vs. 0,4141). A interpolação em $\alpha=0,875$ recuperou a média para 0,4150, servindo como um controle prático de regressão.
Resultado do RLVR: O RLVR direto no GSM8K reduziu a precisão de correspondência exata de uma linha de base de 1,82% para 1,59% (completões de 192 tokens) e 1,21% (completões de 320 tokens). Os autores atribuem isso a um problema de cold-start de recompensa esparsa, onde o modelo carece de capacidade de raciocínio inicial suficiente para se beneficiar de recompensas relativas ao grupo.

Significado e Alegações
O artigo posiciona explicitamente o L20-Edu-135M como um estudo de caso auditável de recursos restritos, não como uma conquista de estado da arte. Sua principal significância reside em:

Demonstração de Viabilidade: Provar que um loop de pesquisa completo e competitivo de SLM (pré-treinamento, curadoria, SFT, avaliação) é executável em uma única GPU de 48GB.
Higiene de Dados em Pequena Escala: Destacar que, para orçamentos de tokens pequenos, a deduplicação rigorosa e o controle de contaminação são críticos para evitar o desperdício de sinais de aprendizado limitados.
Compensações de Pós-treinamento: Demonstrar que o ajuste fino de instrução em modelos pequenos exige estratégias de controle de regressão (como a interpolação) para manter as capacidades base.
Limitações do RLVR: Fornecer um critério concreto de "parar/seguir" indicando que o RLVR direto é provavelmente ineficaz para modelos de 135M sem dados de cold-start de raciocínio mais fortes ou maior capacidade do modelo.

Os autores concluem que, embora o modelo não iguale os sistemas modernos de 135M treinados com 46x a 154x mais tokens, ele estabelece um ponto operacional significativo para pesquisadores focados em ganhos marginais por hora-GPU acessível, separando o que é alcançável através de engenharia cuidadosa daquilo que estritamente requer escala.