💻 computer science

Where to Begin: Efficient Pretraining via Subnetwork Selection and Distillation

Este artigo apresenta um framework eficiente para o pré-treinamento de Pequenos Modelos de Linguagem (SLMs) que combina busca evolucionária para identificar inicializações de subredes estruturalmente esparsas com destilação de conhecimento de modelos maiores, alcançando um desempenho comparável aos baselines padrão enquanto reduz significativamente os custos computacionais.

Autores originais: Arjun Krishnakumar, Rhea Sanjay Sukthanker, Hannan Javed Mahadik, Gabriela Kadlecová, Vladyslav Moroshan, Timur Carstensen, Frank Hutter, Aaron Klein

Publicado 2026-01-15

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Arjun Krishnakumar, Rhea Sanjay Sukthanker, Hannan Javed Mahadik, Gabriela Kadlecová, Vladyslav Moroshan, Timur Carstensen, Frank Hutter, Aaron Klein

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: Construir uma Biblioteca Gigante é Caro

Imagine que você quer construir uma enorme biblioteca de conhecimento (um Grande Modelo de Linguagem, ou LLM) que possa responder a qualquer pergunta. Tradicionalmente, para construir essa biblioteca, você tem que contratar milhões de pessoas (parâmetros), dar a todas elas cadernos em branco e fazê-las ler toda a internet do zero. Isso leva uma quantidade enorme de tempo, dinheiro e eletricidade.

Embora os "Pequenos Modelos de Linguagem" (SLMs) sejam mais baratos de construir por serem menores, eles ainda são caros demais para a maioria dos pesquisadores comuns ou pequenas empresas construírem do zero. Eles precisam de um atalho.

A Solução: O Framework "Whittle"

Os autores deste artigo propõem uma nova maneira de construir essas bibliotecas menores. Eles chamam seu framework de Whittle. Em vez de contratar novas pessoas e começar com cadernos em branco, eles pegam uma biblioteca existente, gigante e altamente instruída (um modelo "Professor" grande) e tentam encontrar a equipe menor perfeita dentro dela que possa realizar o trabalho tão bem quanto a original.

Eles fazem isso usando três truques principais:

1. Encontrando a "Subequipe de Ouro" (Seleção de Sub-rede)

Imagine que a biblioteca gigante é uma orquestra massiva com milhares de músicos. Você não precisa da orquestra inteira para tocar uma música específica; você só precisa da seção certa.

O Jeito Antigo: Geralmente, se você quer um modelo pequeno, você apenas escolhe alguns músicos aleatoriamente e torce para que eles consigam tocar.
O Jeito Novo: Os autores usam uma ferramenta de busca inteligente (chamada Busca Evolutiva) para vasculhar a orquestra gigante e encontrar o grupo específico de músicos que já conhece a música perfeitamente. Eles não apenas escolhem pessoas aleatórias; eles procuram pela "sub-rede" específica de neurônios que já está realizando o trabalho pesado.
O Resultado: Eles descobriram que essas "subequipes" pré-selecionadas são muito melhores em aprender do que grupos aleatórios do mesmo tamanho.

2. O Método do "Copiador Inteligente" (Destilação de Conhecimento)

Uma vez que eles têm sua pequena subequipe, eles não a deixam aprender com a internet sozinha. Em vez disso, eles os colocam em uma sala de aula com a biblioteca gigante original (o Professor).

Como funciona: O Professor não diz apenas "A resposta é A". O Professor diz: "A resposta é A, mas é muito provável que seja A, um pouco provável que seja B e improvável que seja C". Isso dá à pequena equipe uma compreensão muito mais rica do mundo.
A Analogia: É como um mestre chef ensinando um aprendiz. Em vez de apenas mostrar o prato final, o mestre explica os sabores sutis e as técnicas. O aprendiz aprende mais rápido e comete menos erros.

3. O "Espaço de Busca" (Tentando Diferentes Combinações)

Os autores perceberam que nem todas as "subequipes" são criadas da mesma forma. Às vezes você precisa reduzir o número de camadas (como remover andares de um edifício) e, às vezes, você precisa reduzir a largura (como remover colunas).

Eles testaram quatro maneiras diferentes de cortar o modelo:
- Coarse (Grosseira): Cortando grandes blocos (como remover andares inteiros).
- Fine-grained (Granular): Cortando pedaços minúsculos (como remover tijolos específicos).
- Uniform (Uniforme): Tornando todo o modelo menor de forma equilibrada.
- Layer-wise (Por Camada): Tornando diferentes partes do modelo menores de formas diferentes.
A Descoberta: Eles descobriram que para modelos muito pequenos, ser "granular" (cortar pedaços minúsculos) funcionava melhor. Mas para modelos pequenos maiores, ser "grosseiro" (cortar grandes blocos) era, na verdade, melhor.

Os Resultados: Fazendo Mais com Menos

O artigo afirma que, ao usar este método, eles podem construir modelos pequenos que performam tão bem quanto modelos treinados do zero, mas com uma redução massiva de custo:

Velocidade: O melhor modelo deles atingiu o mesmo nível de inteligência de um modelo pequeno padrão, mas exigiu 5,16 vezes menos cálculos (FLOPs) para um tamanho de treinamento específico.
Eficiência: É como construir uma casa que é tão robusta quanto uma mansão, mas usando apenas 20% dos tijolos e da mão de obra.
Código Aberto: Ao contrário de alguns métodos usados por grandes empresas de tecnologia que são secretos, os autores liberaram todo o seu código e ferramentas (a biblioteca "Whittle") para que qualquer pessoa possa usar este método.

Resumo

Pense neste artigo como um guia sobre como reciclar um modelo de IA gigante, caro e sofisticado em um modelo menor, mais barato e altamente eficiente. Em vez de construir um carro novo do zero, eles pegam um carro de luxo, removem cuidadosamente as partes de que não precisam e ajustam o motor restante para que ele funcione perfeitamente com menos combustível, tudo isso enquanto o ensinam usando o conhecimento do carro de luxo original.

Resumo Técnico: POR ONDE COMEÇAR: PRÉ-TREINAMENTO EFICIENTE VIA SELEÇÃO DE SUB-REDE E DESTILAÇÃO

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham alcançado o estado da arte através de escala massiva, seus custos de treinamento e implantação são proibitivos para muitos grupos de pesquisa e ambientes com restrição de recursos. Os Pequenos Modelos de Linguagem (SLMs) oferecem uma alternativa mais acessível, mas ainda assim exigem recursos computacionais substanciais para o pré-treinamento. Estratégias existentes para reduzir esses custos, como a destilação de conhecimento de LLMs de pesos abertos ou poda (pruning), frequentemente dependem de implementações de código fechado (ex: variantes do Llama 3.2, Minitron) ou carecem de um framework sistemático e reprodutível para descobrir inicializações de sub-redes ótimas. Além mais, os mecanismos pelos quais os modelos professores melhoram a eficiência do pré-treinamento de SLMs permanecem pouco compreendidos.

Metodologia

Os autores propõem um framework de três componentes para tornar o pré-treinamento de SLMs substancialmente mais eficiente:

Inicialização de Sub-Rede: Em vez de inicialização aleatória, o framework extrai sub-redes estruturalmente esparsas de um modelo professor maior e pré-treinado. Os autores definem quatro espaços de busca distintos para explorar como os pesos são selecionados:
- Coarse vs. Fine-grained (Grosseiro vs. Granular): A seleção coarse pega as primeiras $n$ entradas de um componente (ex: as primeiras $n$ cabeças de atenção), enquanto a seleção fine-grained amostra índices arbitrários.
- Uniform vs. Layer-wise (Uniforme vs. Por Camada): O método uniform aplica a mesma configuração em todas as camadas, enquanto o layer-wise permite que cada camada tenha configurações independentes.
- Isso resulta em quatro espaços de busca: Coarse Uniform, Coarse Layer-wise, Fine-grained Uniform e Fine-grained Layer-wise.
Busca Evolutiva com Restrições: Para identificar sub-redes de alta qualidade dentro de orçamentos de parâmetros específicos, os autores empregam um algoritmo de busca evolutiva.
- O espaço de parâmetros é particionado em "bins" (compartimentos) disjuntos (ex: 385M–426M, 961M–1.06B) para garantir uma cobertura equilibrada de tamanhos de modelo.
- Dentro de cada bin, uma população de arquiteturas candidatas é evoluída usando operadores de mutação e cruzamento.
- Imposição de Restrições: A amostragem por rejeição é usada para garantir que as arquiteturas candidatas adiram estritamente à contagem de parâmetros do bin alvo.
- Função de Aptidão (Fitness Function): Os candidatos são avaliados com base na perplexidade de validação em um pequeno orçamento de tokens (2B tokens) para guiar a busca em direção a inicializações ótimas.
Destilação de Conhecimento: As sub-redes selecionadas são pré-treinadas usando destilação de conhecimento do mesmo modelo professor do qual foram extraídas.
- A função de perda combina a entropia cruzada padrão com a divergência KL direta entre as distribuições de logits do professor e do aluno.
- Para melhorar a eficiência computacional, os autores utilizam a Destilação de Logit Top-k, truncando a distribuição do professor para suas $k$ saídas mais salientes (ex: $k=1024$ ).

Principais Contribuições

Framework de Código Aberto Sistemático: Os autores introduzem o Whittle, uma biblioteca totalmente de código aberto que permite a extração de sub-redes de modelos do Hugging Face, suporta o design flexível de espaços de busca e facilita todo o pipeline, da busca ao pré-treinamento e destilação.
Estratégia de Inicialização de Sub-Rede: Eles demonstram que extrair sub-redes de professores pré-treinados produz pontos de partida significativamente melhores do que a inicialização aleatória. Por exemplo, variantes menores (~410M de parâmetros) requerem 1,71× menos FLOPs para igualar a perplexidade de validação de um modelo Pythia comparável treinado do zero.
Análise Abrangente: O artigo fornece a primeira comparação sistemática da inicialização de sub-rede sob destilação de conhecimento versus treinamento de entropia cruzada padrão, analisando o impacto do tamanho do professor, da granularidade do espaço de busca e dos hiperparâmetros de destilação.
Validação Empírica: Experimentos na família Pythia (professores de 6.9B e 12B) mostam que os melhores modelos, descobertos via busca evolutiva e inicializados com pesos do professor, igualam o desempenho de SLMs Pythia comparáveis, enquanto requerem significativamente menos operações de ponto flutuante (FLOPs).

Resultados

Ganhos de Eficiência:
- Para um modelo de 410M de parâmetros (Bin 1), o método alcança a mesma perplexidade de validação com 1,71× menos FLOPs comparado a um pré-treinamento padrão do Pythia-410M.
- Para um modelo de 1B de parâmetros (Bin 2), a economia aumenta para 1,75×.
- Para um modelo de 2.8B de parâmetros (Bin 3), o método requer 5,16× menos FLOPs para igualar a perplexidade de validação de um Pythia-2.8B comparável treinado com um orçamento de 10B de tokens.
- Em um orçamento de 100B de tokens, a variante de 2.8B ainda alcança uma redução de 1,26× em FLOPs enquanto atinge uma perplexidade de validação final menor que a do baseline.
Descobertas do Espaço de Busca:
- Granularidade: O espaço de busca ideal depende do tamanho do modelo. Para variantes maiores (Bin 3), o espaço menos granular (Coarse Uniform) produz os melhores resultados. Para variantes menores (Bin 1), espaços mais granulares como Fine-grained Uniform performam melhor.
- Destilação: A destilação melhora consistentemente a perplexidade sobre o pré-treinamento padrão. O uso da distribuição de logit completa geralmente produz uma perplexidade menor do que a truncagem Top-k, embora o Top-k seja usado para eficiência nos experimentos principais.
- Métrica de Busca: Otimizar diretamente para perplexidade durante a fase de busca supera métricas de proxy como magnitude de peso ou pontuações de importância baseadas em ativação.
Desempenho em Tarefas Downstream: Sub-redes inicializadas a partir da super-rede superam consistentemente tanto as versões inicializadas aleatoriamente da mesma arquitetura quanto os modelos originais Pythia de tamanho comparável em benchmarks comuns de senso comum e resposta a perguntas (COPA, MMLU, HellaSwag, etc.). Notavelmente, sub-redes extraídas do professor menor de 6.9B frequentemente superaram as do professor de 12B.

Significância e Alegações

O artigo afirma apresentar o primeiro estudo sistemático e de código aberto de "warm-start" de modelos alunos a partir de professores maiores para pré-treinamento. A significância reside em fornecer um caminho prático e reprodutível para o desenvolvimento de SLMs com custo-eficiência. Ao combinar a busca evolutiva para descoberta de sub-redes com a destilação de conhecimento, os autores demonstram que o pré-treinamento de SLMs pode ser acelerado em até 9,2× (excluindo custos de busca) ou 5,16× (incluindo custos de busca) em comparação ao baseline de SLMs de tamanho similar.

Os autores enfatizam que sua abordagem evita o caro pré-treinamento de super-rede exigido pelos métodos tradicionais de Busca de Arquitetura Neural (NAS), aproveitando LLMs de pesos abertos existentes. Eles concluem que, embora o método seja altamente eficaz, trabalhos futuros são necessários para derivar leis de escala para essas estratégias de inicialização e para investigar o impacto da escolha do modelo professor (ex: multilíngue vs. monolíngue) no desempenho do aluno. Os autores declaram explicitamente que suas descobertas oferecem diretrizes para o pré-treinamento de SLMs computacionalmente otimizado em diferentes escalas.