🤖 machine learning

Star Elastic: Many-in-One Reasoning LLMs with Efficient Budget Control

Star Elastic é um novo método de pós-treinamento que gera eficientemente múltiplos submodelos de raciocínio aninhados a partir de um único modelo pai por meio de uma única execução de treinamento, permitindo controle orçamentário dinâmico e específico de fase que reduz significativamente os custos de treinamento enquanto melhora o trade-off entre precisão e latência em comparação com baselines de treinamento independente ou compressão.

Autores originais: Ali Taghibakhshi, Ruisi Cai, Saurav Muralidharan, Sharath Turuvekere Sreenivas, Aditya Vavre, Ameya Sunil Mahabaleshwarkar, Bilal Kartal, Sheldon Liang, Marcin Chochowski, Zijia Chen, Akhiad Bercovich

Publicado 2026-05-11

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ali Taghibakhshi, Ruisi Cai, Saurav Muralidharan, Sharath Turuvekere Sreenivas, Aditya Vavre, Ameya Sunil Mahabaleshwarkar, Bilal Kartal, Sheldon Liang, Marcin Chochowski, Zijia Chen, Akhiad Bercovich, Ran Zilberstein, Ran El-Yaniv, Yonatan Geifman, Daniel Korzekwa, Yoshi Suhara, Oluwatobi Olabiyi, Ashwath Aithal, Nima Tajbakhsh, Pavlo Molchanov

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você possui uma cozinha enorme e de alto padrão, projetada para preparar refeições gourmet para uma multidão. Esta cozinha é o seu Modelo de Linguagem de Grande Escala (LLM).

Tradicionalmente, se você quisesse servir um jantar familiar pequeno, uma festa média e um grande banquete, precisaria construir três cozinhas completamente separadas. Você teria que comprar três conjuntos de fornos, contratar três equipes diferentes de chefs e pagar por três projetos de construção distintos. Isso é incrivelmente caro e desperdiçador.

Star Elastic é uma nova invenção que muda o jogo. Em vez de construir três cozinhas, ela constrói uma cozinha superflexível que pode se transformar instantaneamente para atender a qualquer necessidade.

Veja como funciona, dividido em conceitos simples:

1. O Truque de "Uma Cozinha, Muitos Tamanhos"

Geralmente, para obter um modelo de IA menor e mais barato, os pesquisadores precisam treinar um gigante e, em seguida, tentar "encolhê-lo" cortando partes (como podar uma árvore). Isso é lento, caro e frequentemente resulta em um modelo que não é tão inteligente quanto se tivesse sido treinado do zero.

Star Elastic faz algo diferente. Ele pega um único modelo gigante "Pai" (o Nemotron Nano v3) e ensina a ele uma habilidade especial: como ser muitos tamanhos diferentes ao mesmo tempo.

Pense nisso como uma Boneca Russa (Matryoshka). Dentro da boneca grande de 30 bilhões de parâmetros, há uma boneca perfeita de 23 bilhões de parâmetros, e dentro desta, uma boneca perfeita de 12 bilhões de parâmetros.
Todas elas vivem na mesma "casa" (o mesmo arquivo de computador). Você não precisa baixar três arquivos diferentes; basta abrir o grande e dizer: "Hoje eu só preciso da versão pequena."

2. O "Roteador Inteligente" (O Gerente da Cozinha)

Como o modelo sabe quais partes usar? Ele usa um Roteador Aprendizável.

Imagine um gerente de cozinha que olha para o seu pedido.
Se você pedir uma salada simples (uma pergunta simples), o gerente diz: "Ok, vamos usar apenas o liquidificador pequeno e o conjunto básico de facas."
Se você pedir um soufflé complexo (um problema matemático difícil), o gerente diz: "Precisamos do forno grande, da batedeira pesada e de todos os chefs!"
O artigo mostra que este gerente é treinado para saber exatamente quais partes da "cozinha" são as mais importantes. Ele mantém as melhores ferramentas para as versões pequenas e adiciona apenas as ferramentas extras pesadas quando a versão grande é necessária.

3. A Estratégia de "Pensar vs. Responder"

Este é o truque mais inteligente do artigo, chamado Controle Orçamentário Elástico.

Quando uma IA resolve um problema difícil, ela geralmente faz duas coisas: Pensar (raciocinar através dos passos) e Responder (escrever o resultado final).
Jeito Antigo: A IA usa o mesmo "tamanho de cérebro" para pensar e responder. É como usar um caminhão gigante e faminto por combustível para ir à mercearia e depois ao correio, mesmo que o correio esteja apenas na rua seguinte.
Jeito Star Elastic: A IA pode mudar de marcha!
- Fase 1 (Pensar): Ela usa o modelo menor e mais rápido para brainstormar e pensar no problema. Isso é barato e rápido.
- Fase 2 (Responder): Assim que o pensamento termina, ela muda para o modelo maior e mais inteligente apenas para escrever a resposta final. Isso garante que a resposta seja perfeita.
O Resultado: Você obtém a precisão do cérebro gigante, mas com a velocidade e o custo do cérebro pequeno. O artigo afirma que isso pode tornar a IA 16% mais precisa e 1,9 vezes mais rápida do que usar um único tamanho fixo.

4. O "Corte Mágico" (Extração Zero-Shot)

Geralmente, se você quer um modelo menor, precisa treiná-lo por meses. Com o Star Elastic, o "corte" acontece instantaneamente.

Como o modelo foi treinado para ser flexível desde o início, você pode "cortar" as versões pequenas ou médias zero-shot.
Isso significa que você não precisa re treiná-los. Você apenas pega o arquivo grande, aplica o "corte" e, pronto — você tem um modelo pequeno funcional e de alta qualidade pronto para uso imediato.
O artigo afirma que isso economiza 360 vezes o custo de treinamento em comparação com a construção de modelos do zero e 7 vezes o custo dos métodos de compressão anteriores.

5. A "Malinha Minúscula" (Quantização)

Finalmente, o artigo fala sobre tornar esses modelos ainda menores para telefones ou computadores pequenos.

Eles usam uma técnica chamada Destilação Consciente de Quantização. Imagine pegar uma pintura pesada em alta definição e transformá-la em um arquivo digital que ocupa muito pouco espaço, mas ainda parece perfeito.
Eles criaram versões de seus modelos que cabem em formatos de 4 bits ou 8 bits (pegadas digitais muito pequenas).
Mesmo nesses formatos minúsculos, o truque da "Boneca Russa" ainda funciona. Você ainda pode cortar as versões pequena, média e grande de um único arquivo minúsculo.

Resumo das Vantagens

Custo: Você treina uma vez e obtém muitos modelos. É como comprar um único ingresso para um parque temático que permite andar em todas as montanhas-russas, em vez de comprar um ingresso separado para cada atração.
Velocidade: Ao usar um cérebro pequeno para pensar e um cérebro grande para responder, você economiza tempo e dinheiro.
Armazenamento: Você só precisa armazenar um arquivo para ter acesso a três tamanhos diferentes de modelo.

Em resumo, Star Elastic nos impede de construir modelos de IA separados e rígidos para cada trabalho. Em vez disso, constrói uma IA camaleônica que pode mudar instantaneamente seu tamanho e poder para se adequar à tarefa, economizando quantidades massivas de dinheiro e tempo enquanto, na verdade, fica mais inteligente.

Resumo Técnico: Star Elastic

Declaração do Problema

O treinamento de famílias de Modelos de Linguagem de Grande Escala (LLMs) com diferentes contagens de parâmetros é atualmente proibitivamente caro e ineficiente. Abordagens tradicionais exigem execuções de treinamento separadas para cada tamanho de modelo, multiplicando custos computacionais e de armazenamento. Embora métodos recentes de compressão (por exemplo, poda estruturada e destilação de conhecimento) reduzam custos ao derivar modelos menores de um pai grande, eles ainda demandam centenas de bilhões de tokens por modelo comprimido e frequentemente falham em suportar arquiteturas heterogêneas.

Além disso, os existentes frameworks de raciocínio eficiente sofrem de rigidez arquitetural. Eles alocam recursos estáticos independentemente da dificuldade do token, forçando o uso de um único tamanho de modelo para ambas as fases de inferência: "pensamento" (raciocínio) e "resposta". Isso leva a ineficiências computacionais quando as fases possuem complexidades desiguais. Finalmente, os atuais modelos aninhados elásticos (por exemplo, Nemotron Elastic) foram limitados a arquiteturas Mamba-Attention, carecendo de suporte para os designs híbridos Mamba-Attention-Mistura de Especialistas (MoE) cada vez mais populares.

Metodologia: Star Elastic

Star Elastic é um método de pós-treinamento projetado para gerar $N$ submodelos aninhados a partir de um único modelo pai de raciocínio utilizando a computação de uma única execução de treinamento. Ele visa arquiteturas híbridas Mamba-Attention-MoE e introduz controle orçamentário elástico para inferência dinâmica.

1. Construção de Modelo Elástico

O pipeline converte um LLM existente em um modelo elástico através de três estágios:

Estimativa de Importância: Componentes são classificados por importância para guiar a poda.
- Largura: A pontuação baseada em ativação é estendida para arquiteturas híbridas. Pontuações são computadas para canais de incorporação, canais FFN/MoE, cabeças/canais Mamba e cabeças de atenção. Para camadas MoE, utiliza-se Poda de Ativação de Especialista Ponderada pelo Roteador (REAP), medindo a contribuição de um especialista para a magnitude da saída com base nos pesos de roteamento e nas normas de ativação.
- Profundidade: A importância da camada é estimada iterativamente usando o Erro Quadrático Médio (MSE) normalizado entre os logits do modelo completo e os logits com camadas específicas removidas.
Formulação Elástica: O modelo suporta aninhamento ao longo dos eixos de largura e profundidade.
- Largura: Sub-redes selecionam subconjuntos de componentes (dimensões de incorporação, cabeças, especialistas, canais FFN) com base na classificação de importância. Configurações heterogêneas permitem seleção independente por camada.
- Profundidade: Um vetor de seleção binário determina as camadas ativas, removendo primeiro as menos importantes.
Treinamento Elástico: Um roteador aprendível mapeia especificações orçamentárias fornecidas pelo usuário para configurações arquiteturais ótimas.
- O roteador usa Gumbel-Softmax para produzir máscaras diferenciáveis para treinamento.
- Função de Perda: Combina Destilação de Conhecimento (KD) do pai não elástico com uma perda de roteador que alinha configurações selecionadas com restrições de hardware (latência, memória).
- Currículo de Dois Estágios:
  1. Estágio 1 (Contexto Curto): Amostragem orçamentária uniforme em todos os tamanhos alvo para evitar competição de gradientes.
  2. Estágio 2 (Contexto Estendido): Amostragem não uniforme priorizando orçamentos maiores (por exemplo, 50% para o modelo completo) para garantir que as capacidades de raciocínio sejam preservadas em variantes maiores, enquanto modelos menores se adaptam a cadeias de raciocínio de contexto longo.

2. Controle Orçamentário Elástico

Star Elastic permite a seleção dinâmica de modelos durante as fases de inferência:

Fase de Pensamento: Usa um submodelo menor ( $\mathcal{M}_S$ ) para gerar extensas trilhas de raciocínio com sobrecarga mínima.
Fase de Resposta: Alterna para um submodelo maior ( $\mathcal{M}_L$ ) para sintetizar a resposta final com maior fidelidade.
Compatibilidade de Cache: A arquitetura preserva as estruturas das camadas Mamba e de atenção em modelos aninhados, permitindo que os estados de cache KV e SSM sejam transplantados entre submodelos (embora o suporte atual do framework para reutilização transparente seja limitado, a arquitetura permite isso).

3. Destilação Sensível à Quantização (QAD)

Para suportar implantação em regimes quantizados (FP8 e NVFP4), Star Elastic aplica QAD.

FP8: Alcançado via Quantização Pós-Treinamento (PTQ) no checkpoint elástico BF16.
NVFP4: Requer uma fase curta de QAD onde um aluno quantizado é destilado a partir do professor BF16 usando a mesma hierarquia de máscaras aninhadas. Isso recupera a precisão perdida durante o PTQ enquanto preserva a capacidade de fatiamento zero-shot.

Contribuições Principais

Primeira Pós-Treinamento Elástico para MoE Híbrido: Estende o framework Nemotron Elastic de Mamba-Attention para arquiteturas híbridas Mamba-Attention-MoE, introduzindo REAP para classificação de especialistas e seleção heterogênea por camada.
Controle Orçamentário Elástico: Introduz um esquema de inferência dinâmica que aloca diferentes submodelos para as fases de pensamento e resposta, otimizando a fronteira de Pareto precisão-latência.
Roteador Aprendível: Um roteador que determina automaticamente arquiteturas aninhadas via treinamento de ponta a ponta, otimizando tanto a precisão quanto as restrições de recursos sem desacoplar a configuração dos objetivos de treinamento.
Redução Significativa de Custos: Demonstra uma redução de 360× nos tokens de treinamento comparado ao pré-treinamento do zero e uma redução de 7× sobre métodos de compressão state-of-the-art para gerar famílias de modelos.
Elasticidade Quantizada: Produz checkpoints aninhados NVFP4 e FP8 que preservam o fatiamento zero-shot, permitindo a implantação de múltiplos tamanhos de modelo a partir de um único arquivo quantizado.

Resultados Experimentais

O método foi aplicado ao Nemotron Nano v3 (30B/3.6A), gerando variantes de 23B (2.8A) e 12B (2.0A) usando 160B tokens de treinamento.

Precisão: Todos os modelos aninhados igualam ou superam baselines treinadas independentemente de tamanho comparável. Por exemplo, a variante Elástica de 23B superou o Qwen3-30B-A3B treinado independentemente no LiveCodeBench e no IFBench.
Eficiência:
- Treinamento: Redução de 360× em tokens vs. pré-treinamento; redução de 7× vs. compressão sequencial.
- Memória de Implantação: Armazenar as variantes de 12B, 23B e 30B em um único checkpoint elástico requer 58,9 GB (BF16), comparado a 126,1 GB para checkpoints separados.
- Vazão: Modelos aninhados alcançam até 2,4× de aceleração na vazão em GPUs H100.
Controle Orçamentário Elástico: A estratégia $\mathcal{M}_S \to \mathcal{M}_L$ (Pensamento Pequeno $\to$ Resposta Grande) alcança até 16% de precisão superior e 1,9× menor latência comparado ao controle orçamentário estático, avançando significativamente a fronteira de Pareto precisão-velocidade.
Quantização: Variantes FP8 e NVFP4 recuperam 97–100% da precisão BF16 enquanto habilitam a implantação em GPUs de nível de consumidor (por exemplo, RTX 5080) onde variantes BF16 resultariam em OOM (excesso de memória).

Significado e Alegações

O artigo alega que o Star Elastic muda fundamentalmente o paradigma para implantação de LLMs de raciocínio ao:

Eliminar Treinamento Redundante: Tornar a criação de famílias de modelos um processo de passagem única em vez de uma série de execuções independentes e caras.
Desbloquear Inferência Dinâmica: Ir além de arquiteturas estáticas para permitir alocação de recursos que corresponda às demandas computacionais específicas de raciocínio versus síntese de resposta.
Preencher a Lacuna para Quantização: Provar que estruturas elásticas e aninhadas podem ser preservadas em formatos de baixa precisão (NVFP4/FP8), habilitando raciocínio de alto desempenho em hardware com recursos limitados sem sacrificar a flexibilidade de múltiplos tamanhos de modelo.

Os autores posicionam este trabalho como um passo em direção a LLMs de raciocínio "muitos-em-um" que são tanto state-of-the-art em precisão quanto altamente custo-efetivos para diversos cenários de implantação.