🤖 machine learning

Compute Where it Counts: Self Optimizing Language Models

Este artigo apresenta Modelos de Linguagem Auto-Otimizantes (SOL), um framework que acopla um LLM congelado a uma rede de política leve para alocar dinamicamente orçamentos de computação variáveis por token, ajustando esparsidade, poda e quantização, melhorando assim significativamente a qualidade e a eficiência da inferência em comparação com estratégias de alocação estática.

Autores originais: Yash Akhauri, Mohamed S. Abdelfattah

Publicado 2026-05-12

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yash Akhauri, Mohamed S. Abdelfattah

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está dirigindo um carro em uma longa viagem de estrada. A maioria dos modelos de IA atuais (Modelos de Linguagem de Grande Escala) percorre essa viagem usando uma estratégia de "configure e esqueça": eles usam exatamente a mesma quantidade de combustível e potência do motor para cada quilômetro, seja em uma estrada plana e vazia ou subindo uma montanha íngreme e rochosa.

Este artigo apresenta um novo sistema chamado Modelos de Linguagem Auto-Otimizáveis (SOL). Em vez de dirigir com uma configuração de motor fixa, o SOL age como um copiloto inteligente que verifica constantemente a estrada à frente e ajusta a potência do motor momento a momento.

Veja como funciona, dividido em conceitos simples:

1. O Problema: O Motor "Tamanho Único"

Os modelos de IA atuais geram texto uma palavra (ou "token") de cada vez. Para economizar dinheiro e energia, os engenheiros criaram maneiras de tornar o modelo "mais leve" ao:

Ignorar algum contexto: Olhar apenas para as palavras anteriores mais importantes (como ignorar ruídos de fundo).
Podar o cérebro: Desligar partes do processamento interno do modelo que não são necessárias no momento.
Reduzir a precisão: Fazer cálculos matemáticos com menos casas decimais (como arredondar números) para torná-lo mais rápido.

O problema é que esses métodos geralmente aplicam o mesmo nível de "leveza" a cada palavra.

O Erro: Se a IA estiver escrevendo uma palavra simples como "o", ela desperdiça energia usando um motor pesado e preciso. Se estiver escrevendo uma palavra complexa como "quântico", pode estar usando um motor leve e descuidado que comete um erro.

2. A Solução: O "Copiloto Inteligente" (A Política)

Os autores adicionaram um pequeno "copiloto" (uma pequena rede neural) ao modelo principal de IA.

O Modelo Principal: Este é o motor pesado e congelado. Ele sabe como falar e pensar, mas não altera suas próprias configurações.
O Copiloto: Esta é a nova parte. Em cada etapa da geração de uma palavra, o copiloto observa o que o modelo principal está pensando (seu "estado oculto") e pergunta: "Quão difícil será esta próxima palavra?"

Com base nessa resposta, o copiloto aciona uma chave para escolher a quantidade certa de esforço:

Palavra fácil? Diminua a potência (use menos memória, menor precisão, ignore mais contexto).
Palavra difícil? Aumente a potência (use precisão total, observe mais contexto, mantenha todas as partes do cérebro ativas).

3. O Treinamento: Aprendendo por "E Se?"

Como ensinar um copiloto a tomar essas decisões em frações de segundo? Não se pode simplesmente deixá-lo adivinhar e ver se falha, pois isso arruinaria o texto.

Em vez disso, os autores usaram um truque de treinamento inteligente chamado Contratualidades (ou cenários "E Se"):

Eles dão à IA uma frase para completar.
Geram a mesma frase exatamente 16 vezes seguidas.
Em cada uma dessas 16 tentativas, forçam o copiloto a fazer um conjunto diferente de escolhas (por exemplo: "Tente ser preguiçoso na etapa 1", "Tente ser super cuidadoso na etapa 2").
Comparam os resultados: Qual conjunto de escolhas produziu a melhor frase usando a menor quantidade de energia?
O copiloto aprende com essa comparação, percebendo: "Ah, eu deveria ter economizado minha energia para a etapa 12, não para a etapa 1."

4. O Aviso de "Poluição KV"

O artigo nota um efeito colateral complicado. Se você desligar partes do motor de forma muito agressiva, pode deixar dados "sujos" na memória do carro (chamados de poluição KV). Mesmo que você volte a ligar o motor na potência total mais tarde, esses dados sujos podem atrapalhar previsões futuras.

Para corrigir isso, o SOL funciona em rajadas curtas (chamadas de episódios). A cada 16 etapas, ele faz uma rápida "parada nos boxes" para limpar a memória de volta a um estado impecável antes de iniciar a próxima rajada. Isso garante que o carro não sofra um acidente mais tarde por causa de uma decisão preguiçosa tomada anteriormente.

5. Os Resultados: Quilômetros por Galão Melhores

Os autores testaram isso em vários modelos de IA (desde modelos pequenos de 1 bilhão de parâmetros até os grandes de 8 bilhões).

A Descoberta: Quando pediram à IA para usar uma quantidade específica de energia (um "orçamento"), o copiloto SOL produziu consistentemente texto de melhor qualidade do que modelos que usavam apenas uma configuração fixa.
A Analogia: Se você tem um orçamento de 10 galões de gasolina, um carro fixo pode levá-lo a 200 milhas. O carro SOL, mudando as marchas perfeitamente para cada colina e vale, leva você a 215 milhas com os mesmos 10 galões.

Resumo

Computar Onde Importa trata de ensinar a IA a deixar de ser um robô que faz tudo da mesma maneira. Em vez disso, ela aprende a ser um motorista inteligente que sabe quando deixar o carro deslizar e quando pisar fundo, garantindo que cada bit de poder de computação seja gasto exatamente onde é mais necessário.

Resumo Técnico: Computar Onde Importa: Modelos de Linguagem Auto-Otimizantes

Declaração do Problema

A pesquisa atual na eficiência de inferência de Modelos de Linguagem de Grande Escala (LLM) foca principalmente na redução do custo computacional de etapas individuais de decodificação por meio de técnicas estáticas, como quantização, poda e atenção esparsa. Esses métodos tipicamente aplicam um orçamento de computação uniforme a cada token gerado. No entanto, o artigo argumenta que a dificuldade do token varia significativamente; algumas etapas são localmente previsíveis, enquanto outras exigem contexto de longo alcance ou computações intermediárias precisas. Um orçamento fixo por token leva a supercomputação em etapas fáceis e subcomputação em etapas difíceis. Além disso, as decisões de eficiência não são independentes; uma compressão agressiva na etapa $t$ pode degradar o estado do cache Key-Value (KV), causando degradação de qualidade atrasada ("poluição de KV") em etapas futuras. Métodos existentes de "saída antecipada" ou adaptativos à profundidade abordam a pulagem de camadas, mas não modulam a execução de uma etapa de profundidade fixa em relação ao contexto, precisão e esparsidade.

Metodologia: Modelos de Linguagem Auto-Otimizantes (SOL)

Os autores propõem Modelos de Linguagem Auto-Otimizantes (SOL), um framework que aprende a alocar dinamicamente orçamentos de computação por token dentro de um único LLM congelado.

Arquitetura Central

Modelo Base Congelado: Os parâmetros do LLM subjacente ( $\theta$ ) permanecem inalterados.
Rede de Política Leve: Um pequeno transformador autoregressivo (o controlador) lê o estado oculto do LLM e características simples de progresso/orçamento. Ele seleciona uma ação de eficiência discreta em cada etapa de decodificação.
Espaço de Ação Unificado: Cada ação controla simultaneamente três mecanismos de eficiência ortogonais:
1. Esparsidade de atenção em nível de token (via o método Quest).
2. Poda estruturada de ativação MLP (via controle de canal estilo TEAL).
3. Largura de bits de quantização de ativação (via quantização falsa estilo ZeroQuant).
Horizonte de Controle: A decodificação é tratada como um problema de decisão sequencial sobre curtos episódios de comprimento $T$ (padrão $T=16$ ). Para mitigar os efeitos cumulativos da poluição de KV, o sistema realiza atualizações periódicas do cache KV (recalculando estados densos para os últimos $T$ tokens) após cada episódio.

Procedimento de Treinamento

A política é treinada usando Otimização de Política Relativa a Grupo (GRPO) com episódios forçados pelo professor:

Cronogramas Contrafactuais: Para uma entrada fixa e um caminho de token fixo (forçamento pelo professor), o sistema amostra $K$ cronogramas de computação diferentes (trajetórias) que variam apenas em suas ações de eficiência.
Função de Recompensa: A recompensa equilibra a qualidade do modelo de linguagem (log-verossimilhança do token) contra uma penalidade suave por desviar de um alvo de orçamento solicitado. O alvo de orçamento é fornecido como uma característica de entrada para a política, permitindo que uma única política opere em uma gama de regimes de eficiência.
Atribuição de Crédito: Um retorno descontado até o fim é usado para atribuir crédito por efeitos atrasados dentro do horizonte do episódio.

Inferência

No momento da inferência, a política seleciona ações de forma gananciosa com base no estado oculto atual e no alvo de orçamento solicitado. O controlador incorre em uma sobrecarga mínima e constante, proporcional ao horizonte de controle.

Contribuições Principais

Alocação de Orçamento por Token Aprendível: Introdução de uma política leve que aloca computação dinamicamente em cada etapa, mantendo o LLM base congelado.
Controle Unificado de Eficiência: A política opera em um espaço de ação unificado que controla simultaneamente a esparsidade de atenção, a poda de MLP e a quantização, em vez de ajustar um único mecanismo.
Eficiência Controlável via GRPO: Uma receita prática de treinamento usando trajetórias contrafactuais forçadas pelo professor e otimização relativa a grupo para aprender políticas que atingem de forma confiável os alvos de orçamento solicitados enquanto maximizam a qualidade.
Desempenho Pareto-Ótimo: O método descobre uma fronteira de qualidade-eficiência Pareto melhor comparada à alocação estática e à busca aleatória.

Resultados Experimentais

Os autores avaliaram o SOL em várias famílias de modelos (Llama-3.2-1B, 3B e Llama-3.1-8B-Instruct) e regimes de eficiência.

Compromisso Qualidade-Eficiência: Em todos os experimentos, o SOL consistentemente alcança menor perplexidade do que estratégias de base fixas (estáticas) em taxas de retenção líquida correspondentes. Essa melhoria persiste à medida que o espaço de ação cresce de 8 para 1.560 escolhas discretas.
Adesão ao Orçamento: A política rastreia com sucesso os alvos de orçamento solicitados (taxa de retenção de token, taxa de retenção de poda e razão de quantização) com alta fidelidade, caindo perto da linha de identidade em gráficos de solicitado versus realizado.
Precisão a Montante: Em tarefas a montante (MMLU, ARC, PiQA, Winogrande, GSM8K), o SOL melhora a precisão em até 7,3% em relação a estratégias de alocação de orçamento uniforme em orçamentos de computação correspondentes.
Comparação com Busca: O SOL rastreia o envelope inferior da paisagem de cronogramas aleatórios e supera a busca aleatória "melhor de 500" na maioria dos pontos de operação testados.
Sensibilidade ao Horizonte: O método permanece eficaz em diferentes horizontes de controle ( $T=4, 16, 64$ ), com o desempenho geralmente melhorando à medida que o horizonte aumenta, demonstrando robustez em relação a estratégias de gerenciamento de poluição de KV.

Significado e Alegações

O artigo alega que o SOL abre um eixo ortogonal de otimização de eficiência. Ao contrário de trabalhos anteriores que selecionam um único ponto de operação estático (por exemplo, "quantização de 8 bits" ou "50% de esparsidade"), o SOL aprende quanto computação gastar por token com base na dificuldade de geração e nas restrições de serviço.

Os autores enfatizam que essa abordagem permite controlabilidade no momento da implantação, onde uma única política pode se adaptar a requisitos de orçamento variados sem retreinamento. Ao tratar a alocação de computação como um problema de decisão sequencial em vez de uma heurística por etapa, o SOL aborda as dependências temporais das decisões de eficiência (poluição de KV) que os métodos estáticos ignoram. O trabalho sugere que aprender a "computar onde importa" oferece um caminho complementar às técnicas tradicionais de compressão para melhorar a eficiência de inferência de LLMs.