💬 NLP

What Layers When: Learning to Skip Compute in LLMs with Residual Gates

O artigo apresenta o **GateSkip**, um mecanismo de portões residuais que permite pular camadas de forma seletiva por token durante a inferência, reduzindo o custo computacional de modelos de linguagem sem a necessidade de retreinamento extensivo e mantendo alta precisão.

Autores originais: Filipe Laitenberger, Dawid Kopiczko, Cees G. M. Snoek, Yuki M. Asano

Publicado 2026-02-10

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Filipe Laitenberger, Dawid Kopiczko, Cees G. M. Snoek, Yuki M. Asano

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um assistente pessoal muito inteligente, mas que é um pouco "exagerado". Toda vez que você faz uma pergunta simples, como "Que horas são?", ele não apenas olha para o relógio, mas também abre um livro de história sobre a invenção do tempo, consulta o mapa das fusões horárias mundiais e escreve um ensaio sobre a percepção humana do tempo.

Ele te dá a resposta certa, mas gastou uma energia e um tempo absurdos para algo que era trivial.

O artigo "GateSkip" propõe uma solução para esse "exagero" nos modelos de Inteligência Artificial (os LLMs, como o ChatGPT).

Aqui está a explicação do que eles fizeram, usando analogias simples:

1. O Problema: O "Trabalho Braçal" Desnecessário

Atualmente, os modelos de IA tratam cada palavra de uma frase com o mesmo nível de intensidade. Se você escreve uma frase enorme, a IA gasta a mesma quantidade de "neurônios" e energia para processar a palavra "o" (um artigo simples) e para processar a palavra "fotossíntese" (um conceito complexo). É como se um atleta olímpico corresse uma maratona para ir buscar o controle remoto no sofá. Isso gasta muita eletricidade e tempo.

2. A Solução: O "Pedágio Inteligente" (GateSkip)

Os pesquisadores criaram o GateSkip. Imagine que cada camada de processamento da IA agora tem um "porteiro inteligente" (o gate ou portão).

Em vez de todo mundo passar por todas as salas de processamento, o porteiro olha para a palavra e decide:

"Essa palavra é fácil/óbvia (como um ponto final ou um artigo): Pode passar direto, não precisa de toda essa análise profunda!" (Isso é o layer skipping ou pular camadas).
"Essa palavra é difícil/crucial (como um termo técnico ou o núcleo de uma pergunta): Pare tudo! Essa palavra precisa passar por todas as salas de estudo para ser bem compreendida."

3. Como eles treinaram isso? (A analogia do Estagiário)

Eles não apenas deram as ordens; eles ensinaram o porteiro. Durante o treinamento, eles deram uma "recompensa" para o porteiro quando ele conseguia economizar esforço sem errar a resposta.

É como treinar um estagiário: no começo, ele quer conferir tudo dez vezes para não errar. Com o tempo e o treinamento (o que eles chamam de sparsity loss), ele aprende a confiar no que é óbvio e focar o esforço apenas no que realmente importa.

4. Os Resultados: Mais rápido e quase tão bom quanto

O que eles descobriram foi impressionante:

Economia de energia: Eles conseguiram reduzir o esforço de computação em até 15% a 50%.
Sem perda de inteligência: Mesmo trabalhando "menos", a IA continuou sendo quase tão inteligente quanto a versão original. Em alguns casos, como em modelos que já foram ajustados para conversar (instrução), a IA ficou até mais precisa, porque o sistema aprendeu a focar o "cérebro" nas partes importantes da conversa.
Eficiência real: Na prática, isso significa que a IA responde mais rápido e gasta menos recursos de servidores.

Resumo da Ópera

O GateSkip é como dar um "filtro de importância" para a IA. Em vez de ela ler cada letra de um livro com uma lupa de aumento, ela aprende a ler o texto normalmente e só usa a lupa quando encontra uma palavra difícil ou um detalhe crucial. Resultado: leitura mais rápida, menos cansaço (energia) e a mesma compreensão.

Resumo Técnico: GateSkip

1. O Problema: Ineficiência no Cálculo Uniforme

Atualmente, os Grandes Modelos de Linguagem (LLMs) baseados em arquitetura decoder-only alocam a mesma quantidade de computação para cada token em todas as camadas, independentemente da dificuldade da tarefa. Esse processo é ineficiente, pois muitos tokens (como pontuação ou palavras funcionais) exigem menos processamento do que palavras de conteúdo semântico.

As abordagens existentes para "computação adaptativa" enfrentam desafios:

Métodos baseados em roteamento (ex: Mixture-of-Depths): Utilizam decisões discretas que são instáveis durante o treinamento e exigem funções de perda complexas de balanceamento.
Métodos de Early-Exit: Adicionam cabeças auxiliares que alteram as representações ocultas pré-treinadas e podem falhar na calibração de confiança.
Necessidade de Retreinamento: A maioria exige que o modelo seja treinado do zero ou submetido a um ajuste massivo.

2. Metodologia: O Mecanismo GateSkip

Os autores propõem o GateSkip, um mecanismo de portão (gating) no fluxo residual que permite o salto de camadas (layer skipping) de forma token-wise (por token).

Componentes Principais:

Portões Residuais (Residual Gates): Cada ramo de Atenção e MLP é equipado com um pequeno portão linear seguido de uma ativação sigmoide ( $\sigma$ ). O portão produz um valor que multiplica o elemento a elemento a saída do módulo antes de ela ser somada ao fluxo residual.
Treinamento Estável: Ao contrário de roteadores discretos, os portões do GateSkip são suaves e diferenciáveis. Isso permite que o método seja treinado sobre modelos já pré-treinados sem desestabilizar a otimização.
Função de Perda (Loss Function): O treinamento minimiza a perda de linguagem padrão ( $L_{CE}$ ) somada a uma penalidade de esparsidade ( $L_S$ ), que utiliza a distância L2 para incentivar os portões a permanecerem próximos de zero, promovendo a compressão.
Seleção de Tokens na Inferência: Durante a inferência, os tokens são classificados por seus scores de importância (derivados dos portões). Utiliza-se um limiar de quantil para decidir quais tokens serão processados e quais serão "pulados" (apenas copiando seu estado oculto e cache KV para a próxima camada), respeitando um orçamento de computação pré-definido.

3. Principais Contribuições

Mecanismo de Gating Suave: Introdução de um método que permite decisões de salto determinísticas na inferência, mas que utiliza gradientes suaves no treinamento.
Eficiência sem Colapso: Demonstração de que é possível reduzir o custo computacional sem o colapso de performance comum em métodos de roteamento baseados em Mixture-of-Depths.
Compatibilidade: O método é ortogonal a outras técnicas, funcionando perfeitamente com quantização (4-bit), poda (pruning) e decodificação especulativa.
Insights de Interpretabilidade: O estudo revela como a informação flui nos Transformers, mostrando que tokens de início de sequência (BOS) e pontuação atuam como "âncoras" estruturais.

4. Resultados Experimentais

Os testes foram realizados em modelos Llama 3.1/3.2 e Gemma 2.

Raciocínio de Longo Formato (Generative Reasoning): O GateSkip economiza até 15% de computação mantendo mais de 90% da precisão original.
Modelos Ajustados para Instrução (Instruct Models): Surpreendentemente, o GateSkip melhora a precisão em computação total e consegue igualar a qualidade do modelo base mesmo com uma economia de quase 50% de computação.
Comparação com o Estado da Arte: O GateSkip superou significativamente o Mixture-of-Depths (MoD) e métodos de early-exit em tarefas generativas, onde os outros métodos frequentemente falham ou apresentam queda abrupta de performance.
Latência e Throughput: Testes em ambiente vLLM confirmaram que as economias teóricas de FLOPs se traduzem em ganhos reais de velocidade e aumento de throughput.

5. Significância e Conclusão

O GateSkip representa um avanço importante para a implantação de LLMs em ambientes com recursos limitados ou sensíveis à latência. Ao transformar o fluxo residual em um mecanismo de controle de profundidade adaptativa, os autores provaram que a eficiência não precisa vir à custa da estabilidade ou da capacidade de raciocínio do modelo. Além disso, a capacidade do mecanismo de destacar tokens de "perigo" (como em solicitações de armas químicas) sugere aplicações promissoras em ferramentas de segurança e interpretabilidade de modelos.