💬 NLP

MACRO: Markov Chain Routing of Transformer Layers

O artigo apresenta o MACRO, um framework que aprimora Grandes Modelos de Linguagem através da aprendizagem de políticas de roteamento de camadas dinâmicas e específicas para tarefas via cadeias de Markov sem modificar os pesos do modelo, alcançando melhorias significativas de precisão e tempos de busca mais rápidos em comparação com métodos existentes.

Autores originais: Paweł Batorski, Abtin Pourhadi, Akylgali Aitaza, Przemysław Spurek, Paul Swoboda

Publicado 2026-08-07

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Paweł Batorski, Abtin Pourhadi, Akylgali Aitaza, Przemysław Spurek, Paul Swoboda

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um robô superinteligente que lê livros e responde perguntas. Para fazer o seu trabalho, o robô tem uma longa linha de montagem de 28 ou 32 pequenos trabalhadores (chamados "camadas"). Em uma configuração padrão, cada pedaço de informação deve passar por cada um dos trabalhadores, do primeiro ao último, em uma linha estrita e imutável. É como um ônibus escolar que deve parar em cada uma das casas da rua, mesmo que o passageiro só precise descer três quarteirões adiante. É assim que a maioria dos modelos de IA funciona hoje: eles seguem um cronograma rígido, não importa se a pergunta é fácil ou difícil.

Mas e se o robô pudesse ser um pouco mais flexível? E se ele pudesse decidir pular um trabalhador que não é necessário, ou até mesmo voltar e pedir a um trabalhador anterior para conferir sua matemática? Essa ideia é chamada de "roteamento dinâmico". Pense nisso como um GPS que não apenas segue um mapa pré-impresso, mas pode desviar instantaneamente de um trânsito ou pegar um atalho. Cientistas têm tentado ensinar a IA a fazer isso, mas a maioria das tentativas é como tentar ensinar um motorista de ônibus a dirigir refazendo a fiação do motor toda vez que ele encontra uma nova estrada, ou contratando um guia separado e caro para gritar direções para cada passageiro. Isso é lento, custoso e muitas vezes quebra o cérebro do robô.

É aqui que um novo estudo chamado MACRO entra. Os pesquisadores fizeram uma pergunta simples: Podemos ensinar um robô congelado (cujo cérebro não temos permissão para mudar) a encontrar um caminho melhor através de seus próprios trabalhadores sem quebrar nada? Eles descobriram que, ao tratar o caminho do robô como um jogo de "escolha sua própria aventura" baseado em um conjunto de regras de probabilidade simples (chamadas cadeia de Markov), eles poderiam encontrar uma rota muito mais inteligente. Em vez de retreinar o robô ou usar guias caros, eles deixaram o robô explorar diferentes caminhos em algumas questões de prática, aprenderam um conjunto único de regras específicas para a tarefa para navegar por seus trabalhadores e, em seguida, usaram um truque matemático astuto para identificar a rota absoluta para aquela tarefa específica. Esta melhor rota é então usada uniformemente para todas as perguntas naquela tarefa, em vez de calcular um novo caminho para cada nova pergunta.

Os resultados são surpreendentemente eficazos. Em uma variedade de testes difíceis de matemática e ciência, o MACRO ajudou o robô a ficar significativamente mais inteligente. Por exemplo, em um benchmark de matemática difícil chamado GSM8K, um pequeno modelo de robô saltou de 43,4% de acertos para 69,5% — um salto massivo — apenas mudando a ordem em que visitava seus trabalhadores. Os pesquisadores descobriram que este método era muito mais rápido de configurar do que os métodos anteriores. Enquanto outras abordagens levavam quase 15 horas para descobrir o melhor caminho para uma tarefa, o MACRO fez isso em apenas 1,6 hora.

O insight fundamental é que o robô já sabia as respostas; ele só precisava de uma maneira melhor de "ouvir" seus próprios pensamentos internos. Ao permitir que o robô pulasse etapas desnecessárias ou voltasse para revisar seu trabalho, os pesquisadores desbloquearam o potencial oculto sem mudar um único peso no cérebro do robô. É como se eles não tivessem ensinado novos fatos ao robô, mas simplesmente o ensinassem a pensar de forma mais eficiente. O estudo sugere que, para muitas tarefas complexas, a resposta já estava dentro do modelo; nós apenas precisávamos de um mapa melhor para encontrá-la.

Resumo Técnico: MACRO – Roteamento de Camadas de Transformer via Cadeia de Markov

Definição do Problema
Os Grandes Modelos de Linguagem (LLMs) padrão executam blocos de transformer sequencialmente, da primeira à última camada, aderindo a um cronograma computacional rígido. Essa abordagem estática ignora o potencial de caminhos de computação dinâmicos que poderiam melhorar a precisão do raciocínio em tarefas complexas sem modificar os pesos subjacentes do modelo. Embora trabalhos anteriores tenham explorado a profundidade adaptativa principalmente para aceleração de inferência (ex: saídas antecipadas, queda estruturada de camadas), reestruturar ativamente a rota de execução de um modelo congelado para aumentar o desempenho permanece uma fronteira desafiadora. Métodos de roteamento dinâmico existentes enfrentam gargalos significativos: alguns exigem uma dispendiosa Busca em Árvore de Monte Carlo (MCTS) offline para geração de dados e treinamento (ex: Dr.LLM), outros exigem rótulos de verdade fundamental (ground-truth) durante a inferência, e alguns dependem de loops de busca por amostra que são computacionalmente proibitivos.

Metodologia
Os autores propõem o MACRO (Markov Chain Routing of Transformer Layers), um framework que aprende rotas de execução específicas para tarefas sobre arquiteturas de LLM congeladas. O MACRO modela o roteamento de camadas como uma política de Markov dependente de contexto, $\pi_\theta(a_t | s_t)$ , que dita a sequência de aplicações de camadas, saltos, repetições e adições de estados ocultos.

Espaço de Estado e de Ação: O estado $s_t$ é um resumo compacto que compreende o índice da camada atual ( $\ell$ ), a fase restante do orçamento de computação (inicial/média/final), o deslocamento da camada de entrada ( $\delta$ ) e o contexto do operador (se o estado oculto atual foi produzido por uma camada comum ou por uma adição). O espaço de ação inclui:
1. Movimento de Camada Local: Aplicar uma camada próxima $\ell + \Delta$ (permitindo saltos, repetições ou revisitas retroativas).
2. Adição-e-Aplicação (Add-and-Apply): Adicionar um estado oculto anterior $h_{t-b}$ ao estado atual $h_t$ (com um coeficiente $\gamma > 0$ ) antes de aplicar uma camada local.
3. Rejunção (Rejoin): Encerrar o prefixo aprendido e executar o sufixo padrão restante do transformer.
  Máscaras de viabilidade garantem que todos os programas amostrados permanham dentro dos limites das camadas e das restrições de orçamento.
Procedimento de Aprendizado: O MACRO utiliza uma abordagem de estimativa de distribuição. Partindo de um prior com viés para frente (onde o caminho sequencial padrão é o mais provável), o framework amostra iterativamente programas de roteamento candidatos, avalia-os em um subconjunto de dados de treinamento e atualiza a matriz de transição de Markov usando máxima verossimilhança ponderada. Rotas de alto desempenho são ponderadas exponencialmente para refinar a política. Um replay buffer garante a convergência estável, preservando a cobertura de exemplos de iterações anteriores.
Decodificação e Seleção: Diferente de métodos que dependem de amostragem estocástica ou busca por teste de tempo (test-time search) por amostra, o MACRO utiliza um algoritmo Viterbi top-k para decodificar deterministicamente os programas de roteamento de maior probabilidade a partir da política aprendida. Máscaras de viabilidade estrutural são integradas à recursão de Viterbi. A rota final é selecionada avaliando os candidatos top-k em um conjunto de validação mantido à parte, escolhendo aquele com a maior acurácia.

Principais Contribuições

Framework de Eficiência de Parâmetros: O MACRO introduz uma política de Markov leve e dependente de contexto para o roteamento adaptativo de camadas em LLMs congelados e quantizados, não exigindo atualizações nos pesos do modelo.
Esquema de Decodificação Exata: O artigo apresenta um esquema de decodificação Viterbi top-k exato equipado com máscaras de viabilidade estrutural. Isso elimina a necessidade de busca por teste de tempo por amostra, treinamento de rede neural auxiliar ou oráculos de inferência de verdade fundamental.
Superioridade Empírica: O framework demonstra melhorias consistentes sobre baselines não roteados e métodos de roteamento dinâmico existentes em diversos benchmarks de raciocínio e conhecimento.

Resultos
Avaliado em múltiplos LLMs de pesos abertos (incluindo variantes Qwen3, Mixtral e DeepSeek-R1-Distill) em benchmarks como GSM8K, MATH500, MedQA e MMLU-Pro:

Ganhos de Acurácia: O MACRO alcança um aumento médio de acurácia de +5,0% sobre os baselines não roteados. Os ganhos são mais pronunciados em modelos menores (ex: +12,68% no Qwen3-1.7B).
Comparação com SOTA: O MACRO supera o principal método de roteamento dinâmico, Dr.LLM, em +7,2% de acurácia média.
Eficiência: O processo de busca de rota é significativamente mais eficiente, reduzindo o tempo de busca em 9,4× (de 14,8 horas para 1,6 hora por benchmark) em comparação com o Dr.LLM.
Robustez: Testes de significância estatística confirmam que o MACRO melhora o desempenho em todos os modelos testados sem degradar nenhum benchmark.
Insight Mecanístico: A análise de logit-lens sugere que o roteamento melhora o desempenho não ao alterar as capacidades de raciocínio interno do modelo, mas ao expor melhor as respostas que já estão internamente representadas, evitando que sejam suprimidas próximo à saída.

Significância e Alegações
O artigo afirma que o MACRO representa um passo significativo para tornar a computação dinâmica prática para LLMs congelados. Ao formalizar o roteamento como um processo de Markov, os autores superam os custos computacionais e os requisitos de dados de métodos anteriores (como o treinamento impulsionado por MCTS). O trabalho argumenta que o roteamento serve como um mecanismo para "eliciar" respostas internamente presentes de forma mais eficaz, em vez de alterar fundamentalmente as representações aprendidas pelo modelo. Os autores postulam que esta abordagem deve ser estendida ainda mais para permitir o roteamento dinâmico dependente de entrada, oferecendo uma nova dimensão de escalonamento flexível de tempo de teste para LLMs. O método é particularmente notável por sua capacidade de melhorar o desempenho em modelos pequenos e por sua compatibilidade com modelos quantizados, sugerindo ampla aplicabilidade em ambientes de recursos limitados.

Resumo Técnico: MACRO – Roteamento de Camadas de Transformer via Cadeia de Markov

Mais como este