💬 NLP

From Observation to Intervention: A Causal Audit of Expert Importance in Mixture-of-Experts Models

Este artigo demonstra, por meio de uma auditoria intervencional ao nível de token de três modelos de Mixture-of-Experts, que métricas observacionais comuns de roteamento falham em prever a importância causal dos especialistas, revelando que os métodos de poda existentes têm sucesso devido à redundância nas camadas iniciais, em vez da identificação precisa de especialistas dispensáveis.

Autores originais: Leonard Engmann, Christian Medeiros Adriano, Holger Giese

Publicado 2026-06-10

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Leonard Engmann, Christian Medeiros Adriano, Holger Giese

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma cozinha tecnológica e massiva com 64 chefs diferentes (os "especialistas") trabalhando juntos para cozinhar uma única refeição (o output do modelo). No entanto, em qualquer momento dado, apenas alguns chefs estão realmente cozinhando, enquanto os outros ficam de prontidão. É assim que os modelos de IA de Mistura de Especialistas (Mixture-of-Experts - MoE) funcionam.

Para tornar esses modelos mais rápidos e baratos, os engenheiros tentam demitir os chefs "inúteis". Eles precisam de uma maneira de decidir quem manter e quem deixar ir.

O Jeito Antigo: Adivinhar Observando

Atualmente, os engenheiros usam um método que é como assistir a um jogo de esportes das arquibancadas. Eles observam as estatísticas:

"O Chef A foi chamado para cozinhar 50 vezes hoje." (Taxa de utilização)
"O Chef B cozinhou com muita energia." (Norma de ativação)
"O chef principal geralmente escolhe o Chef C." (Peso de roteamento)

Com base nessas observações, eles assumem: "Se o Chef A é raramente chamado ou cozinha fracamente, ele deve estar realizando um trabalho sem importância. Vamos demiti-lo."

O artigo argumenta que este é um salto perigoso. É como assumir que, porque um jogador não tocou na bola muito durante um jogo, ele não foi importante. Talvez ele estivesse apenas esperando o momento perfeito para fazer uma jogada decisiva. O artigo questiona: Será que observar as estatísticas realmente nos diz quem é importante quando tentamos removê-los?

O Experimento: O Teste "Demitir e Ver"

Os pesquisadores decidiram parar de adivinhar e começar a testar. Eles configuraram uma "auditoria causal" (um experimento científico) usando três modelos de IA diferentes.

Em vez de apenas observar os chefs, eles realizaram uma intervenção controlada:

Eles escolheram um momento específico no processo de cozimento (um "token" ou palavra específica).
Eles identificaram os chefs que estavam trabalhando no momento.
Eles silenciaram (ablaram) o chef que parecia "menos importante" com base nas estatísticas antigas.
Eles verificaram: A comida ficou com um gosto pior? (A previsão do modelo mudou?)

Eles fizeram isso milhares de vezes, comparando os chefs de "baixa estatística" contra os de "alta estatística".

Os Resultados: As Estatísticas Estavam Erradas

Os resultados foram surpreendentes e claros: as estatísticas falharam.

Sem Conexão: Em quase todos os casos, demitir o chef de "baixa estatística" não teve efeito. O modelo não se importou.
O Resultado "Nulo": A diferença entre demitir um chef de "baixa estatística" e um de "alta estatística" foi tão minúscula que era basicamente zero. Os métodos antigos não estavam encontrando chefs "inúteis"; eles estavam apenas escolhendendo chefs aleatórios para demitir.
Por que funciona de qualquer jeito (O Segredo da Redundância): O artigo explica que esses modelos são construídos com redundância massiva. Nas camadas iniciais do modelo, há tantos chefs realizando trabalhos semelhantes que você poderia demitir quase qualquer um, e a cozinha continuaria funcionando bem. Os métodos de poda funcionam não porque são inteligentes em identificar as pessoas certas para demitir, mas porque a cozinha está tão superlotada de funcionários que quase qualquer estratégia de demissão funciona por acidente.

A Única Exceção: O Sinal "Ao Vivo"

Houve uma única exceção. Em um modelo específico (OLMoE) e apenas na última camada da cozinha, os pesquisadores encontraram um sinal.

A Armadilha: Este sinal só funcionava se eles olhassem para o momento exato e ao vivo em que um chef estava trabalhando.
O Problema: Este sinal é inútil para o mundo real porque você não pode saber quem demitir antes de começar a cozinhar. Você precisa ver o ingrediente específico (token) primeiro para saber qual chef importa. Como você não pode ver o futuro, essa métrica "perfeita" não pode ser usada para podar o modelo antecipadamente.

O Panorama Geral: Observação vs. Intervenção

O artigo usa um conceito famoso do filósofo Judea Pearl para explicar o erro:

Degrau 1 (Observação): "Eu vejo que o Chef A raramente cozinha."
Degrau 2 (Intervenção): "Se eu demitir o Chef A, a refeição ficará bem."

O artigo mostra que saltar do Degrau 1 para o Degrau 2 é inválido neste contexto. Só porque você vê um padrão, não significa que você possa agir sobre ele.

Resumo

A Alegação: O método comum de usar "estatísticas de uso" para decidir quais especialistas de IA remover é cientificamente não comprovado e provavelmente errado.
A Realidade: Esses modelos funcionam após a poda não porque as estatísticas foram boas em encontrar partes inúteis, mas porque os modelos são tão redundantes que você não consegue realmente quebrá-los ao demitir pessoas aleatórias.
A Lição: Não podemos assumir que o que vemos acontecendo em um modelo (estatística) nos diz o que acontecerá se mudarmos o modelo (intervenção). Precisamos testar as mudanças diretamente, não apenas adivinhar com base nos números.

Resumo Técnico: Da Observação à Intervenção

Declaração do Problema
Métodos de interpretabilidade em aprendizado de máquina frequentemente dependem de um salto lógico: tratar estatísticas de resumo populacionais do comportamento observado do modelo como preditores válidos para os resultados de intervenções direcionadas. No contexto de modelos de Mistura de Especialistas (MoE - Mixture-of-Experts), isso se manifesta em pipelines de poda (pruning) onde métricas observacionais — como taxas de utilização de especialistas, normas de ativação e distribuições de pesos de roteamento — são usadas para classificar especialistas para remoção. A suposição implícita é que especialistas com pontuações observacionais mais altas realizam um trabalho mais crítico e, portanto, remover especialistas com pontuações baixas não degradará a funcionalidade do modelo. No entanto, como observado em trabalhos anteriores sobre pesos de atenção (Jain & Wallace, 2019) e mapas de saliência (Adebayo et al., 2020), evidências associativas (o "degrau 1" de Pearl) não suportam automaticamente conclusões intervencionais ("degrau 2"). Este artigo investiga se as estatísticas de roteamento observacionais em modelos MoE realmente preveem a importância causal do especialista ao nível do token.

Metodologia
Os autores conduzem uma "auditoria causal" através de três arquiteturas MoE de alta redundância: OLMoE-1B-7B-0924, Qwen1.5-MoE-A2.7B e DeepSeek-V2-Lite. Estes modelos abrangem diversas dimensões de design, incluindo diferentes estratégias de balanceamento de carga, razões de ativação top-k (6,7%–12,5%) e paradigmas de treinamento (do zero vs. upcycled).

O protocolo de auditoria envolve as seguintes etapas:

Seleção de Métricas: Quatro métricas observacionais canônicas são testadas: taxa de utilização, norma de ativação, peso médio de roteamento quando ativo e desvio padrão da ativação.
Verdade de Campo Intervencional: Para cada métrica, os autores realizam experimentos de ablação por token. Em 200 posições de tokens amostrados por camada, eles identificam o conjunto de especialistas ativos, classificam-nos pelo alvo métrico e ablatam (zeram) os especialistas com maior e menor classificação.
Medição Causal: A "importância funcional" de um especialista é medida pela mudança na perda ( $\Delta L$ ) e pelo deslocamento do fluxo residual (gap norm) resultante da ablação.
Teste Estatístico: Um teste t pareado e um teste de postos sinalizados de Wilcoxon são usados para determinar se a ablação de especialistas de alta classificação causa mudanças de perda significativamente maiores do que a ablação de especialistas de baixa classificação. Os tamanhos de efeito são medidos via Cohen's $d$ .
Controles:
- Correção de Múltiplas Comparações: A correção de Bonferroni é aplicada através das 60 combinações de métrica-camada (4 métricas $\times$ 5 camadas $\times$ 3 modelos).
- Controle de Peso de Roteamento: Um experimento paralelo usa pesos de roteamento por token ( $g_i(x_t)$ ) diretamente como critério de classificação. Isso serve como um limite superior para o sinal preditivo, pois é condicionado ao token em vez de ser uma média populacional.
- Ablação Progressiva: Um experimento no OLMoE remove $k$ especialistas de maior peso para avaliar o buffer de redundância nas camadas iniciais.

Resultados Principais
O estudo produz um "nulo de três modelos limpo" em relação às métricas observacionais:

Ausência de Poder Preditivo: Nenhuma das quatro métricas observacionais atingiu significância corrigida por Bonferroni ( $p < 0,0025$ ) em nenhuma das 60 células métrica-camada. Os tamanhos de efeito permaneceram abaixo de Cohen's $d = 0,17$ em todas as combinações.
Sinais Inconsistentes: A direção dos efeitos (positivo ou negativo) foi inconsistente entre as camadas dentro da mesma métrica, um padrão característico de distribuições nulas em vez de efeitos reais fracos.
Controle de Peso de Roteamento: O experimento de controle usando pesos de roteamento diretos por token recuperou um único sinal significante por Bonferroni no OLMoE na última camada MoE (Camada 15, $d = +0,231, p = 0,0013$ ). Isso indica que a configuração experimental tem poder suficiente para detectar sinais, mas tais sinais estão ausentes para estatísticas de nível populacional.
Regime de Redundância: A ablação progressiva no OLMoE revelou que, nas camadas iniciais (0–9), remover até sete dos oito especialistas ativos resultou em mudanças insignificantes na perda. Isso confirma que a redundância das camadas iniciais torna quase todos os critérios de seleção intercambiáveis; a poda tem sucesso não porque as métricas identifiquem especialistas dispensáveis, mas porque quase todos os especialistas nessas camadas são dispensáveis.
Anomalia de Camada Tardia do OLMoE: O único sinal significativo no OLMoE Camada 15 coincide com um aumento de 41 $\times$ no deslocamento do fluxo residual em comparação com as camadas iniciais. No entanto, este sinal é exclusivo do OLMoE e não aparece no Qwen ou DeepSeek, sugerindo que não é uma propriedade geral de MoEs de alta redundância.

Significância e Alegações
O artigo faz uma alegação modesta, porém rigorosa: fornece um contraexemplo explícito ao passo inferencial comum de resumos observacionais de nível populacional para reivindicações intervencionais ao nível do token sobre a importância do especialista.

Falha da Inferência: Os resultados demonstram que as estatísticas de roteamento observacionais não permitem previsões intervencionais ao nível do token. O sucesso dos métodos de poda existentes é atribuído à redundância estrutural das camadas iniciais, e não à validade das métricas usadas para selecionar especialistas.
Hierarquia Causal: O trabalho ilustra uma falha na fronteira entre o degrau 1 de Pearl (associação) e o degrau 2 (intervenção). Assim como os pesos de atenção e os mapas de saliência falharam em prever resultados de intervenção em estudos anteriores, as estatísticas de roteamento MoE também falham em servir como proxies válidos para a importância causal.
Limitações de Escopo: Os autores esclarecem que a auditoria é ao nível do token e focada em ablação única. Ela não falsifica o pipeline de poda implantado (que frequentemente envolve ajuste fino/fine-tuning), mas remove a justificativa mecanística por token que tais pipelines assumem. Os achados são específicos para arquiteturas de alta redundância; a validade das métricas em modelos de baixa redundância (ex: Switch, Mixtral) permanece uma questão aberta.

Em conclusão, o artigo argumenta que reivindicações de interpretabilidade que exigem generalização devem ser apoiadas por evidência intervencional e, no caso específico da poda de MoE, os proxies observacionais padrão falham neste teste.