🤖 AI

Why Training-Free Token Reduction Collapses: The Inherent Instability of Pairwise Scoring Signals

Este artigo revela que os métodos de redução de tokens sem treinamento em Vision Transformers falham devido à instabilidade inerente de seus sinais de pontuação pareada, propondo o método CATIS, que utiliza sinais unários e triagem para manter a precisão em altas taxas de compressão onde as abordagens existentes colapsam.

Autores originais: Yang Shanglin

Publicado 2026-04-21

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Yang Shanglin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um time de detetives (os "tokens") trabalhando em um caso complexo (uma imagem) dentro de um prédio de muitos andares (as camadas de uma rede neural chamada Vision Transformer). O objetivo é resolver o caso o mais rápido possível.

Para acelerar o trabalho, os métodos atuais tentam demitir detetives "redundantes" a cada andar. A ideia é: "Se dois detetives estão olhando para a mesma coisa, vamos fundi-los em um só" ou "Se este detetive parece inútil, vamos mandá-lo embora".

O problema é que, quando você tenta demitir muitos detetives de uma vez (alta compressão), o sistema inteiro desmorona. A precisão cai de um penhasco. Este paper explica por que isso acontece e como consertar.

Aqui está a explicação simples, usando analogias:

1. O Problema: O Efeito Dominó (O "Amplificador de Erro")

Imagine que no primeiro andar, você demite um detetive errado por engano. No segundo andar, os detetives restantes estão trabalhando com informações incompletas porque aquele colega foi embora. Eles cometem um erro ao decidir quem demitir no segundo andar.

Esse erro se acumula. No terceiro andar, a confusão é maior. No décimo andar, o prédio inteiro está em caos.

A metáfora: É como tentar passar uma mensagem de "telefone sem fio" por 20 pessoas. Se a primeira pessoa errar um pouco, a segunda erra mais, e no final, a mensagem original desaparece.
A descoberta: O papel mostra que quanto mais alto o prédio (mais camadas na IA), mais rápido esse erro se acumula. Se você tentar demitir muitos detetives em cada andar, o prédio desaba no mesmo ponto, não importa qual regra de demissão você use.

2. A Causa Raiz: A "Batalha de Opiniões" Instável

Como os métodos atuais decidem quem demitir? Eles usam um sistema de votação entre pares.

Como funciona: O sistema pergunta: "Detetive A é mais parecido com o B ou com o C?". Ele compara todos os detetives com todos os outros.
O problema: Em andares altos (camadas profundas), todos os detetives começam a parecer iguais (homogeneização). A "opinião" deles fica instável. Se você mudar levemente a luz da sala (um pequeno ruído na imagem), a votação muda completamente.
A analogia: Imagine tentar decidir quem é o melhor jogador de futebol comparando todos os jogadores de todos os times do mundo ao mesmo tempo. Em um momento de confusão, a opinião de quem é o melhor muda a cada segundo. É um sistema instável.

3. A Solução: O Método CATIS (O "Gerente Inteligente")

Os autores criaram um novo método chamado CATIS que evita esse colapso. Eles mudaram a estratégia de três formas:

A. Trocar a Votação por uma "Lista de Checagem" (Sinais Unários)

Em vez de comparar detetives uns com os outros (o que gera confusão), o CATIS olha para cada detetive individualmente e pergunta: "Você é útil para o caso?".

Analogia: Em vez de fazer uma eleição onde todos votam uns nos outros (o que gera instabilidade), o gerente olha para cada funcionário e diz: "Você tem as habilidades necessárias?". Isso é muito mais estável e confiável, mesmo quando o prédio está bagunçado.

B. O "Triagem" (O Filtro de Segurança)

O CATIS não demite ninguém imediatamente. Ele divide os detetives em três grupos:

Protegidos: Os detetives mais importantes (os "estrelas") são imunes. Ninguém pode demiti-los.
Para Fundir: Aqueles que são parecidos e podem ser unidos.
Para Demitir: Os que realmente não estão ajudando.

Por que funciona: Ao proteger os mais importantes, você evita que o erro se espalhe. É como ter um "corpo de elite" que garante que a missão principal continue mesmo se o resto do time estiver confuso.

C. A Fusão Inteligente

O CATIS combina duas fontes de informação: o que o detetive está vendo agora e o que ele viu nos andares anteriores. Isso cria uma memória mais forte, evitando que decisões sejam tomadas apenas com base em um instante de confusão.

4. O Resultado

Quando testaram isso em imagens difíceis (como desenhos, esboços ou fotos com ruído):

Os métodos antigos: Quando tentavam reduzir muito o trabalho (63% menos computação), a precisão caía de 80% para menos de 45%. O sistema "quebrou".
O CATIS: Com a mesma redução, manteve 96,9% da precisão original. Ele conseguiu acelerar a IA sem perder a inteligência.

Resumo em uma frase

O papel diz que tentar economizar tempo comparando tudo com tudo (votação entre pares) em sistemas profundos é como tentar equilibrar uma torre de cartas em um terremoto: ela cai. A solução é ter um gerente que olha para cada peça individualmente, protege as peças vitais e só descarta o que é realmente inútil, mantendo a torre de pé mesmo sob pressão extrema.

Título: Por que a Redução de Tokens sem Treinamento Colapsa: A Instabilidade Inerente dos Sinais de Pontuação Pares

1. O Problema

Os métodos de redução de tokens para Vision Transformers (ViTs) sem treinamento (como ToMe, ToFu, PiToMe e MCTF) visam acelerar a inferência removendo tokens redundantes durante a execução, sem modificar os pesos do modelo. Embora funcionem bem em compressões moderadas, o artigo identifica um fenômeno crítico: todos esses métodos sofrem um colapso abrupto ("cliff-like collapse") em pontos críticos de alta compressão.

O problema central é que, independentemente da fórmula de pontuação específica utilizada por cada método, eles compartilham um padrão de falha idêntico:

Em modelos profundos (ex: ViT-Large), ao aumentar a taxa de redução por camada ( $r$ ), a precisão cai drasticamente (perda de 23–40 pontos percentuais).
O ponto de colapso é invariante à distribuição de dados, dependendo apenas da profundidade do modelo ( $L$ ) e da taxa de redução por camada.

2. Metodologia e Diagnóstico

Os autores desenvolvem um framework de diagnóstico quantitativo para decompor a causa raiz desse colapso em dois componentes acoplados:

A. O Amplificador de Erro (Feedback Positivo)

Mecanismo: A redução de token por camada cria um loop de feedback positivo. Erros de estimativa de importância em uma camada degradam o contexto para as camadas subsequentes.
Modelo Matemático: Eles formalizam isso como uma recorrência de distorção $\Delta(l)$ . A distorção acumulada cresce super-linearmente (exponencialmente) com a profundidade da camada.
Predição: Modelos mais profundos colapsam em taxas de redução por camada menores ( $r_{crit} \propto 1/L$ ). Isso foi verificado empiricamente com $R^2 > 0.9$ em 7 modelos diferentes.

B. A Instabilidade Inerente dos Sinais Pares (Pairwise)

Causa Raiz: Todos os métodos existentes dependem de sinais de similaridade par-a-par (ex: similaridade de cosseno entre dois tokens) para determinar a importância.
Análise de Perturbação:
- Sinais Pares: A pontuação depende de $O(N_p^2)$ elementos conjuntamente perturbados. Uma perturbação em um único token afeta todos os $N_p-1$ pares envolvendo esse token.
- Sinais Unários: A pontuação depende de $O(N_p)$ perturbações independentes e de estatísticas populacionais (média, variância), que são mais estáveis devido ao Teorema do Limite Central.
Evidência Empírica: Em camadas profundas, a consistência de classificação ( $\rho_s$ ) dos sinais pares cai de 0.88 (camadas rasas) para 0.27 (camadas profundas), tornando as decisões de fusão essencialmente aleatórias. Em contraste, sinais unários mantêm $\rho_s$ entre 0.37 e 0.48.

C. Diagnóstico de Danos Estruturais ( $\rho_{off}$ )

Introduzem uma segunda métrica, $\rho_{off}$ , que mede a correlação entre dimensões de características.
Danos Estruturais: Fusões incorretas (comuns em sinais pares instáveis) criam vetores híbridos que aumentam drasticamente a correlação entre dimensões ( $\rho_{off}$ alto), destruindo a integridade do espaço de características.
Perda Semântica: Mesmo que a fusão seja correta (baixo $\rho_{off}$ ), se a triagem (decisão de quais tokens proteger) estiver errada, a precisão cai. O método PiToMe exemplifica isso: mantém baixa correlação estrutural, mas falha na triagem.

3. Solução Proposta: CATIS

Baseado em três princípios derivados do diagnóstico, os autores propõem o CATIS (Complementary Activation Triage with Importance Scoring):

P1 (Substituição de Sinais): Abandonar sinais pares em favor de sinais unários para aumentar o limiar de disparo do amplificador de erro.
- Implementação: Uso de uma função de ativação baseada na distância de Mahalanobis diagonalizada (norma Z-score) em relação à população de tokens da camada.
P2 (Fusão Complementar): Combinar sinais unários que têm picos de estabilidade em diferentes faixas de profundidade.
- Implementação: Fusão da estatística de ativação local (estável em camadas rasas) com um sinal de contexto baseado no token CLS e sua derivada temporal (momentum), que é mais estável em camadas médias.
P3 (Mecanismo de Triagem): Reduzir o ganho de amplificação protegendo tokens de alta confiança e roteando tokens incertos para a operação menos danosa.
- Implementação: Um operador de triagem simétrico que particiona os tokens em três conjuntos: Protegidos (não reduzidos), Evitados (removidos, menos danosos estruturalmente) e Fundidos (combinados). Isso reduz a taxa efetiva de redução e direciona os erros para o canal de menor dano ( $\delta_{evict} < \delta_{merge}$ ).

4. Resultados Principais

Os experimentos foram realizados em 7 modelos ViT (incluindo ViT-S/B/L, DeiT-3 e DINOv3) em ImageNet-1K e benchmarks de robustez (ImageNet-A, R, Sketch).

Desempenho em Alta Compressão:
- No ViT-Large com 63% de redução de FLOPs, os métodos baselines colapsam para precisões de 43–65%.
- O CATIS mantém 81.0% de precisão (96.9% da precisão do modelo original de 83.6%), evitando o colapso.
- Em DeiT-3-Large (63% de redução), o CATIS supera os baselines em +6.96 pontos percentuais.
Validação das Predições:
- Confirmação da relação $r_{crit} \propto 1/L$ .
- Confirmação de que curvas de Pareto são convexas devido ao crescimento exponencial da distorção.
- O CATIS mantém $\rho_{off}$ próximo ao modelo original (sem danos estruturais) e $\rho_s$ significativamente mais alto nas camadas profundas.
Eficiência: O CATIS atinge throughput de parede (wall-clock) comparável aos métodos mais rápidos (ToMe/ToFu), sem custo computacional adicional significativo.
Generalização: O método também funcionou bem em classificação de vídeo (VideoMAE), mantendo a estabilidade mesmo com reduções extremas de tokens.

5. Significado e Contribuições

Reenquadramento Teórico: O artigo demonstra que o limite de desempenho não é uma questão de otimização de fórmulas de pontuação específicas, mas uma limitação estrutural inerente a qualquer método que use sinais pares em redução de tokens camada a camada.
Ferramentas de Diagnóstico: Introduz $\rho_s$ (consistência de classificação) e $\rho_{off}$ (correlação dimensional) como ferramentas universais para diagnosticar a saúde de métodos de redução de tokens antes da implantação.
Direção Futura: Estabelece que a estabilidade de sinais unários e mecanismos de triagem inteligente são essenciais para escalar a compressão de Transformers. Sugere que a alocação adaptativa de orçamento por camada (concentrando redução onde os sinais são mais estáveis) é o próximo passo lógico.

Em resumo, o trabalho prova que a instabilidade estatística dos sinais pares em camadas profundas é o gatilho para o colapso de precisão e que a transição para sinais unários combinados com triagem robusta é a solução necessária para permitir compressão agressiva sem treinamento.