🤖 AI

Norm or Direction? Decoding Vision Mambas for High-Resolution Vision

Este artigo revela que, enquanto o MambaOut codifica informações discriminativas de classe primariamente na magnitude dos tokens de primeiro plano, o VMamba distribui exclusivamente a evidência semântica através das direções dos tokens e regiões de fundo, uma estratégia de codificação distinta que lhe confere estabilidade e desempenho superiores em tarefas de predição densa de alta resolução.

Autores originais: Jin Yu, Juyoun Park

Publicado 2026-07-22

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jin Yu, Juyoun Park

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando ensinar um robô a reconhecer um gato em uma foto. Por muito tempo, a melhor maneira de fazer isso era ter o robô olhar para cada pixel individual e compará-lo com todos os outros pixels, como um detetive verificando cada pista contra todas as outras. Isso é poderoso, mas lento, especialmente para fotos enormes de alta definição. Recentemente, cientistas inventaram uma maneira nova e mais rápida chamada "Vision Mamba". Pense nisso como um rob_ô que lê uma imagem como um livro, escaneando linha por linha para entender a história sem ficar sobrecarregado. Mas então, outra equipe construiu um robô que não lê o livro; em vez disso, ele usa um tipo diferente de filtro "gated" (com portão) para detectar o gato. Surpreendentemente, este novo robô é tão bom quanto para encontrar gatos em fotos de tamanho padrão. Isso deixa os cientistas com um grande mistério: se ambos os robôs realizam o trabalho, eles estão realmente vendo o mundo da mesma forma? Ou um deles está usando um superpoder secreto que o outro não possui? Essa questão é importante porque, à medida que avançamos de fotos pequenas para imagens massivas e detalhadas (como mapas de satélite ou exames médicos), a maneira como esses robôs "veem" pode determinar se eles conseguiremão realizar o trabalho ou se começarão a ficar confusos.

Este artigo, intitulado "Norm or Direction? Decoding Vision Mambas for High-Resolution Vision", mergulha nesse mistério para ver como dois cérebros de robôs específicos — VMamba e MambaOut — realmente processam informações. Os pesquisadores descobriram que, embora ambos os modelos sejam ótimos em detectar objetos, eles armazenam as "pistas" do que veem de maneiras completamente diferentes.

Pense em um token (um pequeno pedaço da imagem que o robô analisa) como um pequeno mensageiro carregando um bilhete. Cada mensageiro tem duas coisas: o quão alto eles gritam (sua "magnitude" ou força) e a direção para a qual estão apontando (sua "direção"). O estudo descobriu que o MambaOut é como uma equipe de gritadores. Ele concentra toda a sua informação importante em alguns poucos mensageiros muito altos e de alta energia que estão posicionados exatamente em cima do objeto (o gato). Se você silenciar os mensageiros quietos no fundo, o MambaOut ainda ficará bem, porque os gritantes estão fazendo todo o trabalho.

O VMamba, por outro lado, é mais como um coro. Ele não depende de alguns poucos gritadores altos. Em vez disso, ele espalha a informação importante por todo o ambiente, incluindo o fundo. Os mensageiros barulhentos na equipe do VMamba muitas vezes acabam parados no fundo (como o céu ou a grama), não no próprio gato. Se você apenas olhar para quem está gritando mais alto, pode pensar que o VMamba está confuso. Mas aqui está a reviravolta: a direção para a qual os mensageiros estão apontando guarda o segredo. Mesmo que você abaixe o volume de todos os mensageiros para que todos estejam sussurrando, o VMamba ainda consegue dizer que é um gato porque a direção dos sussurros deles está perfeitamente alinhada. O MambaOut, no entanto, desmorona se você abaixar o volume; ele precisa dos gritos para funcionar.

Os pesquisadores testaram isso fazendo os robôs olharem para imagens muito maiores, de alta resolução. Quando a imagem fica enorme, há milhares de mensageiros a mais para gerenciar. O MambaOut, que depende de alguns poucos gritadores altos, começa a tropeçar porque é difícil escolher os poucos certos em meio a uma multidão de milhares. O VMamba, com seu coro de sussurros direcionais, lida muito melhor com a multidão. Ele espalha a evidência, tornando-se mais estável e confiável conforme a imagem aumenta.

Essa diferença torna-se ainda mais clara quando os robôs são solicitados a realizar um trabalho mais difícil: não apenas dizer "há um gato", mas apontar exatamente onde o gato está na imagem (uma tarefa chamada segmentação). Quando os pesquisadores permitiram que os robôs aprendessem do zero nessas tarefas detalhadas, o VMamba saiu na frente. Descobriu-se que a capacidade do VMamba de reorganizar suas pistas "direcionais" tornou muito mais fácil ensinar como apontar para partes específicas de uma imagem. O MambaOut, que depende da sonoridade de pontos específicos, foi mais difícil de ensinar para esse trabalho detalhado.

O artigo sugere que o segredo para construir melhores robôs para tarefas de alta resolução não é apenas sobre o mecanismo de escaneamento (a parte "Mamba"), mas sobre como eles organizam sua informação. Parece que, para grandes trabalhos detalhados, confiar na "direção" dos dados é mais poderoso do que confiar na "sonoridade" (magnitude). Os autores propõem que os cérebros de robôs futuros devem ser projetados para prestar mais atenção a essas pistas direcionais, talvez treinando-os para serem melhores em organizar a informação por toda a imagem, em vez de apenas focar nos pontos mais barulhentos. Embora o artigo não afirme ter resolvido tudo (eles admitem que não têm 100% de certeza sobre qual parte específica do cérebro do robô causa esse ruído de fundo), as evidências sugerem fortemente que mudar o foco de "quão alto" para "para qual direção" é a chave para desbloquear uma visão melhor para imagens de alta resolução.

Resumo Técnico: Norma ou Direção? Decodificando Vision Mambas para Alta Resolução

Declaração do Problema

Os modelos Vision Mamba, como o VMamba, surgiram como backbones visuais eficientes ao substituir a autoatenção quadrática por Modelos de Espaço de Estado (SSMs) Seletivos de complexidade linear. No entanto, trabalhos recentes (MambaOut) demonstram que blocos de CNN com portão (Gated CNN) podem igualar ou exceder o desempenho do VMamba em classificação de imagens padrão, desafiando a necessidade de SSMs para tarefas de visão. Isso cria uma ambiguidade fundamental: o VMamba e o MambaOut codificam informações visuais de forma diferente no nível da representação e, se sim, como essas diferenças impactam o desempenho em tarefas de predição densa e alta resolução (ex: segmentação semântica)? Enquanto o MambaOut argumenta que os SSMs são desnecessários para classificação (uma tarefa não-autoregressiva de sequência curta), o VMamba retém vantagens em benchmarks de predição densa, onde as sequências espaciais são mais longas. O problema central é decodificar as estratégias de representação interna desses modelos para entender a origem da vantagem do VMamba em configurações de alta resolução.

Metodologia

Os autores conduzem uma análise comparativa entre o VMamba-T e o MambaOut-T (variantes Tiny) utilizando uma abordagem multifacetada:

Análise CKA Intra e Inter-Modelo: Os autores aplicam o Alinhamento de Kernel Centrado (CKA) para medir a similaridade entre representações através de diferentes estágios, entre os dois modelos e entre as versões pré-treinadas para classificação e ajustadas para segmentação.
Decomposição de Tokens (Magnitude vs. Direção): Os tokens espaciais são decompostos em norma $\ell_2$ (magnitude) e vetores unitários (direção). O estudo investiga onde ocorrem altas ativações e se a informação discriminativa de classe é codificada na magnitude ou na direção.
Atribuição e Localização:
- Grad-CAM: Utilizado para comparar mapas de ativação de tokens com mapas de calor de atribuição de classe.
- Substituição de Tokens por Atribuição: Um método baseado em perturbação onde tokens individuais são substituídos pela média da imagem para medir sua contribuição para o logit da classe alvo.
- Avaliação de Vetor Unitário: Classificadores são testados em tokens normalizados (norma unitária) para isolar a informação contida puramente nas direções dos tokens.
- Teste de Alto-Norma de Tokens: Classificadores são treinados ou avaliados usando apenas os tokens de maior norma (top-k) para testar se a magnitude sozinha carrega informação de classe.
Avaliação Específica de Tarefa: Os modelos são avaliados em:
- Classificação de Alta Resolução: Ajuste fino no ImageNet-1k com resolução de 768×768.
- Segmentação Semântica: Treinamento no ADE20K e Pascal VOC 2012 sob dois regimes: backbone congelado e ajuste fino total.
- Ablação: Remoção do módulo SS2D para testar sua contribuição específica para os fenômenos observados.

Principais Descobertas

1. Estratégias Representacionais Divergentes

Divergência CKA: Os blocos do estágio final do VMamba formam representações que são qualitativamente distintas tanto do MambaOut quanto de seus próprios blocos precedentes. Em contraste, o MambaOut mantém representações consistentes através das camadas. O VMamba também mostra maior sensibilidade a mudanças de supervisão (classificação vs. segmentação) no estágio final.
Magnitude vs. Direção:
- MambaOut: Concentra a informação discriminativa de classe em um pequeno conjunto de tokens de primeiro plano de alta norma. Esses tokens alinham-se espacialmente com as atribuições de Grad-CAM. Remover a magnitude (normalizando os tokens) causa uma queda acentuada no desempenho (a precisão de token único cai para ~31,5%).
- VMamba: Produz tokens de alta norma predominantemente em regiões de fundo (background), que estão desalinhados com o foco de primeiro plano do Grad-CAM. No entanto, os sinais discriminativos são preservados primariamente nas direções dos tokens. Normalizar os tokens resulta em uma queda de desempenho muito menor (a precisão de token único permanece em ~52,5%, significativamente superior ao MambaOut).

2. Agregação de Evidência e Resolução

Substituição de Tokens: O VMamba distribui o suporte do logit amplamente pelas regiões do objeto, enquanto o MambaOut depende de tokens esparsos e dominantes.
Impacto da Alta Resolução: Na resolução padrão (224×224), o MambaOut supera ligeiramente o VMamba. Contudo, em alta resolução (768×768), o VMamba ultrapassa o MambaOut. Os autores atribuem isso à estabilidade da agregação ampla de evidências do VMamba, que é menos sensível a variações de amostragem espacial conforme o número de tokens aumenta, comparado à dependência do Mestre de picos esparsos do MambaOut.

3. Predição Densa e Ajuste Fino

Backbone Congelado: O MambaOut apresenta desempenho ligeiramente superior na segmentação com um backbone congelado, provavelmente porque suas pistas de primeiro plano alinhadas à magnitude são imediatamente exploráveis por um novo cabeçalho (head).
Ajuste Fino Total: O VMamba supera significativamente o MambaOut quando o backbone é totalmente ajustado.
Robustez Direcional: Em um teste de "decodificador de token unitário" (onde a magnitude é removida), o desempenho de segmentação do VMamba permanece amplamente intacto (47,9 $\to$ 47,5 mIoU), enquanto o do MambaOut degrada drasticamente (47,1 $\to$ 41,5 mIoU).
Reorganização Espacial: Sob supervisão densa, a codificação baseada em direção do VMamba se reorganiza em uma seletividade espacial mais clara, enquanto a codificação concentrada em magnitude do MangaOut mostra pouca mudança.

Principais Contribuições

Decodificação de Estratégias de Codificação: O artigo identifica que o VMamba e o MambaOut dependem de estratégias de codificação fundamentalmente diferentes: o MambaOut utiliza concentração de primeiro plano alinhada à magnitude, enquanto o VMamba utiliza distribuição baseada em direção através dos tokens espaciais.
Explicação da Vantagem de Alta Resolução: Os autores demonstram que a vantagem do VMamba em tarefas de predição densa e alta resolução provém não meramente do mecanismo de SSM ou do comprimento da sequência, mas de como a evidência semântica é organizada através da magnitude e direção dos tokens.
Papel da Direção do Token: O estudo estabelece que a direção do token serve como um eixo crítico, frequentemente negligenciado, para a representação visual, particularmente para tarefas de supervisão densa onde a informação deve ser agregada de forma estável através de muitos tokens.

Significância e Alegações

O artigo conclui que o sucesso dos modelos Vision Mamba em configurações de alta resolução e predição densa está enraizado em sua estratégia de codificação direcional. Esta estratégia permite:

Agregação Estável: Agregação de evidências mais robusta conforme o número de tokens aumenta (alta resolução).
Adaptabilidade: Maior capacidade de reorganizar a seletividade espacial sob supervisão densa (segmentação).

Os autores sugerem que futuros designs de backbones visuais devem considerar a magnitude do token e a estrutura direcional como eixos críticos. Especificamente, eles propõem que a regularização de magnitude alinhada ao primeiro plano poderia melhorar a classificação padrão, enquanto a regularização angular ou objetivos contrastivos por token poderiam aprimorar o desempenho em configurações densas e de alta resolução.

O artigo mantém-se modesto quanto aos componentes arquitetônicos específicos responsáveis, observando que, embora o módulo SS2D seja um candidato, o fenômeno persiste mesmo quando o SS2D é removido, sugerindo que o efeito decorre da estrutura de bloco mais ampla e não apenas do mecanismo de varredura seletiva.