💻 computer science

Vision Non-Causal Trapezoidal Mamba: Eliminating Directional Scanning in Vision SSMs with Second-Order Dynamics

O artigo apresenta o Vision Non-Causal Trapezoidal Mamba (VNCT), um Modelo de Espaço de Estados não causal de segunda ordem que elimina a varredura de tokens direcional para alcançar representações robustas à orientação e desempenho superior em várias tarefas de visão, mantendo baixa latência de inferência.

Autores originais: Anvitha Ramachandran, Dhruv Parikh, Haoyang Fan, Rajgopal Kannan, Viktor Prasanna

Publicado 2026-07-09

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Anvitha Ramachandran, Dhruv Parikh, Haoyang Fan, Rajgopal Kannan, Viktor Prasanna

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando entender um quebra-cabeça gigante e complexo feito de milhares de minúsculas peças de imagem (tokens). Por muito tempo, os modelos de visão computacional agiram como uma rua de mão única muito rígida. Eles tinham que olhar para as peças em uma ordem específica: da esquerda para a direita, de cima para baixo, ou em algum outro caminho fixo. Isso é chamado de varredura direcional. É como ler um livro onde você não pode olhar adiante nem folhear para trás; você tem que ler cada palavra de uma linha antes de passar para a próxima.

O artigo apresenta um novo modelo chamado Vision Non-Causal Trapezoidal Mamba (VNCT). Sua principal descoberta é que essa regra de "rua de mão única" estrita é, na verdade, desnecessária para enxergar bem. De fato, eliminar essa regra torna o modelo mais rápido e inteligente.

O Jeito Antigo vs. O Jeito Novo

Pense nos modelos antigos (como muitos Vision Transformers ou modelos "Mamba" anteriores) como uma equipe de detetives que precisa caminhar por uma sala de museu em fila indiana. Eles só podem olhar para a pintura à frente deles, depois para a próxima, e assim por diante. Se eles perderem um detalhe à esquerda porque estavam focados na direita, podem não percebê-lo até darem a volta, o que leva tempo extra. Isso cria um viés; o modelo fica "acostumado" a olhar em uma direção específica.

O VNCT joga fora o livro de regras. Em vez de caminhar em uma fila, ele permite que cada peça da imagem converse com todas as outras peças de uma só vez em uma única passagem. É como ligar um holofote gigante e instantâneo que ilumina toda a sala do museu simultaneamente. Cada detetive pode ver cada pintura instantaneamente, sem esperar sua vez. O artigo mostra que essa abordagem de "tudo de uma vez" elimina os vieses estranhos causados pelo caminhar em fila.

O Ingrediente Secreto: Dinâmica de Segunda Ordem

Mas como ele consegue falar com todo mundo tão rápido sem se confundir? Os autores usam um truque matemático inteligente chamado dinâmica de segunda ordem (especificamente, dinâmica "trapezoidal").

Imagine que você está tentando adivinhar a temperatura de uma sala.

Primeira ordem (o jeito antigo): Você verifica o termômetro uma vez e faz um palpite baseado nessa leitura única.
Segunda ordem (o jeito do VNCT): Você verifica o termômetro, mas também observa o quão rápido a temperatura estava mudando apenas um instante atrás. Você tira uma média do "agora" e do "instante anterior".

Este método "trapezoidal" (fazendo a média dos pontos inicial e final de um passo) dá ao modelo uma compreensão mais rica e detalhada da imagem. O artigo sugere que essa camada extra de detalhe ajuda o modelo a entender formas e contornos muito melhor do que os métodos de passo único mais simples usados por modelos anteriores.

O Que o Artigo Descarta

O artigo argumenta explicitamente contra a ideia de que os modelos de visão precisam de varredura direcional para funcionar bem. Muitos modelos anteriores tentaram corrigir o problema da "rua de mão única" adicionando caminhos mais complexos (como caminhar em zigue-zague ou em espiral), mas os autores mostram que você não precisa consertar o caminho — você só precisa remover o caminho inteiramente. Eles descartam a necessidade de varredura sequencial para uma visão de alto desempenho.

Os Resultados: Mais Rápido, Mais Forte e Mais Robusto

Os autores mediram seu modelo em vários grandes desafios, e os resultados foram bastante claros:

Velocidade: Como não precisa esperar uma fila se formar, o VNCT é mais rápido. Em uma única imagem, levou 5,25 milissegundos para a versão "Micro" e 7,31 milissegundos para a versão "Tiny" para fazer uma previsão. Isso é mais rápido do que o modelo não-causal anterior (VSSD), que levou 5,80 ms e 8,01 ms, respectivamente.
Precisão: Obteve pontuações melhores em testes padrão. No teste ImageNet-1K, a versão "Tiny" atingiu 84,2% de precisão, superando o melhor modelo não-causal anterior (VSSD-Tiny), que obteve 83,7%.
Rotação e Inversão: Uma das descobertas mais legais é sobre a "robustez de orientação". Se você inverter uma imagem de cabeça para baixo ou rotacioná-la, os modelos antigos ficam um pouco confusos e sua precisão cai. O VNCT é muito mais tranquilo com isso. Quando a imagem foi rotacionada ou invertida, a queda média de precisão foi de apenas 0,3%, comparado a 0,9% para o VSSD e 1,6% para o modelo de varredura direcional. Isso sugere que o modelo vê o objeto como um todo, não apenas como uma sequência de pixels.
Limites/Contornos: Ao desenhar os contornos de objetos (como separar um carro da estrada), o VNCT foi mais nítido. Ele melhorou o "Boundary IoU" (uma pontuação de quão bem os contornos coincidem) em até 3,7 pontos no conjunto de dados Cityscapes em comparação com o VSSD.

A Conclusão

O artigo não apenas sugere que isso pode funcionar; ele mediu isso através de tarefas de classificação, detecção de objetos e segmentação. Os autores concluem que a "rua de mão única" da varredura direcional é um artefato de tentar forçar modelos de sequência em imagens, e que uma abordagem não-causal de segunda ordem é uma maneira mais simples, eficiente e robusta de construir IA de visão. Eles não apenas ajustaram o sistema antigo; eles substituíram as regras de trânsito inteiramente, e os carros estão se movendo mais rápido e dirigindo de forma mais reta.

Resumo Técnico: Vision Non-Causal Trapezoidal Mamba (VNCT)

1. Definição do Problema

Os Modelos de Espaço de Estados (SSMs) emergiram como alternativas eficientes aos Vision Transformers (ViTs) para modelar dependências de longo alcance com complexidade de tempo linear. No entanto, a maioria dos SSMs de visão existentes (ex: ViM, VMamba) herda o escaneamento de tokens direcionais da modelagem de sequências causais. Para aplicar SSMs 1D a imagens 2D, os tokens devem ser serializados ao longo de caminhos predefinidos (horizontal, vertical ou multidirecional).

Os autores identificam três limitações críticas desta abordagem:

Viés Espacial: O escaneamento direcional impõe uma ordem de travessia artificial que não é intrínseca aos dados visuais, criando interações de características sensíveis à orientação.
Ineficiência: A agregação de contexto bidirecional frequentemente exige múltiplas passagens de escaneamento, aumentando a latência de inferência.
Desalinhamento: Cenas visuais são não-causais; as relações espaciais existem independentemente da ordenação dos tokens.

Embora trabalhos recentes como o Vision State Space Duality (VSSD) tenham introduzido a agregação não-causal, eles permanecem limitados à dinâmica de primeira ordem. O artigo questiona se o escaneamento direcional é necessário para SSMs de visão de alto desempenho ou se é meramente um artefato da adaptação de modelos de sequência para imagens.

2. Metodologia: Vision Non-Causal Trapezoidal Mamba (VNCT)

Os autores propõem o VNCT, um backbone de visão hierárquico construído sobre uma formulação de espaço de estados não-causal de segunda ordem. A inovação central é a camada NC-M3 (Non-Causal Mamba-3).

2.1. Mecanismo Central: NC-M3

A camada NC-M3 reformula a dinâmica trapezoidal exponencial do Mamba-3 em um operador de agregação global e não-causal.

Dinâmica de Segunda Ordem: Diferente dos SSMs padrão que utilizam uma atualização de passo único, o Mamba-3 utiliza uma regra de quadratura trapezoidal, realizando a média entre ambos os pontos de integração (esquerdo e direito). Isso é expresso como:
$h_t = \alpha_t h_{t-1} + \beta_t x_{t-1} + \gamma_t x_t$
onde $\beta$ e $\gamma$ ponderam as observações das extremidades esquerda e direita.
Elevação Não-Causal (Non-Causal Lift): Os autores transformam esta recorrência causal em um operador invariante à permutação. Em vez de propagação sequencial de estado, eles substituem a matriz de transição causal triangular inferior por um kernel de interação totalmente denso e normalizado.
Agregação Global: A interação é computada via estatísticas suficientes globais. Para um token de saída $i$ $i$ , o estado é derivado de uma soma global de todos os tokens de entrada $j$ $j$ , ponderada por parâmetros dependentes dos dados ( $\alpha, \beta, \gamma$ $α, β, γ$ ) projetados em um espaço de interação.
- A regra de agregação é fatorada para evitar a construção de uma matriz de interação $L \times L$ , mantendo a complexidade de tempo linear ( $O(L)$ ).
- Isso permite que todos os tokens da imagem interajam em uma única passagem sem escaneamento direcional.

2.2. Componentes Arquiteturais

Parametrização MIMO de Baixo Rank: O VNCT incorpora um mecanismo Multi-Input Multi-Output (MIMO) de baixo rank para modelar conjuntamente as interações espaciais e de canal de forma eficiente.
Codificação Posicional Rotatória 2D (2D RoPE): Como a agregação é independente da ordem, a informação espacial é injetada via 2D RoPE aplicado às projeções de origem e consulta (source e query), codificando o deslocamento espacial relativo.
Backbone Hierárquico: O modelo segue uma arquitetura de quatro estágios (semelhante ao Swin ou ConvNeXt) com subamostragem progressiva. Os estágios 1–3 utilizam blocos NC-M3, enquanto o Estágio 4 emprega Multi-Head Self-Attention (MHSA) no mapa de características de menor resolução para lidar com o contexto global onde o custo quadrático é desprezível.
Percepção Local: Uma Unidade de Percepção Local (LPU) usando convoluções depth-wise injeta o viés indutivo espacial local antes da agregação global.

3. Principais Contribuições

Camada NC-M3: Uma camada de espaço de estados não-causal de segunda ordem que elimina o escaneamento direcional, permitindo interações de passagem única entre todos os tokens da imagem.
Backbone VNCT: Um backbone de visão hierárquico que combina dinâmica não-causal de segunda ordem com parametrização MIMO de baixo rank.
Validação Empírica: Demonstração de que a eliminação do escaneamento direcional melhora a latência de inferência, a robustez à orientação e a preservação de bordas, superando consistentemente tanto os SSMs de escaneamento direcional quanto os SSMs não-causais de primeira ordem.

4. Resultados Experimentais

Os autores avaliaram o VNCT no ImageNet-1K (classificação), COCO (detecção de objetos e segmentação de instâncias) e ADE20K (segmentação semântica).

Classificação (ImageNet-1K): O VNCT atinge o estado da arte em precisão Top-1 nas escalas Micro, Tiny, Small e Base.
- Exemplo: O VNCT-Tiny alcança 84,2% de precisão Top-1, superando o VSSD-T (83,7%) e o VMamba-T (82,5%).
- Eficiência: O VNCT demonstra menor latência de inferência por imagem do que o VSSD nas escalas Micro, Tiny e Small.
Predição Densa (COCO & ADE20K):
- Detecção/Segmentação: O VNCT-T supera todos os baselines em Box AP e Mask AP no COCO, com ganhos significativos em AP75 (indicando melhor precisão de localização).
- Segmentação Semântica: O VNCT atinge o maior mIoU no ADE20K em todas as escalas de modelo (ex: VNCT-S atinge 50,1% de mIoU vs. 49,2% para o VSSD-S).
Preservação de Bordas: O VNCT melhora significativamente o Boundary IoU (BIoU).
- No ADE20K, o VNCT-T melhora o BIoU em +2,3 pontos em relação ao VSSD-T.
- No Cityscapes, o ganho é de +3,7 pontos.
- A análise qualitativa mostra que o VNCT produz contornos mais completos e geometricamente precisos.
Robustez à Orientação: O VNCT exibe robustez superior a transformações geométricas (giros e rotações) sem retreinamento.
- No ImageNet-1K, o VNCT-T apresenta uma queda média de precisão de apenas 0,3% através de quatro transformações, comparado a 0,9% para o VSSD-T e 1,6% para o VMamba-T.
Análise de Campo Receptivo: A visualização do Campo Receptivo Efetivo (ERF) revela que o VNCT produz um campo receptivo suave, simétrico e globalmente uniforme, ao contrário dos artefatos direcionais vistos no VMamba ou da cobertura irregular do VSSD.

5. Significância e Alegações

O artigo argumenta que o escaneamento direcional é desnecessário para SSMs de visão de alto desempenho. Os autores afirmam que as limitações dos SSMs de visão anteriores derivam do escaneamento direcional causal, e não do modelamento de espaço de estados em si.

Ao substituir o escaneamento causal por modelagem de espaço de estados não-causal de segunda ordem, o VNCT oferece uma alternativa simples, eficiente e robusta para o reconhecimento visual. Os resultados sugerem que:

A agregação não-causal global combinada com dinâmica de segunda ordem gera representações espaciais mais fortes para tarefas de predição densa.
A remoção do viés direcional leva a características mais robustas à orientação e melhor preservação de bordas.
Backbones de visão de alto desempenho podem ser alcançados sem o overhead computacional de múltiplas passagens de escaneamento ou a complexidade quadrática dos mecanismos de atenção total (exceto no estágio final).

Os autores concluem que esta abordagem motiva operadores de espaço de estados de ordem superior e não-causais como uma direção promissora para futuros backbones de visão.