Resumo Técnico: Estrutura de Redução com Consciência Espacial (STORM)

1. Definição do Problema

Embora os Modelos de Espaço de Estados (SSMs), como o Mamba, tenham demonstrado uma eficiência superior na modelagem de dependências de longo alcance para tarefas de visão ao reduzir a complexidade computacional de quadrática para linear, eles enfrentam um gargalo crítico quando integrados com técnicas de redução de tokens. Os métodos de redução de tokens existentes (ex: poda e fusão), que são altamente eficazs em Vision Transformers (ViTs), causam um colapso severo de desempenho quando aplicados a variantes de Mamba estruturalmente aprimoradas, como o VMamba.

Os autores atribuem essa degradação à natureza espacialmente agnóstica das estratégias de redução atuais. Diferente dos ViTs, que dependem de autoatenção global, as arquiteturas Mamba (especificamente aquelas que utilizam o mecanismo de Varredura Seletiva 2D, ou SS2D) dependem de uma varredura sequencial estrita com dependências de estado recursivas. Os métodos de redução padrão achatam a grade de tokens 2D em uma sequência 1D, realizam a redução e mapeiam novamente os tokens. Esse processo interrompe as relações espaciais originais e a topologia da grade, violando as premissas estruturais necessárias para que o mecanismo SS2D funcione corretamente. Consequentemente, a propagação de estado causal é quebrada, levando a uma perda de informação em cascata e quedas catastróficas de precisão (ex: uma queda de ~83% para ~31% no VMamba-B ao usar o ToMe).

2. Metodologia: STORM

Para resolver isso, os autores propõem o STORM (Spatial-aware TOken Reduction), uma estrutura plug-and-play projetada para manter a integridade estrutural durante a compressão sem exigir treinamento adicional. O STORM reformula a redução de tokens como uma operação estruturada em primitivas espaciais, em vez de uma operação global em uma sequência achatada.

Componentes Principais

1. Redução Espacial Estruturada (Fluxo de Trabalho de Decomposição de Dimensão):
   Em vez de processar uma sequência globalmente achatada, o STORM decompõe o processo de redução em dois estágios desacoplados alinhados com a grade 2D:

   • Redução por Linha (Row-wise): O mapa de características é processado linha por linha. Um operador de redução base (ex: poda ou fusão) é aplicado independentemente a cada linha.
   • Redução por Coluna (Column-wise): O resultado intermediário é então processado coluna por coluna, aplicando o operador de redução independentemente a cada coluna.
     Isso garante que a saída permaneça uma subgrade regular, preservando as relações topológicas exigidas pelos caminhos de varredura SS2D.

2. Mecanismo de Janela Localizada:
   Para evitar interferência de longo alcance que possa interromper a coerência semântica local, o STORM introduz uma restrição de janela localizada.

   • Dentro de cada linha ou coluna, a sequência é particionada em janelas não sobrepostas.
   • As decisões de redução são confinadas estritamente a esses vizinhos locais.
   • Este mecanismo suprime a interferência entre regiões, garantindo que tokens semanticamente não relacionados não sejam fundidos, preservando assim a semântica refinada essencial para uma evolução de estado estável.

Base Teórica

Os autores fornecem uma análise teórica mostrando que métodos de redução global causam deslocamento espacial ilimitado entre tokens consecutivos na sequência de varredura, levando à divergência de erro. Em contraste, a decomposição de dimensão e as restrições de janela do STORM limitam estritamente o deslocamento espacial dos tokens. Ao limitar o deslocamento máximo de mapeamento ao tamanho da janela, a estrutura garante um limite superior rígido para os erros de propagação de estado, assegurando um desempenho estável mesmo sob compressão agressiva.

3. Principais Contribuições

• Identificação da Integridade Estrutural como Crítica: O artigo identifica que a falha da redução de tokens em Mamba de visão não se deve meramente aos critérios de seleção de tokens, mas sim à interrupção da estrutura espacial 2D.
• Paradigma de Redução Estruturada: Os autores propõem um novo paradigma que opera sobre primitivas espaciais (linhas e colunas) em vez de tokens achatados globalmente, mitigando efetivamente o colapso de desempenho.
• Estrutura Generalizável: O STORM é projetado como um módulo genérico, livre de treinamento, que pode ser integrado com pipelines de redução existentes (como EViT e ToMe) para dotá-los de consciência espacial explícita.
• Desempenho de Estado da Arte: A estrutura estabelece novos marcos de desempenho para a redução de visão Mamba, entregando precisão e throughput superiores através de diversos backbones.

4. Resultados Experimentais

Experimentos foram conduzidos no ImageNet-1K (classificação) e COCO 2017 (detecção de objetos e segmentação de instâncias) utilizando uma configuração livre de treinamento.

• Classificação ImageNet-1K:

  • O STORM recupera significativamente a precisão no VMamba. Para o VMamba-B, aplicar apenas o ToMe reduz a precisão para 35,7%, enquanto o STORM (ToMe) alcança 82,6% (apenas uma queda de 1,3% em relação ao baseline).
  • No VMamba-S, o STORM (ToMe) alcança 80,9% de precisão comparado a 32,9% para o ToMe padrão, representando uma melhoria relativa de 61,2% na recuperação de precisão.
  • O STORM supera outros métodos de redução específicos para Mamba (ex: HSA, MTR, QuarterMap) por uma margem ampla, com o HSA caindo para 46,2% no VMamba-S enquanto o STORM atinge 82,0%.

• Detecção de Objetos (COCO):

  • O STORM permite uma recuperação dramática em tarefas de detecção. Para o VMamba-S, o APb de referência é 48,7. O ToMe padrão colapsa para 2,8, enquanto o STORM (ToMe) recupera para 44,2.
  • Melhorias semelhantes são observadas nos backbones PlainMamba e LocalMamba.

• Eficiência e Robustez:

  • Throughput: O STORM alcança um throughput mais alto que o ToMe em todas as proporções de redução devido às suas operações paralelas de linha/coluna, que evitam os gargalos de escalabilidade das computações de similaridade global.
  • Robustez: Mesmo utilizando uma estratégia de seleção de tokens aleatória (sem escores de importância aprendidos), o STORM mantém um desempenho robusto (69,1% de precisão com 36% de redução), enquanto o ToMe cai para 11,7%. Isso destaca que a preservação estrutural da estrutura é o principal motor do sucesso, e não apenas o critério de seleção.
  • Ajuste Fino (Fine-tuning): Mesmo com ajuste fino, o STORM supera consistentemente os baselines, recuperando 78,4% de precisão no VMamba-T com uma razão de redução de 0,32, comparado a 32,7% para o ToMe.

5. Significância e Alegações

O artigo afirma que o STORM representa uma mudança fundamental na forma como a redução de tokens é abordada para arquiteturas espacialmente sensíveis. Ao impor uma regularidade de layout global e fidelidade contextual local, o STORM resolve a incompatibilidade entre a redução de tokens e a propagação de estado em cadeia do Mamba.

Os autores enfatizam que o STORM é uma solução plug-and-play livre de treinamento que não requer o retreinamento dos modelos de backbone. Sua significância reside em permitir a implantação prática de modelos de visão Mamba, permitindo compressão agressiva (até 40% de redução) sem o severo colapso de desempenho observado anteriormente. O trabalho sugere que manter a consistência espacial é mais crítico do que meramente reter tokens salientes para a eficácia de modelos baseados em SS2D.