Resumo Técnico: GraphScan para Modelos de Espaço de Estado Visuais

1. Declaração do Problema

Modelos de Espaço de Estado Visuais (SSMs), particularmente aqueles baseados na arquitetura Mamba, oferecem modelagem de longo alcance eficiente com complexidade linear. No entanto, seu desempenho depende criticamente de como os mapas de características visuais bidimensionais são serializados em sequências de tokens unidimensionais para processamento.

Os operadores de varredura existentes em SSMs Visuais geralmente se enquadram em duas categorias:

1. Travessias Geométricas Fixas: Caminhos predefinidos (por exemplo, raster, bidirecional, fractal) que serializam a rede 2D em uma sequência 1D. Essas expõem o modelo a ordenações fixas que podem não alinhar-se com o conteúdo semântico.
2. Varreduras Dinâmicas Baseadas em Coordenadas: Métodos que preveem deslocamentos ou locais de amostragem e reencaminham tokens via interpolação (por exemplo, interpolação bilinear). Embora adaptativos, esses ajustam principalmente onde amostrar com base na geometria, em vez de modelar explicitamente quais patches locais devem trocar informações com base na relevância semântica antes da mistura global.

Os autores identificam uma lacuna: os mecanismos atuais adaptam caminhos ou coordenadas de amostragem, mas não modelam explicitamente vizinhanças semânticas locais para pré-condicionar tokens antes de entrarem no misturador de espaço de estado seletivo. A questão central levantada é se o roteamento baseado em grafos pode ajudar os SSMs Visuais a "ver melhor" estabelecendo conexões semânticas antes da propagação global.

2. Metodologia: GraphScan

O artigo introduz o GraphScan, um operador de varredura dinâmica induzido por grafos projetado para preceder o SSM seletivo. Diferentemente de métodos que substituem o SSM por uma Rede Neural em Grafos (GNN), o GraphScan atua como um pré-condicionador leve e adaptativo à entrada que enriquece tokens com contexto semântico local.

Mecanismo Central

Para cada token $x_i$ no mapa de características:

1. Construção de Grafo Local: Um conjunto candidato local espacialmente delimitado $S_r(i)$ é definido ao redor da coordenada da rede do token, com um raio fixo $r$.
2. Afinidades Condicionadas por Características: Em vez de interpolação geométrica, o GraphScan computa afinidades semelhantes a atenção entre o token de consulta e seus vizinhos com base na similaridade de características e viés posicional relativo.
   • Projeções de Consulta, Chave e Valor são computadas: $q_i, k_j, v_j$.
   • Pontuações de afinidade $s_{ij}$ são calculadas usando produtos internos e um viés posicional relativo aprendível $b_{rel}(g_j - g_i)$.
   • Normalização softmax gera pesos $\alpha_{ij}$.
3. Passagem de Mensagem de Um Passo: O token de saída $x'_i$ é gerado agregando características de valor da vizinhança semântica e adicionando uma conexão residual:
   $$x'_i = x_i + \left( \sum_{j \in S_r(i)} \alpha_{ij} v_j \right) W_o$$
   Isso substitui a representação isolada do patch por uma mistura semântica de evidências visuais próximas.

Integração no Backbone

O GraphScan é integrado em um backbone hierárquico Vision Mamba (GraphScan-Mamba) como uma camada de roteamento pré-SSM.

• Arquitetura: O backbone segue um design padrão de quatro estágios com hastes convolucionais sobrepostas e subamostragem por estágio.
• Posicionamento: Dentro de cada bloco, o fluxo é: Conv Profunda (Local Fixo) $\to$ GraphScan (Local Aprendido) $\to$ SSM Seletivo (Global).
• Adaptabilidade: O raio do grafo $r$ aumenta com a profundidade do estágio (por exemplo, $r=1$ nos estágios iniciais, $r=3$ nos estágios posteriores), permitindo que o campo receptivo cresça de local para efetivamente global enquanto mantém a escala linear.

Implicações Teóricas

Os autores analisam o GraphScan como um pré-condicionador esparsos e adaptativo à entrada. Ao modificar a sequência de tokens $X$ para $X'$ antes do SSM, o GraphScan influencia o SSM de duas maneiras:

1. Injeção de Valores: Altera os valores escritos no estado recorrente.
2. Modulação de Parâmetros: Como SSMs no estilo Mamba geram parâmetros de recorrência ($\Delta, B, C$) a partir do token atual, alterar o token também altera os parâmetros seletivos que governam a propagação e a leitura do estado.
   Isso cria um "kernel local-global" onde um patch de origem influencia a saída através de uma afinidade semântica local $\alpha_{ij}$ e um fator de propagação seletiva global $K'_{t,i}$.

3. Contribuições Chave

1. Operador GraphScan: Um mecanismo de varredura inovador que trata a varredura como "roteamento semântico local aprendido" em vez de serialização geométrica ou seleção de coordenadas. Preserva a contagem de tokens e a escala linear enquanto introduz consciência semântica.
2. Backbone GraphScan-Mamba: Uma implementação hierárquica do GraphScan que alcança desempenho state-of-the-art (SOTA) entre SSMs Visuais em múltiplas tarefas sem alterar a lógica central de recorrência do SSM.
3. Ortogonalidade: O método é mostrado como ortogonal a melhorias do lado da recorrência (por exemplo, SSD, formulações não causais), oferecendo uma alavanca de design complementar para SSMs Visuais.
4. Interpretabilidade: O método induz campos de deslocamento interpretáveis sobre a rede de tokens, visualizando como o modelo roteia informações com base no conteúdo semântico em vez de geometria fixa.

4. Resultados Experimentais

Os autores avaliam o GraphScan-Mamba em três benchmarks padrão, comparando com ConvNets, Transformers e SSMs Visuais existentes (por exemplo, VMamba, DAMamba, Spatial-Mamba) em orçamentos comparáveis de parâmetros e FLOPs.

• Classificação ImageNet-1K:
  • O GraphScan-Mamba-B alcança 86,5% de precisão top-1, superando a base mais forte de SSM Visual (Spatial-Mamba-B em 85,3%) em +1,2% e o VMamba-B em +2,6%.
  • Também supera backbones fortes de ConvNet e Transformer (por exemplo, ConvNeXt-B, Swin-B) em escalas similares.
• Detecção de Objetos e Segmentação de Instâncias COCO (Mask R-CNN):
  • Sob o cronograma 1x, o GraphScan-Mamba-B atinge 51,9 mAP de caixa e 46,0 mAP de máscara, liderando todas as bases de SSMs Visuais.
  • Os ganhos transferem-se efetivamente para tarefas de previsão densa, indicando que os tokens aprendidos são robustos a estruturas espaciais em escala de detecção.
• Segmentação Semântica ADE20K (UperNet):
  • O GraphScan-Mamba-B alcança 53,2% mIoU (escala única), superando a melhor base de SSM Visual (DAMamba-B em 51,9%) em +1,3%.
  • Resultados multiescala mostram melhorias consistentes (53,6% vs 52,3%).

Estudos de Ablação:

• Posicionamento: O posicionamento pré-SSM é crítico; mover o GraphScan para pós-SSM resulta em uma queda de 0,7% na precisão.
• Cronograma de Raio: Um cronograma de raio crescente $(1, 1, 2, 3)$ oferece a melhor fronteira de Pareto entre computação e precisão.
• Viés Posicional Relativo: Incluir um viés posicional relativo aprendível fornece um ganho consistente, embora pequeno.

5. Significado e Alegações

O artigo conclui que grafos ajudam os SSMs Visuais a ver melhor. O significado deste trabalho reside na mudança do paradigma de design para SSMs Visuais:

• Da Geometria para a Semântica: A varredura não deve ser tratada meramente como serialização geométrica (escolher um caminho ou coordenada), mas como roteamento semântico local aprendido antes da modelagem global de espaço de estado.
• Complemento do Lado da Entrada: O GraphScan fornece uma solução do lado da entrada que complementa avanços do lado da recorrência. Garante que os tokens que entram no misturador seletivo já estejam localmente fundamentados e conscientes semanticamente, melhorando o condicionamento da sequência global sem alterar a dinâmica interna do SSM.
• Generalização: A abordagem é ortogonal ao núcleo específico do SSM (por exemplo, Mamba-1/S6), sugerindo que pode ser aplicada a futuras variantes de SSM.

Os autores afirmam modestamente que, embora o GraphScan melhore o desempenho e a interpretabilidade, não garante generalização no sentido formal de teoria de controle sem suposições adicionais, mas fornece um mecanismo estrutural para entradas semânticas locais mais ricas.