Resumo Técnico: Unificando Convolução e Atenção via Vizinhos Convolucionais Próximos

Declaração do Problema

As Redes Neurais Convolucionais (CNNs) e os Vision Transformers (ViTs) representam as duas famílias arquitetônicas dominantes em visão computacional, definidas respectivamente pela convolução espacial local e pela autoatenção global. Apesar de suas distintas definições operacionais, trabalhos anteriores sugeriram uma conexão teórica, indicando que a atenção com codificação posicional relativa pode expressar a convolução, e que a atenção local é estruturalmente equivalente à convolução de profundidade (depthwise convolution). No entanto, abordagens existentes tipicamente tratam essas operações como entidades separadas para serem unidas externamente (por exemplo, via arquiteturas mistas) ou analisam ligações pareadas específicas. Há uma falta de um arcabouço matemático unificado que demonstre ambas as operações como casos especiais de um único princípio subjacente, expondo assim o espectro de design contínuo entre elas.

Metodologia: Vizinhos Convolucionais Próximos (ConvNN)

Os autores introduzem os Vizinhos Convolucionais Próximos (ConvNN), um arcabouço unificado baseado na agregação de $k$-vizinhos mais próximos ($k$-NN). O insight central é que tanto a convolução quanto a atenção são instâncias de agregação de vizinhos que diferem apenas em sua estratégia de seleção de vizinhos:

• Convolução seleciona vizinhos com base na proximidade espacial.
• Atenção seleciona vizinhos com base na similaridade de características.

Mecânica do Arcabouço

A operação ConvNN consiste em três etapas sequenciais:

1. Computação de Similaridade: As características de entrada $X$ são projetadas nos espaços de Consulta (Query - $Q$) e Chave (Key - $K$). Uma matriz de similaridade $S$ é computada (padronizando o produto escalar, mas permitindo métricas de distância espacial).
2. Seleção de Vizinhos e Modulação: Para cada consulta, as $K$ chaves mais similares são selecionadas. Uma função de ponderação $\rho$ (ex: softmax ou uniforme) modula os vetores de Valor ($V$) correspondentes.
3. Agregação Ponderada: Os vizinhos selecionados e ponderados são agregados usando uma convolução 1D (Conv1D) com tamanho de kernel $K$ e salto (stride) $K$.

Unificação Teórica

O artigo fornece provas formais demonstrando que o ConvNN recupera operações existentes como casos especiais exatos:

• Convolução: Ao restringir as projeções às coordenadas espaciais puras, usar distância euclidiana para similaridade e selecionar $K = R^d$ vizinhos (onde $R$ é o tamanho do kernel), o ConvNN recupera exatamente a convolução padrão e a de profundidade (depthwise), incluindo o comportamento correto de borda sob preenchimento com zeros (zero-padding).
• Atenção: Ao usar projeções aprendidas e similaridade de produto escalar escalonado, o ConvNN recupera:
  • Autoatenção padrão (quando $K=N$).
  • Variantes de atenção esparsa como KVT (quando $K < N$).
  • Atenção esparsa estruturada (ex: BigBird, mascaramento causal) via mascaramento de similaridade.
  • Topologias de multi-cabeça (multi-head attention) via equivalência algébrica.

Implementações Práticas

Para lidar com restrições computacionais e de memória, os autores propõem três realizações práticas:

1. Busca de Candidatos Esparsos: Em vez de uma busca exaustiva $O(N^2)$, um subconjunto aleatório de $r \ll N$ candidatos é selecionado. Isso evita a reintrodução do viés espacial inerente à subamostragem estruturada, reduzindo a complexidade para $O(Nr)$.
2. Kernel Acelerado por Triton: Um kernel de GPU fundido mescla a computação de similaridade, a coleta de vizinhos e a agregação em um único lançamento (launch). Isso elimina tensores intermediários, reduzindo o pico de memória no forward pass em $2.3\times$ e acelerando tanto o forward quanto o backward pass.
3. Camada de Ramificação Híbrida: Um módulo que processa entradas através de ramos paralelos — um usando convolução padrão (proximidade espacial) e outro usando ConvNN (similaridade de características) — que são então concatenados e misturados via uma convolução de ponto (pointwise convolution).

Resultados Principais

O arcabouço foi validado na classificação ImageNet-1K através de duas arquiteturas complementares:

1. Arquiteturas Convolucionais (ResNet-50)

• Ramificação Híbrida: Substituir convoluções padrão de $3\times3$ por uma camada de ramificação híbrida ($\lambda=0.5$) melhorou a acurácia top-1 de 76,7% (linha de base ResNet-50) para 79,76% (em $k=16$), um ganho de 3,06%.
• Substituição Pura: Uma substituição direta por ConvNN sem a camada de ramificação alcançou ~76,2%, igualando a linha de base, mas não a superando, indicando que a combinação de seleção local e global é o motor do desempenho.
• Seleção de Candidatos: A seleção esparsa aleatória de candidatos ($r=32$) foi computacionalmente eficiente e consistentemente superou a linha de base, embora tenha tido desempenho inferior à seleção total de características.

2. Vision Transformers (ViT-Base)

• ConvNN-Attention: Substituir a autoatenção de múltiplas cabeças (MHSA) por ConvNN-attention melhorou a acurácia top-1 de 80,94% (linha de base MHSA) para 81,64% (em $k=25$), um ganho de 0,70%.
• Comparação com KVT: O ConvNN superou consistentemente o KVT (que usa pesos de agregação uniformes fixos) em todos os números de vizinhos testados. A lacuna aumentou em $k$ maiores (ex: 81,64% vs 81,28% em $k=25$), demonstrando o valor de kernels de agregação aprendidos sobre somas uniformes fixas.
• Dinâmica de Treinamento: O ConvNN exibiu um padrão de convergência distinto, ficando atrás do MHSA nos estágios iniciais/intermediários, mas superando-o nos épocas finais. Os autores atribuem isso ao fato de o kernel de agregação aprendido exigir um ajuste fino (fine-tuning) com taxa de aprendizado baixa para convergir para ponderações precisas por canal.

Significância e Alegações

O artigo afirma que o ConvNN fornece uma fundação principada para projetar operações que unem o cálculo baseado em convolução e em atenção. Sua significância reside em:

1. Unificação: Ele prova formalmente que a convolução e a atenção não são fundamentalmente distintas, mas sim pontos em um espectro operacional contínuo definido pelos critérios de seleção de vizinhos.
2. Exploração do Espaço de Design: Ele expõe um novo espaço de design onde os praticantes podem ajustar sistematicamente o equilíbrio entre proximidade espacial e similaridade de características, em vez de escolher uma operação sobre a outra.
3. Ganhos de Desempenho: Os resultados empíricos demonstram que configurações híbridas (combinando ambos os modos de seleção) e kernels de agregação aprendidos podem gerar melhorias de desempenho de estado da arte sobre as linhas de base correspondentes tanto em arquiteturas CNN quanto Transformer.

Os autores mantêm uma postura modesta, observando que, embora o ConvNN melhore sobre as linhas de base correspondentes, ele não visa necessariamente o estado da arte absoluto alcançado por designs macro-arquiteturais específicos (ex: CoAtNet, ConvNeXt). Em vez disso, ele isola e otimiza a própria operação de agregação subjacente. Duas questões permanecem abertas: se um critério de seleção intermediário poderia superar ambos os extremos, e como o escalonamento dependente do kernel de agregação aprendido deve ser tratado na prática.