🤖 machine learning

REViT: Roto-reflection Equivariant Convolutional Vision Transformer

Este artigo apresenta o REViT, um novo vision transformer de roto-reflexão equivariante discreto que incorpora atenção convolucional para preservar eficazmente simetrias de rotação, reflexão e posição, demonstrando um desempenho superior em classificação de imagens em comparação com as abordagens existentes de redes neurais equivariantes.

Autores originais: Sheir A. Zaheer, Alexander C. Holston, Chan Y. Park

Publicado 2026-06-25

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Sheir A. Zaheer, Alexander C. Holston, Chan Y. Park

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está olhando para uma fotografia de um gato. Se você girar a foto 90 graus, virá-la de cabeça para baixo ou colocá-la de lado, você ainda sabe que é o mesmo gato. No entanto, a maioria dos modelos de visão computacional padrão (os "cérebros" por trás do reconhecimento de imagens) são como pessoas que nunca viram um gato de lado; elas ficam confusas quando a orientação da imagem muda. Elas podem pensar que um gato de lado é um animal completamente diferente.

Para resolver isso, cientistas constroem modelos "equivariantes". Pense neles como modelos que possuem uma compreensão intrínseca de simetria. Se você rotacionar a entrada, o "processo de pensamento" interno do modelo rotaciona junto com ela, garantindo que a resposta final permaneça consistente.

Este artigo apresenta um novo modelo chamado REViT (Roto-reflection Equivariant Convolutional Vision Transformer). Veja como ele funciona, dividido em conceitos simples:

1. O Problema do Jeito Antigo

Anteriormente, para fazer um modelo entender rotações, pesquisadores usavam duas ferramentas principais:

Redes Neurais Convolucionais (CNNs): Estas são como uma grade de pequenas lanternas escaneando uma imagem. Elas são boas em ver padrões, mas podem ser rígidas.
Vision Transformers (ViTs): Estes são como uma equipe de detetives olhando para a imagem inteira de uma vez, conectando os pontos entre diferentes partes. Eles são muito poderosos, mas geralmente têm dificuldade com rotação, a menos que você adicione muitas "etiquetas de posição" complexas (como coordenadas de GPS para cada pixel) para dizer onde as coisas estão.

O método antigo para tornar os Transformers sensíveis à rotação era como tentar ensinar um detetive a rotacionar dando a ele um mapa massivo e complicado para cada curva. Funcionava, mas era lento e computacionalmente caro.

2. A Solução REViT: Um Novo Tipo de "Elevação"

Os autores deste artigo criaram uma maneira mais simples e elegante de construir um Transformer sensível à rotação. Eles removeram totalmente a necessidade dessas complicadas "etiquetas de posição".

Em vez disso, eles usam uma "Camada de Elevação" (Lifting Layer).

A Analogia: Imagine um mapa 2D plano de uma cidade. Agora, imagine que você "eleva" esse mapa para uma torre 3D. O andar de baixo é o mapa como ele é. Os andares acima são o mesmo mapa, mas rotacionados 40 graus, 90 graus, 135 graus e assim por diante.
Como funciona: O modelo REViT pega uma imagem e cria instantaneamente essa "torre" 3D de versões rotacionadas dessa imagem. Ele não apenas olha para a imagem; ele olha para a imagem e todas as suas possíveis rotações simultaneamente.

3. A "Group Convolutional Self-Attention"

Uma vez que a imagem é "elevada" para esta torre 3D, o modelo usa um tipo especial de mecanismo de atenção chamado Group Convolutional Self-Attention (G-CSA).

A Analogia: Em um Transformer normal, os "detetives" olham para diferentes partes da imagem para ver como elas se relacionam. No REViT, os detetives estão olhando para a torre 3D. Eles conseguem ver como uma "orelha de gato" na imagem original se relaciona com uma "orelha de gato" na imagem rotacionada em 90 graus, tudo de uma vez.
Como eles estão olhando para todas as rotações juntas, o modelo aprende naturalmente que "isso é um gato, não importa como ele esteja virado". O modelo não precisa ser informado de que "este é o topo" ou "este é o fundo", porque a estrutura 3D cuida disso para eles.

4. O Que Eles Descobriram (Os Resultados)

Os pesquisadores testaram este novo modelo em três "jogos" diferentes (datasets):

Rotated MNIST: Reconhecer números escritos à mão que foram girados.
PatchCamelyon: Identificar células tumorais em amostras de tecido médico (que podem aparecer em qualquer orientação).
CIFAR-10 & ImageNet: Reconhecer objetos do cotidiano como carros, cachorros e aviões.

Os Resultados:

Melhor Precisão: O REViT superou os melhores métodos anteriores para modelos sensíveis à rotação. Ele acertou mais perguntas nos testes.
Mais Simples e Rápido: Mesmo sendo mais preciso, ele utilizou menos "passos" computacionais (parâmetros) e menos memória do que os métodos antigos e mais complicados.
Escalabilidade: Eles mostraram que este modelo pode lidar com conjuntos de dados enormes e complexos (como o ImageNet), provando que não é apenas um brinquedo para experimentos pequenos, mas uma ferramenta robusta para uso no mundo real.

5. O Lado Negativo (Limitações)

O artigo é honesto sobre uma desvantagem: como o modelo tem que processar a imagem em múltiplos estados rotacionados ao mesmo tempo (aquela torre 3D), ele requer mais poder de computação e memória do que um modelo padrão que não se importa com a rotação. É como ter uma equipe de detetives trabalhando juntos em vez de apenas um; eles fazem o trabalho melhor, mas você precisa de mais espaço de escritório e café para toda a equipe.

Resumo

Em resumo, o REViT é um novo tipo de IA que entende imagens de todos os ângulos sem precisar de instruções complexas sobre onde as coisas estão localizadas. Ao "elevar" a imagem para um espaço 3D de rotações e usar um mecanismo de atenção especial, ele reconhece objetos de forma mais precisa e eficiente do que métodos anteriores, tornando-o um forte candidato para tarefas onde a orientação importa, como imagens médicas ou robótica.

Resumo Técnico: REViT – Vision Transformer Convolucional Equivariante de Roto-reflexão

Problema
Embora redes neurais equivariantes tenham se mostrado eficazes para tarefas que exigem simetria de rotação e reflexão (ex: análise molecular, patologia médica e robótica), sua aplicação em Vision Transformers (ViTs) permanece desafiadora. Os ViTs tradicionais dependem fortemente de codificações posicionais absolutas ou relativas para manter a estrutura espacial, o que complica a implementação da equivariância de grupo. As tentativas anteriores de alcançar a equivariância de grupo em ViTs, como o Group Self-Attention (G-SA) com Relative Position Encoding (RPE), exigem modificações complexas nos mecanismos de atenção e introduzem uma sobrecarga computacional significativa. Além disso, pesquisas existentes sobre equivariância de roto-reflexão concentraram-se predominantemente em Redes Neurais Convolucionais (G-CNNs), deixando uma lacuna na exploração das capacidades de modelagem de contexto global dos transformers para essas tarefas.

Metodologia
Os autores propõem o REViT (Roto-reflection Equivariant Convolutional Vision Transformer), uma arquitetura de grupo de roto-reflexão discreta que elimina a necessidade de codificações posicionais explícitas. A metodologia central envolve duas inovações primárias:

Embedding de Patch Convolucional e Elevação (Lifting):
Em vez do embedding de patch linear, o REViT emprega uma camada de elevação (lifting layer) que transforma a imagem de entrada 2D $f: \mathbb{Z}^2 \to \mathbb{R}^C$ em um mapa de características definido sobre um espaço de grupo discreto $F: \mathbb{Z}^2 \times C_N \to \mathbb{R}^{C'}$ . Isso é alcançado via convoluções rotacionais onde a entrada é convoluída com um conjunto de filtros rotacionados correspondentes aos elementos do grupo de rotação discreto $C_N$ (ex: $p4$ , $p8$ ). Isso eleva os dados do espaço euclidiano para um espaço de posição-orientação ( $\mathbb{R}^2 \times S^1$ ), codificando inerentemente informações espaciais e orientacionais sem parâmetros posicionais aprendíveis.
Auto-atenção Convolucional de Grupo (G-CSA):
O mecanismo de auto-atenção padrão é substituído pela Auto-atenção Convolucional de Grupo (G-CSA). Neste módulo, as projeções de Query, Key e Value são computadas usando convoluções equivariantes de grupo em vez de projeções lineares. O mecanismo de atenção opera sobre as dimensões espaciais e a dimensão do grupo (orientação). Os pesos de atenção são calculados com base no produto escalar de queries e keys através do espaço de características elevado, garantindo que a operação permaneça equivariante às ações de grupo (rotações e reflexões). Ao utilizar projeções convolucionais e relações espaciais relativas inerentes à convolução, o REViT alcança equivariância de translação e rotação sem a complexidade por camada de computar codificações de posição relativa para cada cabeça de atenção.

Principais Contribuições

Auto-atenção Convolucional de Grupo Discreta (G-CSA): O artigo introduz o G-CSA como um mecanismo para alcançar a equivariância de roto-reflexão ( $E(2,N)$ ) em transformers sem depender de codificação de posição.
Implementação do REViT: Os autores implementam blocos REViT utilizando G-CSA e avaliam-nos através de múltiplas configurações de grupos de roto-translação ($pN$) e roto-reflexão ($pNm$).
Escalabilidade: O trabalho demonstra que o REViT pode ser escalado para conjuntos de dados de grande escala, especificamente o ImageNet-1k, servindo como um potencial backbone para tarefas equivariantes downstream.

Resultados Experimentais
Os autores avaliaram o REViT em três conjuntos de dados: Rotated MNIST, PatchCamelyon e CIFAR-10, e escalaram o modelo para o ImageNet-1k.

Desempenho vs. G-SA com RPE: No Rotated MNIST e PatchCamelyon, os modelos REViT (especificamente $p4$ -CSA e $p8$ -CSA) igualaram ou superaram os modelos de Group Self-Attention enriquecidos com Relative Position Encoding (G-SA+RPE). Crucialmente, o REViT alcançou isso com significativamente menos parâmetros e menor complexidade computacional (menos operações de multiplicação-adição e redução de pegada de memória).
Desempenho vs. G-CNNs: O REViT superou consistentemente as bases correspondentes de Group Equivariant CNN (G-CNN) em todos os conjuntos de dados e grupos de simetria. Notavelmente, no PatchCamelyon, o REViT alcançou maior acurácia do que variantes de G-CNN de ordem superior usando menos parâmetros.
Escalonamento para ImageNet: No ImageNet-1k, um REViT equivariante $p4m$ alcançou uma acurácia Top-1 de 79,27%, superando tanto um vanilla ViT treinado com aumento de dados (72,08%) quanto uma baseline de ResNet equivariante (77,37%).
Erro de Equivariância: Os modelos exibiram erro de equivariância próximo de zero após as camadas de lifting e G-CSA, com erros menores em grupos de ordem superior (ex: $p8$ ) atribuídos a artefatos de interpolação durante a rotação.

Significância e Alegações
O artigo afirma que o REViT oferece um caminho mais simples e eficiente para alcançar a equivariância de roto-reflexão discreta em vision transformers comparado aos métodos existentes. Ao remover a dependência de codificações posicionais explícitas e aproveitar a auto-atenção convolucional, os autores demonstram que é possível manter as forças de modelagem de contexto global dos transformers enquanto se adere a restrições de simetria rigorosas. Os resultados sugerem que o G-CSA melhora o desempenho de classificação equivariante de grupo sem necessitar de um aumento significativo no tamanho ou complexidade do modelo. Os autores posicionam o REViT como um backbone escalável e viável para tarefas onde a orientação é crítica, como imagens médicas e detecção de objetos orientados, ao mesmo tempo que reconhecem que o custo computacional ainda escala com a cardinalidade do grupo de simetria, apresentando um desafio para aplicações sensíveis à latência.