🤖 machine learning

REViT: Roto-reflection Equivariant Convolutional Vision Transformer

Este artículo presenta REViT, un novedoso transformador de visión de roto-reflexión discreta equivariante que incorpora atención convolucional para preservar eficazmente las simetrías de rotación, inversión y posición, demostrando un rendimiento superior en la clasificación de imágenes en comparación con los enfoques existentes de redes neuronales equivariantes.

Autores originales: Sheir A. Zaheer, Alexander C. Holston, Chan Y. Park

Publicado 2026-06-25

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Sheir A. Zaheer, Alexander C. Holston, Chan Y. Park

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás mirando la fotografía de un gato. Si rotas la foto 90 grados, la volteas boca abajo o la pones de lado, sigues sabiendo que es el mismo gato. Sin embargo, la mayoría de los modelos de visión computacional estándar (los "cerebros" detrás del reconocimiento de imágenes) son como personas que nunca han visto un gato de lado; se confunden cuando la orientación de la imagen cambia. Podrían pensar que un gato de lado es un animal completamente diferente.

Para solucionar esto, los científicos construyen modelos "equivariantes". Piensa en ellos como modelos que tienen un entendimiento intrínseco de la simetría. Si rotas la entrada, el "proceso de pensamiento" interno del modelo también rota junto con ella, asegurando que la respuesta final sea consistente.

Este artículo presenta un nuevo modelo llamado REViT (Transformer de Visión Convolucional de Roto-reflexión Equivariante). Así es como funciona, desglosado en conceptos simples:

1. El problema con la forma antigua

Anteriormente, para que un modelo entendiera las rotaciones, los investigadores utilizaban dos herramientas principales:

Redes Neuronales Convolucionales (CNN): Estas son como una cuadrícula de diminosas linternas que escanean una imagen. Son buenas detectando patrones, pero pueden ser rígidas.
Vision Transformers (ViTs): Estos son como un equipo de detectives que observan toda la imagen a la vez, conectando los puntos entre diferentes partes. Son muy potentes, pero suelen tener dificultades con la rotación a menos que se les añadan muchas "etiquetas de posición" complejas (como coordenadas GPS para cada píxel) para decirles dónde están las cosas.

El método antiguo para hacer que un Transformer fuera consciente de la rotación era como intentar enseñarle a un detective a rotar dándole un mapa masivo y complicado para cada giro. Funcionaba, pero era lento y computacionalmente costoso.

2. La solución de REViT: Un nuevo tipo de "Elevación"

Los autores de este artículo idearon una forma más simple y elegante de construir un Transformer consciente de la rotación. Eliminaron la necesidad de esas complicadas "etiquetas de posición" por completo.

En su lugar, utilizan una "Capa de Elevación" (Lifting Layer).

La analogía: Imagina un mapa 2D plano de una ciudad. Ahora, imagina que "elevas" ese mapa para convertirlo en una torre 3D. El piso inferior es el mapa tal como está. Los pisos superiores son el mismo mapa, pero rotados 45 grados, 90 grados, 135 grados, y así sucesivamente.
Cómo funciona: El modelo REViT toma una imagen e instantáneamente crea esta "torre" 3D de versiones rotadas de esa imagen. No solo mira la imagen; mira la imagen y todas sus posibles rotaciones simultáneamente.

3. La "Atención Auto-convolucional de Grupo"

Una vez que la imagen ha sido "elevada" a esta torre 3D, el modelo utiliza un tipo especial de mecanismo de atención llamado Atención Auto-convolucional de Grupo (G-CSA).

La analogía: En un Transformer normal, los "detectives" miran diferentes partes de la imagen para ver cómo se relacionan. En REViT, los detectives están mirando la torre 3D. Pueden ver cómo una "oreja de gato" en la imagen original se relaciona con una "oreja de gato" en la imagen rotada 90 grados, todo al mismo tiempo.
Debido a que observan todas las rotaciones juntas, el modelo aprende naturalmente que "esto es un gato, sin importar cómo esté girado". No necesita que le digan "esto es la parte superior" o "esto es la parte inferior", porque la estructura 3D se encarga de ello por ellos.

4. Lo que encontraron (Los resultados)

Los investigadores probaron este nuevo modelo en tres "juegos" diferentes (conjuntos de datos):

MNIST Rotado: Reconocer números escritos a mano que han sido girados.
PatchCamelyon: Identificar células tumorales en muestras de tejido médico (que pueden aparecer en cualquier orientación).
CIFAR-10 e ImageNet: Reconocer objetos cotidianos como coches, perros y aviones.

Los Resultados:

Mejor precisión: REViT superó a los métodos anteriores más avanzados para modelos conscientes de la rotación. Respondió correctamente más preguntas en las pruebas.
Más simple y rápido: A pesar de ser más preciso, utilizó menos "pasos" informáticos (parámetros) y menos memoria que los métodos antiguos y más complicados.
Escalabilidad: Demostraron que este modelo puede manejar conjuntos de datos enormes y complejos (como ImageNet), probando que no es solo un juguete para experimentos pequeños, sino una herramienta robusta para usos del mundo real.

5. El inconveniente (Limitaciones)

El artículo es honesto sobre un inconveniente: debido a que el modelo tiene que procesar la imagen en múltiples estados rotados a la vez (esa torre 3D), requiere más potencia de cómputo y memoria que un modelo estándar al que no le importa la rotación. Es como tener un equipo de detectives trabajando juntos en lugar de uno solo; hacen mejor su trabajo, pero necesitas más espacio de oficina y más café para todo el equipo.

Resumen

En resumen, REViT es un nuevo tipo de IA que entiende las imágenes desde todos los ángulos sin necesidad de instrucciones complejas sobre dónde se encuentran las cosas. Al "elevar" la imagen a un espacio 3D de rotaciones y utilizar un mecanismo de atención especial, reconoce objetos de manera más precisa y eficiente que los métodos anteriores, lo que lo convierte en un fuerte candidato para tareas donde la orientación importa, como la imagen médica o la robótica.

Resumen Técnico: REViT – Vision Transformer Convolucional con Equivarianza de Roto-reflexión

Planteamiento del Problema
Si bien las redes neuronales equivariantes han demostrado ser efectivas para tareas que requieren simetría de rotación y reflexión (por ejemplo, análisis molecular, patología médica y robótica), su aplicación en Vision Transformers (ViTs) sigue siendo un desafío. Los ViTs tradicionales dependen fuertemente de codificaciones posicionales absolutas o relativas para mantener la estructura espacial, lo que complica la implementación de la equivariancia de grupo. Las codificaciones posicionales estándar rompen la equivariancia bajo transformaciones como la rotación o la reflexión porque asignan vectores únicos a coordenadas fijas. Intentos previos para lograr la equivariancia de grupo en ViTs, como el Group Self-Attention (G-SA) con codificación de posición relativa (RPE), requieren modificaciones complejas en los mecanismos de atención e introducen una carga computacional significativa. Además, la investigación existente sobre la equivariancia de roto-reflexión se ha centrado predominantemente en Redes Neuronales Convolucionales de Grupo (G-CNNs), dejando un vacío en el aprovechamiento de las capacidades de modelado de contexto global de los transformers para estas tareas.

Metodología
Los autores proponen REViT (Roto-reflection Equivariant Convolutional Vision Transformer), una arquitectura de visión transformadora convolucional con equivariancia de grupo de roto-reflexión discreta que elimina la necesidad de codificaciones posicionales explícitas. La metodología central involucra dos innovaciones primarias:

Incrustación de Parches Convolucionales y Levantamiento (Lifting):
En lugar de una incrustación de parches lineal, REViT emplea una capa de levantamiento que transforma la imagen de entrada 2D $f: \mathbb{Z}^2 \to \mathbb{R}^C$ en un mapa de características definido sobre un espacio de grupo discreto $F: \mathbb{Z}^2 \times C_N \to \mathbb{R}^{C'}$ . Esto se logra mediante convoluciones rotacionales donde la entrada se convoluciona con un conjunto de filtros rotados correspondientes a los elementos del grupo de rotación discreto $C_N$ (por ejemplo, $p4$ , $p8$ ). Esto eleva los datos del espacio euclidiano a un espacio de posición-orientación ( $\mathbb{R}^2 \times S^1$ ), codificando intrínsecamente la información espacial y orientacional sin parámetros posicionales aprendibles.
Auto-atención Convolucional de Grupo (G-CSA):
El mecanismo de auto-atención estándar es reemplazado por la Auto-atención Convolucional de Grupo (G-CSA). En este módulo, las proyecciones de Query, Key y Value se computan utilizando convoluciones equivariantes de grupo en lugar de proyecciones lineales. El mecanismo de atención opera sobre ambas dimensiones espaciales y la dimensión del grupo (orientación). Los pesos de atención se calculan basándose en el producto punto de las queries y las keys a través del espacio de características elevado, asegurando que la operación permanezca equivariante a las acciones del grupo (rotaciones y reflexiones). Al utilizar proyecciones convolucionales y relaciones espaciales relativas inherentes a la convolución, REViT logra la equivariancia de traslación y rotación sin la complejidad por capa de computar codificaciones de posición relativas para cada cabeza de atención.

Contribuciones Clave

Auto-atención Convolucional de Grupo Discreta (G-CSA): El artículo introduce G-CSA como un mecanismo para lograr la equivariancia de roto-reflexión ( $E(2,N)$ ) en transformers sin depender de la codificación de posición.
Implementación de REViT: Los autores implementan bloques REViT utilizando G-CSA y evalúan su desempeño a través de múltiples configuraciones de grupos de roto-traslación ($pN$) y de roto-reflexión ($pNm$).
Escalabilidad: El trabajo demuestra que REViT puede escalarse a conjuntos de datos de gran escala, específicamente ImageNet-1k, sirviendo como un posible backbone para tareas equivariantes de downstream.

Resultados Experimentales
Los autores evaluaron REViT en tres conjuntos de datos: Rotated MNIST, PatchCamelyon y CIFAR-10, y escalaron el modelo a ImageNet-1k.

Rendimiento vs. G-SA con RPE: En Rotated MNIST y PatchCamelyon, los modelos REViT (específicamente $p4$ -CSA y $p8$ -CSA) igualaron o superaron a los modelos de Group Self-Attention enriquecidos con Codificación de Posición Relativa (G-SA+RPE). Crucialmente, REViT logró esto con significativamente menos parámetros y una menor complejidad computacional (menos operaciones de multiplicación-suma y una reducción en la huella de memoria).
Rendimiento vs. G-CNNs: REViT superó consistentemente a los baselines correspondientes de Redes Neuronales Convolucionales de Grupo (G-CNN) en todos los conjuntos de datos y grupos de simetría. Notablemente, en PatchCamelyon, REViT alcanzó una precisión mayor que las variantes de G-CNN de orden superior utilizando menos parámetros.
Escalamiento a ImageNet: En ImageNet-1k, un REViT con equivariancia $p4m$ alcanzó una precisión Top-1 del 79.27%, superando tanto a un ViT vanilla entrenado con aumentación (72.08%) como a un baseline de ResNet equivariante (77.37%).
Error de Equivarianza: Los modelos exhibieron un error de equivariancia cercano a cero tras las capas de levantamiento y G-CSA, con errores menores en grupos de orden superior (por ejemplo, $p8$ ) atribuidos a artefactos de interpolación durante la rotación.

Significancia y Reivindicaciones
El artículo afirma que REViT ofrece un camino más simple y eficiente para lograr la equivariancia de roto-reflexión discreta en vision transformers en comparación con métodos existentes. Al eliminar la dependencia de codificaciones posicionales explícitas y aprovechar la auto-atención convolucional, los autores demuestran que es posible mantener las fortalezas de modelado de contexto global de los transformers mientras se adhieren a restricciones de simetría estrictas. Los resultados sugieren que G-CSA mejora el rendimiento de la clasificación con equivariancia de grupo sin necesidad de un aumento significativo en el tamaño o la complejidad del modelo. Los autores posicionan a REViT como un backbone escalable y viable para tareas donde la orientación es crítica, como la imagen médica y la detección de objetos orientados, reconociendo al mismo tiempo que el costo computacional aún escala con la cardinalidad del grupo de simetría, lo que presenta un desafío para aplicaciones sensibles a la latencia.