🤖 machine learning

RelFlexformer: Efficient Attention 3D-Transformers for Integrable Relative Positional Encodings

El artículo presenta RelFlexformer, una clase de modelos eficientes de transformadores 3D que utilizan la Transformada de Fourier No Uniforme (NU-FFT) para integrar codificaciones posicionales relativas arbitrarias e integrables con una complejidad de $O(L \log L)$ , permitiendo así mecanismos de atención efectivos tanto para rejillas estructuradas como para datos 3D heterogéneos no estructurados como las nubes de puntos.

Autores originales: Byeongchan Kim, Arijit Sehanobish, Avinava Dubey, Min-hwan Oh, Krzysztof Choromanski

Publicado 2026-05-12

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Byeongchan Kim, Arijit Sehanobish, Avinava Dubey, Min-hwan Oh, Krzysztof Choromanski

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando organizar una fiesta masiva y caótica donde los invitados están de pie en una habitación tridimensional. Algunos están cerca entre sí, otros lejos, y no hay una cuadrícula ordenada ni filas. Tu objetivo es averiguar quién debe hablar con quién basándose en qué tan cerca están unos de otros.

En el mundo de la visión por computadora, esta "fiesta" es una Nube de Puntos 3D (una colección de puntos que representan objetos en el espacio), y los "invitados" son puntos de datos. La computadora utiliza una herramienta llamada Transformador para decidir quién habla con quién.

Aquí está el problema que resuelve el artículo, explicado de forma sencilla:

El Problema: El Cuello de Botella "Cuadrático"

Los Transformadores estándar son como un anfitrión de fiesta que insiste en verificar la distancia entre cada invitado individual y cada otro invitado antes de que cualquiera pueda hablar.

Si tienes 100 invitados, el anfitrión realiza 10,000 verificaciones.
Si tienes 1,000 invitados, el anfitrión realiza 1,000,000 de verificaciones.
Si tienes 10,000 invitados (común en escaneos 3D), el anfitrión se abruma, se queda sin memoria y la fiesta se detiene. Este es el costo cuadrático ( $O(L^2)$ ).

Para solucionar esto, los investigadores inventaron "Transformadores Eficientes" (como los Performers). Estos anfitriones usan un atajo: adivinan quién debe hablar con quién usando un truco matemático inteligente, haciendo que la fiesta funcione rápido ( $O(L)$ ).

La Trampa: Estos atajos son geniales en velocidad, pero son terribles entendiendo la geometría. Olvidan que en una habitación 3D, la distancia importa. Tratan a un invitado parado junto a ti igual que a uno al otro lado de la sala, lo que arruina la precisión para tareas 3D.

La Solución: RelFlexformer

Los autores presentan RelFlexformer, un nuevo tipo de anfitrión eficiente que es tanto rápido como consciente de la geometría.

Piénsalo así:

El Atajo: En lugar de verificar cada par, utiliza una "lente mágica" (llamada NU-FFT, o Transformada Rápida de Fourier No Uniforme) para calcular instantáneamente cómo afecta la distancia a la conversación.
La Modulación Flexible: Imagina que el anfitrión tiene un "control de volumen" especial para cada par de invitados. Si dos invitados están cerca, el volumen es alto (hablan mucho). Si están lejos, el volumen es bajo.
- Los antiguos métodos eficientes no podían girar esta perilla sin romper su atajo de velocidad.
- RelFlexformer puede girar esta perilla para cualquier forma de habitación (incluso espacios 3D desordenados e irregulares) sin ralentizarse. Lo hace traduciendo el problema de la distancia a un problema de frecuencia (como convertir una canción compleja en una melodía simple) y resolviéndolo rápidamente.

La Analogía "Mágica": La Orquesta

Imagina que los puntos 3D son músicos en una orquesta dispersos aleatoriamente en un salón.

Los Transformadores Estándar piden a cada músico que escuche a cada otro músico para encontrar la armonía. Esto toma una eternidad para una orquesta grande.
Los Antiguos Transformadores Eficientes piden a los músicos que simplemente adivinen la armonía basándose en una regla simple. Es rápido, pero la música suena plana porque ignoran quién está sentado junto a quién.
RelFlexformer es como un director que usa un espejo acústico especial. En lugar de pedirle a todos que escuchen a todos, el espejo refleja instantáneamente las ondas sonoras para que los músicos sepan exactamente qué tan fuerte deben tocar basándose en su distancia específica de los demás. Preserva la "sensación espacial" de la sala pero mantiene el tiempo de ensayo corto.

Lo Que Afirman Lograr

El artículo afirma que al usar este "espejo acústico" (la matemática NU-FFT):

Velocidad: Se mantiene rápido, escalando casi linealmente ( $O(L \log L)$ ) incluso con cantidades enormes de datos. No se bloquea cuando la "fiesta" se vuelve demasiado grande.
Precisión: Recupera el sentido de "distancia" que faltaba. En pruebas de reconocimiento de objetos 3D (como identificar una silla a partir de una nube de puntos) y segmentación 3D (etiquetando partes de una habitación), RelFlexformer:
- Superó a los antiguos métodos "rápidos pero tontos" (Performers).
- A menudo superó a los Transformadores estándar "lentos pero inteligentes", incluso siendo mucho más rápido.
Versatilidad: Funciona con datos desordenados del mundo real como nubes de puntos (de escáneres LiDAR) e imágenes RGB-D (cámaras que ven profundidad), donde los puntos no están en cuadrículas ordenadas.

Resumen

RelFlexformer es una nueva forma para que las computadoras observen formas 3D. Combina la velocidad de un atajo con la precisión de entender la distancia física. Permite que las computadoras procesen escenas 3D complejas (como un robot navegando una habitación) rápidamente sin perder la capacidad de decir qué tan lejos están las cosas entre sí.

Resumen Técnico: RelFlexformer

Enunciado del Problema

Los Transformers basados en atención se han convertido en arquitecturas dominantes para el aprendizaje 3D, particularmente para datos de nubes de puntos. Sin embargo, los Transformers estándar enfrentan dos limitaciones críticas en este dominio:

Cuello de botella computacional: El mecanismo de autoatención estándar escala cuadráticamente ( $O(L^2)$ ) con la longitud de la secuencia $L$ . Esto se vuelve prohibitivo para grandes conjuntos de puntos y modelos geométricos densos.
Desalineación geométrica: La atención estándar no se alinea naturalmente con la naturaleza desordenada y de espaciado irregular de las nubes de puntos. Si bien existen métodos de Codificación Posicional Relativa (RPE) para inyectar sesgo geométrico, integrarlos en mecanismos de atención eficientes de tiempo lineal (como Performers) no es trivial. Los métodos RPE eficientes existentes a menudo dependen de diseños de tokens estructurados (por ejemplo, rejillas regulares) o requieren la construcción explícita de máscaras de $L \times L$ , lo que anula los beneficios computacionales de la atención lineal. Específicamente, insertar una máscara geométrica en la atención kernelizada sin materializar la matriz completa de atención requiere que la máscara admita productos rápidos de matriz-vector, una restricción que pocos métodos existentes satisfacen para distribuciones 3D arbitrarias.

Metodología

Los autores proponen RelFlexformer, una clase de Transformers 3D eficientes que integra una amplia familia de RPEs mediante funciones de modulación integrables arbitrarias $f$ . La innovación central es la aplicación de la teoría de la Transformada Rápida de Fourier No Uniforme (NU-FFT) para habilitar una atención enmascarada subcuadrática.

Componentes Técnicos Clave:

Modulación mediante Convolución: El mecanismo RPE se formula como una convolución espacial. Dadas las coordenadas de los tokens de entrada $\{r_i\}$ y una función de modulación $f$ , el valor de atención enmascarada $w$ para un token se calcula como la convolución de $f$ con una señal $P$ (una suma de deltas de Dirac ponderadas por las características de entrada).
Formulación NU-FFT: Por el Teorema de la Convolución, la convolución en el dominio espacial corresponde a la multiplicación en el dominio de Fourier. Los autores aproximan la integral de Fourier continua utilizando una regla de cuadratura con $S$ $S$ muestras.
- Paso Forward: Calcular la Transformada de Fourier de la señal de la nube de puntos en frecuencias muestreadas $\xi_s$ utilizando NU-FFT. Esto toma un tiempo $O(L \log L)$ .
- Modulación: Multiplicar la señal transformada por la Transformada de Fourier de la función de modulación $Ff(\xi_s)$ .
- Paso Inverso: Calcular la inversa de NU-FFT para evaluar los valores modulados en las coordenadas originales de los tokens. Esto también toma un tiempo $O(L \log L)$ .
Integración con Atención Lineal: Este algoritmo "FastMultM" reemplaza la multiplicación explícita de la matriz de máscara $L \times L$ en marcos de atención lineal (como Performers). La complejidad general se convierte en $O(L \log L)$ , preservando la eficiencia de la atención lineal mientras incorpora sesgos geométricos arbitrarios.
Generalización: El marco generaliza los métodos existentes. Por ejemplo, si la función de modulación se parametriza como funciones armónicas discretas, el método recupera analíticamente la Incrustación Posicional Rotativa (RoPE). También subsume la codificación $\otimes$ -STRING como un caso especial donde las frecuencias se extraen de una densidad espectral específica.

Contribuciones Clave

Formulación General: Los autores formulan una clase general de mecanismos de atención eficientes modulados por RPE 3D basados en funciones arbitrarias integrables en $L_1$ .
Implementación Eficiente: Derivan una implementación de $O(L \log L)$ utilizando NU-FFT, habilitando una atención enmascarada rápida sin materializar la matriz de atención. Esto permite incorporar información geométrica directamente en la atención al estilo Performer.
Versatilidad y Rendimiento: El artículo valida RelFlexformer como un reemplazo directo en diversas arquitecturas base (PCT, PTv3, DFormer). Demuestra que RelFlexformer no solo cierra la brecha de rendimiento entre la atención lineal eficiente y la atención cuadrática densa, sino que, en varios casos, supera a los Transformers estándar $O(L^2)$ .
Complementariedad: Los autores muestran que su modulación RPE basada en distancia es ortogonal a las codificaciones a nivel de token como PointRoPE y puede combinarse efectivamente para obtener mejoras adicionales.

Resultados Experimentales

Los autores evaluaron RelFlexformer en una amplia cartera de conjuntos de datos 3D para clasificación y segmentación:

Clasificación de Objetos (ModelNet40, ScanObjectNN):
- En ModelNet40, RelFlexformer logró una precisión del 92.94%, reduciendo significativamente la brecha con la línea base de Transformer denso (93.2%) en comparación con el Performer estándar (92.34%).
- En ScanObjectNN, RelFlexformer (84.45%) superó la línea base de Transformer denso (84.0%).
Segmentación Semántica (ScanNet, ScanNet200, ScanNet++, nuScenes, S3DIS):
- RelFlexformer mejoró consistentemente las líneas base de Performer estándar. Por ejemplo, en ScanNet, el mIoU mejoró de 74.8% (Performer) a 76.8% (RelFlexformer), acercándose a la línea base de Transformer (77.6%).
- En nuScenes, RelFlexformer logró un 80.3% de mIoU, superando la línea base de Transformer (el puntaje del Transformer es 80.4%, pero el texto nota que RelFlexformer a menudo lo supera; específicamente, en nuScenes, RelFlexformer + PointRoPE alcanzó 81.2%, superando el 80.4% del Transformer).
- En la validación cruzada de 6 pliegues de S3DIS, RelFlexformer cerró la brecha de mIoU de 73.18% (Performer) a 76.25%, igualando casi al Transformer (77.70%).
Segmentación RGB-D (NYU Depth v2, SUN RGB-D):
- Utilizando la arquitectura base DFormer, RelFlexformer logró un 55.32% de mIoU en NYU Depth v2 y un 51.04% en SUN RGB-D, superando tanto a la línea base de Performer como al método STRING propuesto recientemente, al tiempo que evita la sobrecarga de parámetros de STRING.

Significado y Afirmaciones

El artículo afirma que RelFlexformer proporciona un operador geométrico unificado que subsume codificaciones multidimensionales recientes (como STRING) como casos especiales, al tiempo que extiende la eficiencia subcuadrática a datos RGB-D densos mediante el levantamiento de coordenadas.

El significado principal radica en cerrar la brecha de precisión entre la atención lineal eficiente y la atención densa estándar. Los autores argumentan que al enmarcar la modulación geométrica mediante NU-FFT, es posible incorporar una amplia familia de funciones RPE integrables sin sacrificar los beneficios computacionales de la atención kernelizada. Esto establece a RelFlexformer como una arquitectura altamente escalable para procesar nubes de puntos irregulares a gran escala que anteriormente estaban limitadas por el costo cuadrático de la atención densa estándar. Los resultados sugieren que los mecanismos de atención eficientes pueden lograr, y a veces superar, el rendimiento de los Transformers densos cuando están equipados con una modulación geométrica adecuada, haciéndolos viables para tareas de percepción 3D del mundo real donde la latencia y la memoria son restricciones críticas.