🤖 machine learning

Parabolic Position Encoding: Vision-Centric, Principled, Extrapolatable, General

Este artículo presenta la Codificación de Posición Parabólica (PaPE), un método de codificación de posición centrado en la visión y fundamentado teóricamente que aprovecha funciones parabólicas para lograr una extrapolación y generalización superiores en diversas modalidades visuales en comparación con las líneas base existentes.

Autores originales: Christoffer Koo Øhrstrøm, Rafael I. Cabral Muchacho, Yifei Dong, Filippos Moumtzidellis, Ronja Güldenring, Florian T. Pokorny, Lazaros Nalpantidis

Publicado 2026-05-13

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Christoffer Koo Øhrstrøm, Rafael I. Cabral Muchacho, Yifei Dong, Filippos Moumtzidellis, Ronja Güldenring, Florian T. Pokorny, Lazaros Nalpantidis

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás enseñando a un robot a reconocer objetos en una habitación. Le muestras una foto de un gato sentado sobre una mesa. El robot necesita saber dos cosas: qué está mirando (un gato) y dónde está mirando (sobre la mesa, no en el suelo).

En el mundo de la IA, el "qué" es fácil. El "dónde" es complicado. La mayoría de los robots actuales utilizan un sistema de posición prestado del aprendizaje de idiomas, como una regla que simplemente cuenta "1, 2, 3" a lo largo de una línea. Pero el mundo no es una línea; es un espacio 3D con arriba, abajo, izquierda, derecha y diagonales.

Este artículo introduce una nueva herramienta llamada Codificación de Posición Parabólica (PaPE). Piensa en PaPE como darle al robot un mapa inteligente y flexible en lugar de una regla rígida.

Así es como funciona, usando analogías simples:

1. El problema con los mapas antiguos

Los métodos antiguos (como los utilizados para el lenguaje) son como una regla recta. Le dicen al robot: "Este token está a 5 pasos de ese otro". Pero tienen dificultades cuando el robot necesita entender:

Dirección: ¿El gato está encima de la mesa o debajo de ella?
Distancia: ¿El gato está cerca de la mesa o lejos?
Rotación: Si giras la foto de lado, ¿el robot sigue sabiendo que es un gato?

2. La solución PaPE: Un "rebote inteligente"

Los autores diseñaron PaPE basándose en cinco reglas simples que tienen sentido para la visión:

Invarianza a la traslación: No importa si el gato está en la esquina superior izquierda o en la inferior derecha; la relación entre el gato y la mesa permanece igual.
Invarianza a la rotación: Si giras la habitación, el robot debería seguir entendiendo la distribución.
Decaimiento de la distancia: Las cosas que están cerca deberían "hablarse" más fuerte que las cosas que están lejos.
Direccionalidad: El robot necesita saber si algo está a la izquierda o a la derecha, no solo a qué distancia.
Conciencia del contexto: El robot debería poder decidir: "Oye, para este objeto específico, necesito mirar lejos", o "Para este otro, solo me importa lo que está justo al lado mío".

La analogía: Imagina que estás lanzando una pelota a un objetivo.

Los métodos antiguos son como una cinta métrica rígida. Solo te dicen la distancia.
PaPE es como un trampolín elástico. La forma del trampolín (la "parábola") cambia dependiendo de quién lanza la pelota (el contenido de la imagen).
- Si la pelota es pesada (un objeto complejo), el trampolín podría estar rígido, manteniendo el enfoque estrecho (local).
- Si la pelota es ligera, el trampolín podría estar suelto, permitiendo que la pelota rebote lejos (global).
- Se curva naturalmente para mostrar la dirección (izquierda/derecha) y se debilita a medida que te alejas (decaimiento de la distancia).

3. La "magia" de la extrapolación (La prueba de zoom)

Una de las pruebas más grandes para estos robots es la extrapolación. Imagina que entrenas al robot para reconocer gatos en imágenes pequeñas de 224x224 píxeles. Luego, de repente, le muestras una imagen gigante de 1024x1024 píxeles sin volver a entrenarlo.

Los robots antiguos se confunden. Piensan que el gato es enorme o que está en el lugar equivocado. Su precisión se desploma.
Los robots PaPE son como una lente de zoom. Manejan la imagen gigante casi tan bien como la pequeña.
- El artículo muestra que a la resolución más alta, PaPE fue un 10,5% más preciso que el siguiente mejor método. Es como si el robot ni siquiera notara que la imagen había crecido.

4. ¿Funciona en todas partes?

Los autores probaron este "mapa inteligente" en ocho tipos diferentes de tareas de visión, como:

Videos: Observar cómo se mueve la gente (UCF101).
Cámaras de eventos: Cámaras que solo ven cambios de luz (como una alarma de incendios viendo humo).
Nubes de puntos 3D: Nubes digitales de puntos que representan objetos 3D (como un coche o una silla).
Fotografías estándar: Reconocer objetos en imágenes (ImageNet).

El resultado: PaPE fue el ganador o empató como ganador en 5 de cada 8 pruebas, y superó a todos los demás en 2 de ellas. Demostró ser un mapa "universal" que funciona para videos, formas 3D y fotos por igual.

5. La compensación

¿Hay alguna trampa? Sí, pero pequeña.
Para crear este mapa inteligente, el robot necesita llevar una mochila ligeramente más pesada. PaPE añade un poco de datos extra (aproximadamente un 7% a un 20% más de memoria y potencia de cálculo, dependiendo de la configuración). Sin embargo, los autores dicen que este costo es pequeño en comparación con la gran ganancia en precisión y la capacidad de manejar diferentes resoluciones sin reentrenar.

Resumen

El artículo propone PaPE, una nueva forma de enseñar a la IA dónde se encuentran las cosas en una imagen. En lugar de usar una regla rígida basada en el lenguaje, utiliza una "parábola" flexible y curva que entiende la distancia, la dirección y el contexto.

Es robusto: Funciona incluso cuando haces zoom hacia adentro o hacia afuera drásticamente.
Es general: Funciona en videos, escaneos 3D y fotos.
Es eficiente: Se adapta a los chips de IA modernos sin ralentizarlos demasiado.

En resumen, PaPE le da al robot un mejor sentido del espacio, haciéndolo más inteligente y más adaptable al mundo real.

Resumen Técnico: Codificación de Posición Parabólica (PaPE)

Enunciado del Problema

Los Transformadores de Visión (ViTs) se han vuelto dominantes en visión por computadora, sin embargo, sus codificaciones de posición a menudo se adaptan de arquitecturas de procesamiento de lenguaje natural (PLN). Mientras que el lenguaje es inherentemente unidimensional y en gran medida indiferente a la dirección geométrica, los modalidades de visión (imágenes, videos, flujos de eventos, nubes de puntos) poseen características espaciales distintivas. Las adaptaciones existentes de las codificaciones de posición a estructuras de visión $n$ -dimensionales a menudo no logran tener en cuenta plenamente estas características, como la invariancia a la traslación, la invariancia a la rotación, la decadencia de la distancia, la direccionalidad y la conciencia del contexto. Además, muchos métodos actuales luchan por extrapolar eficazmente a resoluciones significativamente más altas que las vistas durante el entrenamiento, limitando su robustez y aplicabilidad en escenarios de múltiples resoluciones.

Metodología: Codificación de Posición Parabólica (PaPE)

Los autores proponen la Codificación de Posición Parabólica (PaPE), una codificación de posición diseñada específicamente para modalidades de visión basada en cinco principios de diseño destilados:

Invariancia a la Traslación: La codificación depende de la posición relativa entre los tokens, no de sus coordenadas absolutas.
Invariancia a la Rotación (PaPE-RI): Una instancia específica donde la codificación permanece inalterada bajo rotación (aunque esto conlleva un costo en la direccionalidad).
Decadencia de la Distancia: La fuerza de la atención disminuye a medida que aumenta la distancia entre los tokens.
Direccionalidad: La codificación tiene en cuenta la dirección específica entre los tokens (por ejemplo, arriba, abajo, diagonal), lo cual es crucial para la visión pero menos relevante en el lenguaje unidimensional.
Conciencia del Contexto: La fuerza de la decadencia de la distancia y la direccionalidad se modula por el contenido de los tokens mismos, permitiendo que el modelo se adapte a interacciones locales versus de largo alcance.

Formulación Matemática

PaPE modela la posición relativa $\Delta r_{ij} = W_p(r_j - r_i)$ como la variable dependiente en una suma de $m$ parábolas aprendibles. La puntuación de atención $S_{ij}$ se descompone en tres componentes:
$S_{ij} = \langle a_i, \Delta r_{ij}^{\odot 2} \rangle + \langle b_i, \Delta r_{ij} \rangle + \langle q_i, k_j \rangle$
Donde:

$\langle a_i, \Delta r_{ij}^{\odot 2} \rangle$ codifica la decadencia de la distancia. El coeficiente $a_i$ se deriva del contenido del token $x_i$ mediante una proyección aprendible y una activación softplus (negada) para asegurar que $a_i < 0$ , imponiendo concavidad.
$\langle b_i, \Delta r_{ij} \rangle$ codifica la direccionalidad. El coeficiente $b_i$ también se deriva de $x_i$ .
$\langle q_i, k_j \rangle$ representa la atención semántica estándar.

Variante Invariante a la Rotación (PaPE-RI)

Para lograr invariancia a la rotación, PaPE-RI impone restricciones: $b_i = 0$ (eliminando la direccionalidad), $a_i$ es un escalar $\alpha_i < 0$ , y la matriz de proyección $W_p$ es una matriz identidad escalada. Esto reduce el término de distancia a una función de la distancia euclidiana al cuadrado, que es invariante a la rotación.

Compatibilidad con Kernels Eficientes

Una contribución técnica crítica es la derivación de transformaciones separadas de consulta y clave ( $f_q$ y $f_k$ ) que permiten calcular PaPE sin materializar la matriz de atención completa $N \times N$ . Esto asegura la compatibilidad con kernels de atención eficientes como FlashAttention. Las transformaciones inyectan información posicional directamente en los vectores de consulta y clave, aumentando la dimensión de la cabeza en $p^2 + 2p + 2$ (donde $p$ es la dimensión espacial), lo cual es un sobrecosto moderado para $p=2$ o $p=3$ .

Contribuciones Clave

Codificación Novel: Introducción de PaPE y PaPE-RI, las primeras codificaciones de posición derivadas de los principios combinados de invariancia a la traslación/rotación, decadencia de la distancia, direccionalidad y conciencia del contexto.
Eficiencia: Demostración de que PaPE es compatible con kernels de atención eficientes mediante transformaciones separadas de consulta-clave, evitando el cuello de botella computacional de la materialización completa de la matriz de atención.
Extrapolación: Evidencia de que PaPE exhibe capacidades de extrapolación superiores para tareas de clasificación, manteniendo el rendimiento a resoluciones muy superiores a la resolución de entrenamiento sin entrenamiento adicional ni interpolación.
Generalidad: Validación de PaPE en 8 conjuntos de datos que abarcan 4 modalidades de visión (videos, cámaras de eventos, imágenes y nubes de puntos), mostrando que iguala o supera las líneas base más avanzadas.

Resultados Experimentales

Extrapolación en Clasificación

En ImageNet-1K, los modelos entrenados a resolución $224^2$ se evaluaron hasta $1024^2$ sin reentrenamiento ni interpolación de posición.

PaPE logró una precisión del 74.9% a $1024^2$ , superando a la siguiente mejor línea base (LookHere) en 10.5% (LookHere logró 64.4%).
Por el contrario, líneas base estándar como variantes de nD-sincos y RoPE sufrieron caídas significativas de rendimiento a resoluciones más altas.
Los autores atribuyen este éxito a la naturaleza consciente del contexto de PaPE, que permite que el modelo adapte dinámicamente la decadencia posicional.

Codificación de Posición de Visión General

La evaluación en 8 conjuntos de datos (UCF101, DvsGesture, GEN1, ImageNet-1K, COCO, ScanNet, ModelNet40, nuScenes) arrojó lo siguiente:

Rendimiento Promedio: PaPE logró la puntuación promedio más alta (66.3), superando al siguiente mejor método (RoPE) en 1.0 punto.
Victorias por Conjunto de Datos: PaPE igualó a la mejor línea base en 5 conjuntos de datos y superó a todas las líneas base en 2 conjuntos de datos (UCF101 y GEN1).
Datos Espacio-Temporales: PaPE mostró ganancias particularmente fuertes en UCF101 (49.5% vs. 43.9% para RoPE) y GEN1, sugiriendo que su direccionalidad y conciencia del contexto son vitales para objetos en movimiento rápido y datos basados en eventos.
Nubes de Puntos: En ScanNet, PaPE tuvo un rendimiento inferior en comparación con las codificaciones absolutas (nD-sincos), sugiriendo que para escenas interiores con tamaños absolutos característicos, la información de posición absoluta puede ser beneficiosa. Por el contrario, en ModelNet40 (objetos aislados), las codificaciones invariantes a la traslación superaron a las absolutas.

Robustez y Eficiencia

Fuera de Distribución (OOD): PaPE no se degradó más que las líneas base en ImageNetV2 e ImageNet-Renditions, confirmando que la conciencia del contexto no perjudica la generalización.
Emparejamiento de Parámetros: Cuando las líneas base se ajustaron para igualar la cantidad de parámetros de PaPE, PaPE mantuvo su ventaja de rendimiento, indicando que las ganancias no se deben únicamente a una mayor capacidad del modelo.
Eficiencia: PaPE introduce un aumento moderado de recursos (7–20% en VRAM y FLOPS para $m=50$ ) pero sigue siendo compatible con implementaciones estándar de atención eficiente.

Significado y Afirmaciones

El artículo afirma que PaPE representa una codificación de posición de visión general que cierra la brecha entre las codificaciones derivadas del lenguaje y las necesidades geométricas específicas de la visión.

Extrapolación: Los autores afirman que PaPE ofrece una extrapolación "notable", mejorando en términos absolutos hasta un 10.5% sobre el siguiente mejor método a altas resoluciones, un factor crítico para reducir los costos de entrenamiento y permitir una inferencia robusta de múltiples resoluciones.
Diseño Principiado: Al diseñar explícitamente para la invariancia a la traslación, la decadencia de la distancia, la direccionalidad y la conciencia del contexto, PaPE aborda la cobertura "incompleta" de las características de la visión en adaptaciones anteriores.
Versatilidad: Los resultados en diversas modalidades (desde imágenes 2D hasta nubes de puntos 3D y flujos de eventos asíncronos) sugieren que PaPE proporciona una solución unificada y robusta para los Transformadores de Visión, abriendo un nuevo camino para la investigación en codificación de posición.

Los autores permanecen modestos respecto a las limitaciones, notando el aumento moderado en parámetros y uso de recursos dependiente del hiperparámetro $m$ , y sugieren que el trabajo futuro podría centrarse en reducir $m$ o integrar PaPE más profundamente en kernels eficientes.