Resumen Técnico: GRAMformer – Interacciones de Modalidad de Cualquier Orden mediante Atención Cruzada Multimodal Volumétrica

Planteamiento del Problema

Las arquitecturas actuales de transformadores multimodales dependen fuertemente de los mecanismos de atención para integrar información heterogénea. Sin embargo, los enfoques existentes sufren limitaciones fundamentales al modelar interacciones entre más de dos modalidades:

1. Limitaciones de Paridad (Pareja): La atención cruzada estándar computa la relevancia de forma independiente entre un query y cada clave específica de la modalidad. Esta formulación de producto punto por pares falla al no modelar explícitamente las interacciones que dependen de la configuración conjunta de múltiples representaciones (por ejemplo, si un conjunto de vectores se encuentra en un subespacio común de baja dimensión).
2. Escalabilidad y Eficiencia:
   • Estrategias de Concatenación: Los métodos de fusión temprana concatenan todos los tokens de las modalidades en una única secuencia para la autoatención conjunta. Esto conduce a una complejidad cuadrática en memoria y cómputo a medida que aumenta el número de modalidades, y no logra computar las interacciones entre las modalidades concatenadas mismas.
   • Arquitecturas de Paridad: Los métodos que utilizan módulos de atención cruzada separados para cada par de modalidades escalan cuadráticamente con el número de modalidades en términos de parámetros y memoria, mientras que siguen fallando en capturar dependencias de orden superior que involucran a tres o más modalidades simultáneamente.
   • Enfoques Tensorizados: Los intentos recientes de extender la atención a tres modalidades mediante productos tensoriales o factorización suelen requerir aproximaciones severas o selección de rango, lo que puede suprimir dependencias finas o específicas de la modalidad.

Consecuentemente, existe una falta de mecanismos que puedan definir explícitamente la atención como una función sobre un conjunto de representaciones de modalidades para capturar una verdadera alineación multimodal de orden superior sin costos computacionales prohibitivos.

Metodología

Atención Cruzada Multimodal Volumétrica (VMA)

Los autores proponen la Atención Cruzada Multimodal Volumétrica (VMA), un mecanismo novedoso que reemplaza la similitud por pares con una medida geométrica unificada. En lugar de evaluar la similitud token por token, VMA computa puntuaciones de atención basadas en la geometría conjunta de un query y múltiples claves específicas de la modalidad.

• Formulación Geométrica: Para un token de query $q$ y un conjunto de tokens de clave alineados $\{k_1, \dots, k_M\}$ de $M$ modalidades, el método construye una matriz $Z = [q, k_1, \dots, k_M]$. La similitud multimodal conjunta se define por el volumen del paralelepípedo generado por estos vectores, calculado como la raíz cuadrada del determinante de la matriz de Gram asociada $G = Z^\top Z$:
  $$\text{Vol}(q, k_1, \dots, k_M) = \sqrt{\det(G) + \epsilon}$$
  Este volumen sirve como una medida escalar de la dependencia lineal conjunta: es bajo cuando los vectores están mutuamente alineados (cercanos a un subespacio de menor dimensión) y aumenta a medida que abarcan una región de mayor dimensión.
• Logits de Atención: El logit de atención final combina este término geométrico de orden superior con una regularización de producto punto estándar para preservar las interacciones bimodales fuertes:
  $$s(q, k_1, \dots, k_M) = -\beta \cdot \text{Vol}(q, k_1, \dots, k_M) + \sum_{m=1}^M \frac{\langle q, k_m \rangle}{\sqrt{d}}$$
  Aquí, $\beta$ controla la inyección de información de orden superior. El término de volumen es invariante bajo transformaciones ortogonales y permutaciones de las modalidades de condicionamiento.
• Agregación de Valores: Para controlar dinámicamente la contribución de cada modalidad, un mecanismo de compuerta (gating) dependiente del query modula la información extraída de cada modalidad antes de promediarlas para formar la salida final.
• Extensión Multi-Cabeza (M-VMA): El mecanismo se extiende a una formulación de múltiples cabezas donde la atención volumétrica se computa independientemente a través de $H$ subespacios, permaneciendo matemáticamente válida siempre que el número de modalidades más uno no exceda la dimensión de la cabeza.

Arquitectura GRAMformer

Los autores integran VMA en una arquitectura de transformador novedosa llamada GRAMformer.

• Diseño: GRAMformer sigue la estructura estándar del codificador de transformador (conexiones residuales, normalización de capa, redes de alimentación hacia adelante) pero reemplaza las capas de atención cruzada convencional con VMA o M-VMA.
• Estrategia de Fusión: En la configuración de clasificación multimodal, una modalidad (típicamente texto) actúa como el flujo de query, mientras que las modalidades restantes actúan como flujos de condicionamiento. El bloque VMA atiende conjuntamente a todas las modalidades de condicionamiento en cada capa, modelando explícitamente sus interacciones en lugar de depender de la fusión por pares.
• Eficiencia: La arquitectura está diseñada para ser ligera. A diferencia de las estrategias de concatenación o de paridad, VMA escala eficientemente con el número de modalidades sin requerir un aumento dramático en parámetros o memoria.

Contribuciones Clave

1. Identificación de Limitaciones: El artículo destaca la incapacidad fundamental de los mecanismos de atención por pares para modelar dependencias multimodales de orden superior y la ineficiencia de las estrategias de fusión actuales.
2. Atención Cruzada Multimodal Volumétrica (VMA): Introducción de un mecanismo de atención novedoso que define las puntuaciones de atención como una función de la geometría conjunta (volumen) de un query y múltiples claves, permitiendo el modelado nativo de interacciones de modalidad de cualquier orden.
3. GRAMformer: La integración de VMA en una arquitectura de transformador ligera que demuestra una efectividad y eficiencia mejoradas a través de múltiples tareas multimodales sin depender únicamente de computaciones por pares o pesadas operaciones de concatenación.

Resultados Experimentales

El modelo propuesto fue evaluado en la suite MultiBench, incluyendo análisis de sentimiento (MOSI, MOSEI), detección de humor/sarcasmo (UR-FUNNY, MUsTARD) y conjuntos de datos de robótica (MuJoCo Push, Visión y Tacto).

• Rendimiento: GRAMformer logró resultados de estado del arte o competitivos en múltiples conjuntos de datos.
  • En MOSI, alcanzó un Acc-2 de 87.90% (con características pre-extraídas) y 89.94% (con ajuste fino de BERT), superando bases sólidas como MMML, MulT y Self-MM.
  • En MOSEI, alcanzó un Acc-2 de 84.07% (pre-extraído) y 87.39% (ajuste fino).
  • En UR-FUNNY y MUsTARD, alcanzó una precisión de 62.46% y 63.96% respectivamente, superando a bases como MulT y TF.
• Eficiencia:
  • Recuento de Parámetros: GRAMformer es significativamente más ligero. Por ejemplo, en el conjunto de datos MOSI con BERT ajustado, utilizó 110.1M de parámetros comparado con 110.7M para TeTFN y 889.6M para MMML. En el entorno de características pre-extraídas, utilizó solo 0.66M de parámetros.
  • Escalabilidad: A medida que el número de modalidades aumenta (de 2 a 6), GRAMformer mantiene un crecimiento lineal o casi lineal en parámetros y memoria, mientras que los métodos de paridad y concatenación exhiben un crecimiento cuadrático.

Significado y Reivindicaciones

El artículo afirma que GRAMformer aborda una brecha crítica en el aprendizaje multimodal al proporcionar un mecanismo que modela explícitamente la alineación multimodal conjunta en lugar de depender de aproximaciones implícitas o por pares. Al utilizar el volumen geométrico de los espacios de representación, el modelo captura dependencias de orden superior que se pierden en la atención estándar de producto punto.

Los autores enfatizan que este enfoque permite:

1. Modelado nativo de interacciones de cualquier orden: El mecanismo funciona para cualquier número de modalidades sin requerir supuestos restrictivos de bajo rango o factorizaciones tensoriales.
2. Eficiencia Computacional: Logra un rendimiento superior con un recuento de parámetros y una huella de memoria significativamente reducidos en comparación con los transformadores multimodales de alto rendimiento existentes.
3. Compatibilidad Arquitectónica: El diseño preserva los sesgos inductivos y los procedimientos de entrenamiento de los transformadores estándar, siendo un reemplazo directo para las capas de atención cruzada en sistemas existentes.

El trabajo sugiere que ir más allá de la similitud por pares hacia la atención basada en el volumen geométrico es un camino viable y efectivo para escalar los sistemas multimodales hacia escenarios multimodales complejos.