Resumen Técnico: OmniEncoder

1. Declaración del Problema

Los modelos actuales de lenguaje grande omni-modales (OmniLLMs) suelen emplear un diseño modular específico por modalidad, utilizando codificadores separados para visión y audio. Esta arquitectura a menudo resulta en una estrategia de muestreo "video-grueso, audio-denso", donde los fotogramas visuales se muestrean a frecuencias bajas (1–2 fps) mientras que el audio se procesa a frecuencias altas (25 fps).

Los autores argumentan que este diseño crea una discrepancia fundamental con la percepción humana. Los humanos perciben el mundo de manera holística, viendo, oyendo y sintiendo el movimiento continuo simultáneamente, con interacciones cruzadas entre modalidades que ocurren en las etapas más tempranas del procesamiento sensorial. El enfoque predominante "fotograma por fotograma, modalidad por modalidad" conduce a:

• Interacción cruzada empobrecida durante la fase de codificación.
• Incapacidad para capturar el movimiento visual de grano fino, lo cual es crítico para tareas como el reconocimiento de la lengua de señas, el análisis deportivo de grano fino y la lectura labial.
• Ineficiencia computacional al intentar aumentar las tasas de fotogramas visuales para igualar la densidad del audio utilizando mecanismos de atención global, que escalan cuadráticamente ($O(T^2)$) con la longitud de la secuencia.

2. Metodología: Omni-Encoder

Para abordar estos desafíos, los autores proponen Omni-Encoder, una columna vertebral Transformer unificada diseñada para incrustar conjuntamente señales visuales y audio en un espacio latente compartido a una 25 fps simétrica. La arquitectura procesa el video y el audio crudos simultáneamente en lugar de fusionarlos en una etapa posterior.

Componentes Arquitectónicos Principales

A. Plantilla de Tokens Omni-Encoder

El video de entrada se descompone en tres flujos de tokens distintos en cada posición temporal ($t$):

1. Tokens de Audio ($a_t$): Extraídos de espectrogramas log-Mel mediante CNNs 1D ligeras.
2. Tokens Visuales Continuos (VC) ($vc_t$): Vectores aprendibles por fotograma introducidos para capturar la dinámica del movimiento inter-fotograma (por ejemplo, trayectorias de movimiento, inicios de gestos, micro-movimientos).
3. Tokens Visuales Base (VB) ($vb_t$): Generados mediante incrustación de parches para capturar características de apariencia estática (textura, forma, disposición).

Esparcimiento de Tokens: Para mantener la viabilidad computacional mientras se preserva la fidelidad del movimiento, se aplica un Esparcidor de Tokens. Este retiene todos los tokens de Audio y VC a la resolución completa de 25 fps, pero submuestrea los tokens VB a 2 fps. Esto reduce drásticamente la cantidad total de tokens reenviados al decodificador LLM aguas abajo sin sacrificar la información de movimiento de alta frecuencia capturada por los tokens VC.

B. Omni-RoPE (Codificación Posicional Rotatoria 3D)

La Incrustación Posicional Rotatoria 3D (RoPE) estándar asigna coordenadas $(t, h, w)$. Sin embargo, aplicar esto directamente a modalidades heterogéneas crea un conflicto donde los tokens de Audio y VC carecen de coordenadas espaciales independientes.

• Solución: Los autores reasignan las coordenadas espaciales. Los tokens VB se desplazan para comenzar en $(t, 1, 1)$, mientras que los tokens de Audio ocupan $(t, 0, 0)$ y los tokens VC ocupan $(t, 0, 1)$.
• Beneficio: Esto asegura que las tres modalidades reciban codificaciones posicionales que no se superponen dentro de la misma formulación RoPE 3D, permitiendo que el modelo distinga entre modalidades y modele relaciones cruzadas entre modalidades, al tiempo que preserva la extrapolación agnóstica a la resolución.

C. Desplazamiento de Ventana Temporal

Para manejar el costo computacional del video a 25 fps, los autores reemplazan la atención espacio-temporal global con un mecanismo de Desplazamiento de Ventana Temporal inspirado en el Transformer Swin.

• Mecanismo: La secuencia de tokens se divide en grupos temporales no superpuestos ($G=16$ fotogramas). La atención espacio-temporal conjunta se calcula dentro de estos grupos.
• Desplazamiento: En capas alternas, los límites de la ventana se desplazan $G/2$ fotogramas, permitiendo que la información fluya entre grupos adyacentes.
• Complejidad: Esto reduce la complejidad de la atención de cuadrática $O(T^2)$ a lineal $O(T \cdot G)$, permitiendo una interacción cruzada densa a 25 fps con una sobrecarga computacional manejable.

Estrategia de Entrenamiento

El modelo emplea una estrategia de entrenamiento de una sola etapa, de extremo a extremo:

• Base: El componente LLM de Qwen2.5-Omni-3B se utiliza como decodificador fijo.
• Inicialización: El Omni-Encoder se inicializa con pesos del aprendizaje de representación de video auto-supervisado (V-JEPA). Los componentes nuevos (incrustaciones de audio, consultas aprendibles VC) se inicializan aleatoriamente.
• Optimización: Solo la cabeza final de modelado de lenguaje (LM) es entrenable; todos los demás parámetros del LLM están congelados. Esto evita pipelines complejos de pre-entrenamiento en múltiples etapas.

3. Contribuciones Clave

1. Codificación Unificada de Alta Frecuencia: El primer codificador unificado que procesa señales visuales y audio simultáneamente a 25 fps, cerrando la brecha entre la percepción continua similar a la humana y los métodos de muestreo discretos actuales.
2. Innovaciones Arquitectónicas Novedosas: La introducción de la Plantilla de Tokens (separando movimiento y apariencia), Omni-RoPE (coordenadas espacio-temporales-modales unificadas) y Desplazamiento de Ventana Temporal (atención densa eficiente).
3. Rendimiento en Tareas de Movimiento Denso: Demostrar que un codificador unificado puede superar a modelos especializados en tareas que requieren modelado temporal de grano fino, específicamente en reconocimiento de lengua de señas y reconocimiento de acciones deportivas.

4. Resultados Experimentales

Los autores evaluaron Omni-Encoder frente a líneas base específicas por modalidad y OmniLLMs existentes (por ejemplo, Qwen2.5-Omni, Gemini-2.5-Pro) en varias pruebas:

• Comprensión Visual Continua:

  • Lengua de Señas: En NationalCSL6707, Omni-Encoder logró 90.32%, superando al mejor modelo específico de dominio anterior (69.61%) en más de 20 puntos porcentuales. En SLR500, alcanzó 97.8%, superando al especialista SignBERT.
  • Reconocimiento de Acciones: En Diving48, logró 90.8% (vs. 90.3% SOTA), y 68.7% en SthSv2, compitiendo con líneas base sólidas como InternVideo2-S2-1B.
  • Observación: Los OmniLLMs existentes (incluso con SFT) performaron cerca del azar o pobremente en estas tareas (por ejemplo, Qwen2.5-Omni SFT obtuvo 25.7% en Diving48), destacando la limitación de la codificación visual dispersa.

• Razonamiento Audio-Visual:

  • Localización/Identificación de Hablantes: Omni-Encoder logró una localización del 98.8% y una identificación del 82.31%, igualando o superando a modelos dedicados como HumanOmni-Speaker.
  • AVQA: Logró 82.6%, comparable a la variante SFT de Qwen2.5-Omni-3B.

• Reconocimiento Audio-Visual (LRS2):

  • Sin preprocesamiento de recorte labial, el modelo logró una Tasa de Error de Palabras (WER) de 45.3% (solo visual), 10.2% (solo audio) y 7.2% (audio-visual), demostrando una fusión cruzada efectiva entre modalidades.

5. Significado y Afirmaciones

El artículo postula que la codificación omnívora unificada es una dirección prometedora para construir modelos omni-modales que reflejen más de cerca la naturaleza integrada de la percepción humana.

• Cambio de Paradigma: Los resultados sugieren que alejarse de las tasas de muestreo desajustadas y específicas por modalidad hacia un espacio de codificación unificado y de alta frecuencia permite a los modelos capturar dinámicas de movimiento de grano fino que anteriormente eran inaccesibles para los OmniLLMs de propósito general.
• Eficiencia vs. Fidelidad: La arquitectura reconcilia con éxito los desafíos duales del desenredado de modalidades (distinguir audio, visual estático y señales de movimiento) y la eficiencia computacional (escalado lineal con la longitud del video).
• Generalización: El modelo alcanza un rendimiento de nivel especialista en tareas de movimiento denso sin personalización arquitectónica específica para la tarea, validando el modelado temporal de alta densidad como una estrategia de representación de propósito general efectiva.

Los autores concluyen que, aunque el modelo actualmente se queda ligeramente atrás de los modelos propietarios de última generación en tareas específicas de reconocimiento (atribuido a la escala limitada de los datos de entrenamiento), el enfoque unificado ofrece una base robusta para futuros sistemas omni-modales que perciben el mundo de manera holística.