Resumen Técnico: Cambrian-P: Comprensión de Video Anclada a la Pose

Enunciado del Problema

Los Modelos de Lenguaje Multimodal Grandes (MLLM) actuales sobresalen en la comprensión semántica de video, como el reconocimiento de acciones y el resumen narrativo, pero luchan consistentemente con tareas que requieren inteligencia espacial visual. La limitación central identificada es que los MLLM estándar procesan los fotogramas de video como instantáneas 2D aisladas, desconectadas de la estructura espacial 3D persistente de la escena. Sin un anclaje explícito en la geometría 3D, los modelos fallan al razonar sobre relaciones espaciales, movimiento de la cámara y coherencia global de la escena. Si bien la pose de la cámara (posición y orientación) ha sido durante mucho tiempo una piedra angular de la visión 3D y la robótica (por ejemplo, Estructura a partir del Movimiento, SLAM), sigue estando mayormente ausente en las señales de entrenamiento de los MLLM de video.

Metodología: Cambrian-P

Los autores presentan Cambrian-P, un MLLM de video aumentado con capacidades nativas de predicción de pose de cámara. El enfoque está diseñado para ser ligero, requiriendo cambios arquitectónicos mínimos en los MLLM existentes mientras introduce un nuevo paradigma de entrenamiento.

1. Arquitectura

• Modelo Base: Construido sobre la arquitectura Cambrian-S, que empareja un codificador de visión SigLIP2-SO400m con un LLM Qwen2.5 mediante un proyector MLP.
• Tokens de Pose de Cámara: Para habilitar la estimación de pose dentro del espacio de características del LLM, el modelo añade un pequeño conjunto de tokens de pose de cámara aprendibles a los tokens visuales de cada fotograma antes de que entren en el LLM.
  • Se utilizan dos consultas aprendibles distintas: $c_{first}$ para el fotograma inicial y $c_{rest}$ para todos los fotogramas subsiguientes. Esto permite al modelo distinguir el primer fotograma y representar todas las poses relativas al sistema de coordenadas de la primera cámara.
  • Estos tokens se colocan después de los tokens de visión pero antes de las incrustaciones de texto para respetar el mecanismo de atención causal.
• Cabeza de Pose: Un proyector ligero mapea el estado oculto del token de pose del LLM a una dimensión de características de pose. Una cabeza de cámara dedicada (inspirada en VGGT), que consta de cuatro capas de autoatención seguidas de una capa lineal, regresa los parámetros finales de la cámara.

2. Objetivo de Entrenamiento

La función de pérdida total combina la Predicción del Siguiente Token (NTP) estándar para VQA con una pérdida de estimación de pose de cámara:
$$\mathcal{L} = \mathcal{L}_{NTP} + \lambda_{pose} \cdot \mathcal{L}_{pose}$$

• Pérdida de Pose ($\mathcal{L}_{pose}$): Supervisa la codificación de pose predicha (traslación $t$, cuaternión de rotación $q$ y campo de visión $f$) contra la verdad fundamental utilizando una pérdida L1 ponderada.
  • Normalización de Escala: Para manejar conjuntos de datos con escalas físicas variables (métricas vs. no métricas), la pérdida de traslación se normaliza por la longitud de la trayectoria. Para datos no métricos, se calcula un factor de escala de mínimos cuadrados en forma cerrada para alinear la forma de la trayectoria predicha con la verdad fundamental sin colapsar la escala.
• Estrategia de Entrenamiento Intercalado: Los autores identifican un conflicto entre las dinámicas de entrenamiento de VQA y estimación de pose:
  • VQA típicamente utiliza muestreo uniforme de fotogramas y evita aumentos pesados para preservar la corrección factual.
  • Estimación de Pose requiere muestreo temporal aleatorio, intervalos dinámicos y aumentos pesados (por ejemplo, jitter de color, desenfoque) para aprender características geométricas robustas.
  • Solución: Un esquema de entrenamiento intercalado mezcla tres tipos de lotes:
    1. Solo VQA: Muestreo uniforme estándar con pérdida NTP.
    2. Solo Pose: Muestras con muestreo dinámico/aleatorio y aumentos pesados, supervisadas solo por la pérdida de pose (omitendo la pérdida de VQA para prevenir alucinaciones en contextos incompletos).
    3. Conjunto: Muestras con ambas pérdidas.
• Jitter Aleatorio: Para prevenir que el modelo memorice correspondencias fijas fotograma-pose en el muestreo uniforme, se aplica un jitter aleatorio a los índices de fotogramas durante el entrenamiento de VQA.

3. Escalamiento de Datos

• Verdad Fundamental: El entrenamiento utiliza datos anotados con pose de VSI-590K (ScanNet, ScanNet++, ARKitScenes) y MapAnything.
• Pseudo-Anotación: Para escalar más allá de los datos GT limitados, los autores utilizan VIPE (un motor de streaming de pose de video de alimentación directa) para generar pseudo-anotaciones de pose para videos de dominio general (por ejemplo, del corpus Cambrian-S-3M). Estas pseudo-etiquetas se filtran por calidad y se utilizan en la receta de entrenamiento intercalado.

Contribuciones Clave

1. MLLM Anclado a la Pose: Demuestra que introducir la pose de la cámara como una señal de supervisión ligera mejora significativamente las capacidades de razonamiento espacial de los MLLM.
2. Eficiencia Arquitectónica: Logra resultados de vanguardia con una sobrecarga mínima (solo tokens aprendibles y una pequeña cabeza), evitando diseños de codificadores duales pesados o backbones 3D especializados.
3. Dinámicas de Entrenamiento: Propone una estrategia de entrenamiento intercalado y muestreo con jitter aleatorio para reconciliar los requisitos conflictivos de VQA y estimación de pose.
4. Doble Capacidad: El modelo logra una estimación de pose de cámara en streaming competitiva (superando a modelos especializados como StreamVGGT y CUT3R en ScanNet) mientras mejora simultáneamente el rendimiento en Video QA.
5. Generalización: Muestra que la supervisión de pose mejora los benchmarks generales de Video QA (por ejemplo, MVBench, EgoSchema) incluso cuando se entrena en datos específicos espaciales, sugiriendo que la pose es una señal fundamental para la comprensión del mundo físico.

Resultados

Razonamiento Espacial (VQA)

• VSI-Bench: Cambrian-P logra una precisión del 73.7%, superando a su contraparte sin pose (Cambrian-S) en un 4.5% y superando a otros modelos especialistas espaciales.
• VSTemporalI-Bench: Muestra una mejora del 20% en la subtarea de dirección de movimiento de la cámara en comparación con la línea base sin pose.
• Fuera de Distribución (OOD): Se observan mejoras en ocho benchmarks (incluyendo MindCube, MVBench, EgoSchema) a pesar de entrenar principalmente en VSI-590K.
• Escalamiento de Pseudo-Pose: Agregar datos de pose pseudo-anotados de videos generales impulsa aún más el rendimiento en benchmarks generales de VQA mientras mantiene las ganancias en tareas espaciales.

Estimación de Pose de Cámara

• ScanNet (Streaming): Logra un Error de Trayectoria Absoluta (ATE) de vanguardia de 0.078 entre modelos de streaming, superando a StreamVGGT (0.127) y CUT3R (0.096).
• Eficiencia: A pesar de tener 8.2 mil millones de parámetros (mayor que los modelos especializados), Cambrian-P logra una latencia menor (0.02s por fotograma en modo offline) debido al codificador SigLIP compacto y la arquitectura de transformador causal.

Leyes de Escalamiento

• Tamaño del Modelo: El rendimiento tanto en VQA como en estimación de pose mejora consistentemente a medida que el tamaño del modelo escala de 0.5B a 7B.
• Tamaño de Datos: Aumentar la fracción de datos anotados con pose conduce a mejoras monótonas tanto en la precisión de VSI-Bench como en el error de estimación de pose.
• Iteraciones de Entrenamiento: Aumentar las iteraciones de entrenamiento específicas de pose mejora la precisión de la pose sin degradar el rendimiento de VQA.

Significado y Afirmaciones

El artículo postula que la pose de la cámara es una señal fundamental para que los modelos de video razonen sobre el mundo físico. Al anclar los píxeles en un marco de coordenadas 3D compartido, la supervisión de pose:

1. Impone Consistencia Global: Conecta fotogramas aislados en una escena 3D coherente, permitiendo al modelo desentrelazar el movimiento de la cámara de la dinámica de la escena.
2. Mejora el Razonamiento Espacial: Permite a los MLLM razonar de manera más global, evidenciado por ganancias significativas de rendimiento en preguntas que involucran objetos espacialmente distantes y planificación de rutas.
3. Sinergia: Existe un beneficio bidireccional; una mejor alineación video-idioma (mediante preentrenamiento VQA) mejora la estimación de pose, y la supervisión de pose mejora el VQA.

Los autores concluyen que Cambrian-P avanza los MLLM hacia una comprensión de video anclada al mundo real, posicionando la pose de la cámara no meramente como una pista auxiliar, sino como un sesgo inductivo fundamental para la próxima generación de modelos de video.