Resumen Técnico: Destilación Relacional de Múltiples Vistas para el Razonamiento Espacial con Modelos de Visión-Lenguaje

1. Planteamiento del Problema

Los Modelos de Visión-Lenguaje (VLMs) han demostrado capacidades sólidas en la comprensión de imágenes y videos, pero sufren de representaciones visuales-espaciales geométricamente frágiles. Esta fragilidad conduce a fallos en tareas de razonamiento espacial esenciales para la IA incorporada (embodied AI), la robótica y la conducción autónoma, tales como inferir distancias relativas o la localización de objetos.

Los enfoques existentes para fundamentar los VLMs en la geometría enfrentan dos limitaciones primarias:

1. Ajuste Fino Supervisado (SFT): El entrenamiento en conjuntos de datos de preguntas-respuestas espaciales a menudo perpetúa "representaciones visuales espurias" sin corregir fundamentalmente la comprensión geométrica subyacente.
2. Fusión de Características: Los métodos que fusionan características de modelos de visión con base geométrica (por ejemplo, VGGT, CUT3R) en los VLMs mejoran el razonamiento espacial, pero aumentan sustancialmente el tamaño del modelo y la latencia de inferencia, lo que plantea desafíos para aplicaciones en tiempo real.

Un tercer enfoque, la Destilación de Conocimiento, intenta transferir el conocimiento geométrico de un modelo profesor a un VLM estudiante sin aumentar el costo de inferencia. Sin embargo, los autores identifican un modo de fallo crítico en la destilación de características estándar: intentar igualar directamente los vectores de características del estudiante con las características del profesor con base geométrica interrumpe la alineación preentrenada entre las representaciones visuales y textuales. Este compromiso degrada la capacidad del modelo para realizar tareas de fundamentación lingüística, como rastrear el orden de apariencia de los objetos o estimar el tamaño de un objeto basado en consultas de texto.

2. Metodología: Destilación Relacional de Múltiples Vistas (MVRD)

Para abordar el compromiso entre la fundamentación geométrica y la alineación visión-lenguaje, los autores proponen la Destilación Relacional de Múltiples Vistas (MVRD).

Concepto Central

En lugar de destilar los vectores de características en sí (lo que obliga a las características del estudiante a converger hacia un espacio geométrico específico), MVRD destila las similitudes de coseno (relaciones) entre las características a través de múltiples vistas.

• Hipótesis: Las relaciones de múltiples vistas codifican correspondencias geométricas suficientes para mejorar la comprensión espacial. Crucialmente, debido a que el emparejamiento de similitudes por pares no determina de forma única los vectores de características absolutos, el modelo estudiante retiene la libertad de seleccionar representaciones de características que satisfagan el objetivo geométrico mientras permanecen cerca de su espacio de visión-lenguaje preentrenado.
• Formulación Matemática:
  • Sea $v_{1:T}$ los tokens de visión del estudiante y $\bar{g}_{1:T}$ las características con base geométrica del profesor.
  • Se construye una representación relacional $R$ utilizando una función de similitud $r$ (específicamente la similitud de coseno): $R(h)[i, j] = r(h[i], h[j])$.
  • La pérdida de destilación $L_{RD}$ minimiza la diferencia entre las matrices relacionales del estudiante y del profesor:
    $$L_{RD} := \ell_{RD}(R(f(v_{1:T})), R(\text{sg}(\bar{g}_{1:T})))$$
  • Aquí, $f$ es una proyección MLP por posición, y $\text{sg}$ denota el operador de detención de gradiente (stop-gradient). El objetivo de entrenamiento total combina la pérdida estándar de SFT con la pérdida de destilación relacional ($L_{SFT} + \gamma L_{RD}$).

Mejoras Arquitectónicas

Para minimizar aún más la deriva del espacio preentrenado, los autores introducen una arquitectura de Vía Dual (Dual Pathway):

• Adaptador Geométrico: Un módulo de Adaptación de Bajo Rango (LoRA) supervisado por la pérdida compuesta ($L_{SFT} + \gamma L_{RD}$) aprende señales relacionales de múltiples vistas.
• Adaptador Semántico: Un módulo LoRA paralelo supervisado únicamente por $L_{SFT}$ preserva el comportamiento alineado con el lenguaje.
• Integración: Las salidas de estos adaptadores se suman después de la capa de destilación y se pasan a través de los bloques restantes del VLM. Este desacoplamiento asegura que el aprendizaje geométrico no perturbe el subespacio relevante para el lenguaje.

Decisiones de Diseño

• Función de Similitud: Se elige la similitud de coseno por su invarianza de escala y orientación, permitiendo que el modelo iguale ángulos relativos sin forzar la alineación de las magnitudes de las características.
• Función de Pérdida: Se utiliza la correlación de Pearson negativa por filas en lugar del Error Cuadrático Medio (MSE) para mejorar la robustez ante variaciones de escala en las puntuaciones de similitud.
• Enmascaramiento Causal: Para adherirse a los mecanismos de atención causal de los VLMs, se aplican enmascaramiento causal y puesta a cero de la diagonal antes de calcular la pérdida.

3. Contribuciones Clave

1. Diagnóstico del Fallo de la Destilación de Características: El artículo identifica y demuestra que la destilación de características estándar degrada la alineación visión-lenguaje, causando caídas de rendimiento en tareas de fundamentación lingüística (ej. conteo de objetos, estimación de tamaño) a pesar de mejorar las tareas geométricas.
2. Propuesta de MVRD: Un novedoso marco de destilación que transfiere conocimiento geométrico mediante similitudes relacionales de múltiples vistas en lugar de características puras, preservando el espacio de visión-lenguaje preentrenado.
3. Arquitectura de Vía Dual: Un mecanismo ligero de separación de parámetros que aísla aún más el aprendizaje geométrico de la alineación semántica, equilibrando el rendimiento entre tipos de tareas.
4. Eficiencia: MVRD logra un rendimiento comparable a los métodos de fusión de características con significativamente menos parámetros adicionales (<25% de sobrecarga) y menor latencia (<16% de sobrecarga en comparación con las líneas base de fusión de características).

4. Resultados Experimentales

El método fue evaluado en VSI-Bench (Visual-Spatial Intelligence Benchmark) y diversos conjuntos de datos de comprensión de escenas 3D.

• Rendimiento en VSI-Bench:
  • MVRD superó al Ajuste Fino Supervisado (SFT) y a la Destilación de Características estándar (3DRS) en 6 de 8 tareas.
  • Mostró mejoras consistentes en tareas de fundamentación lingüística (ej. Tamaño de Objeto, Orden de Apariencia), donde la destilación de características previamente fallaba.
  • La variante MVRD + Dual Pathway alcanzó una precisión promedio del 60.4%, reduciendo la brecha con el método de estado del arte de fusión de características (VLM-3R) a solo 0.5 puntos, utilizando el mismo esqueleto (backbone) y conjunto de datos.
• Análisis de Representación:
  • El análisis cualitativo y cuantitativo confirmó que MVRD mantiene una alta alineación texto-visión (medida por la precisión de detección de objetos basada en texto) mientras modela eficazmente las relaciones geométricas.
  • Se demostró que la destilación de características desalinea los tokens de texto con sus parches visuales correspondientes, mientras que MVRD preserva esta correspondencia.
• Generalización:
  • MVRD se transfirió con éxito a tareas de comprensión de escenas 3D (ScanRefer, Multi3DRefer, Scan2Cap, ScanQA, SQA3D), superando a los generalistas previos de comprensión de escenas 3D y a la línea base de destilación de características 3DRS.
  • El método demostró ser robusto a través de diferentes backbones de VLM (LLaVA-Video, InternVL3, Qwen2.5-VL).

5. Significado y Reivindicaciones

El artículo afirma que MVRD ofrece una alternativa computacionalmente eficiente a la fusión de características para fundamentar los VLMs en la geometría 3D. Al cambiar el objetivo de la destilación de las características a las relaciones, el método resuelve el conflicto previamente no diagnosticado entre la fundamentación geométrica y la alineación del lenguaje.

Los autores enfatizan que MVRD permite que los VLMs adquieran comprensión geométrica "sin sacrificar la alineación visión-lenguaje". La variante de Vía Dual demuestra además que el desacoplamiento de los objetivos geométricos y semánticos produce un modelo más equilibrado que se aproxima al rendimiento de las arquitecturas pesadas de fusión de características con una fracción del costo de inferencia. El trabajo sugiere que las representaciones relacionales son un mecanismo más adecuado y mínimo para transferir conocimiento geométrico a los VLMs preentrenados.