Resumen Técnico: El Arte del Interrogatorio: La Consistencia Amplifica la Veracidad en el Razonamiento Espacial

Declaración del Problema

Los Modelos de Razonamiento Grandes (LRM) y los Modelos de Lenguaje-Visión (VLM) exhiben deficiencias significativas en tareas de razonamiento espacial, como determinar la posición relativa, el orden de profundidad y la comparación de tamaño. Los benchmarks actuales indican que estos modelos rinden por debajo de los humanos en un 30–40% y a menudo fallan en tareas compositivas con una precisión casi aleatoria. Los enfoques existentes intentan cerrar esta brecha tratándola como un déficit de conocimiento, recurriendo al Ajuste Fino Supervisado (SFT) con datos etiquetados de simuladores 3D sintéticos o imágenes reales anotadas por cascadas de modelos de visión (por ejemplo, estimadores de profundidad, detectores). Sin embargo, estos métodos requieren una supervisión de verdad fundamental (ground-truth) costosa y pueden no abordar la causa raíz: la falta de coherencia lógica interna en el proceso de razonamiento del modelo.

Metodología

Los autores proponen que los LRM preentrenados ya poseen capacidades latentes de razonamiento espacial, pero carecen de alineación con principios geométricos fundamentales. En lugar de ingerir nuevo conocimiento fáctico, el artículo introduce un marco de aprendizaje por refuerzo (RL) auto-supervisado que impone la consistencia lógica bajo transformaciones geométricas y semánticas.

1. Verificadores de Consistencia

La innovación central es el verificador de consistencia, una función de recompensa que opera sin etiquetas de verdad fundamental. Evalúa si las respuestas de un modelo a un prompt $x$ y a un prompt aumentado $x' = T(x)$ satisfacen una relación conocida inducida por la transformación $T$.

• Transformaciones: El marco aplica transformaciones de imagen (por ejemplo, giros horizontales, recortes que preservan objetos) y transformaciones de texto (por ejemplo, intercambiar el orden de los objetos, negar relaciones como "izquierda" $\to$ "derecha").
• Invarianza vs. Equivarianza:
  • Invariante: Transformaciones que preservan la respuesta (por ejemplo, recorte, alteración de color/color jitter). Las respuestas del modelo a $x$ y $x'$ deben coincidir.
  • Equivariante: Transformaciones que cambian la respuesta de forma predecible (por ejemplo, giro horizontal para preguntas de "izquierda/derecha"). Las respuestas del modelo deben discrepar.
• Señal de Recompensa: El verificador devuelve 1 si el par de respuestas satisface la relación esperada (coincidencia o discrepancia) y 0 en caso contrario. Esto proporciona una señal de recompensa auto-supervisada derivada enteramente de la lógica de la transformación, no de etiquetas externas.

2. OT-GRPO (Optimización de Política Relativa de Grupo de Transporte Óptimo)

La Optimización de Política Relativa de Grupo (GRPO) estándar asume recompensas escalares para las finalizaciones individuales. Dado que los verificadores de consistencia califican pares de finalizaciones, los autores introducen OT-GRPO, una variante de emparejamiento mínimo:

• Emparejamiento Adversario: En lugar de un emparejamiento aleatorio o promedio (uno-a-todos), el algoritmo resuelve un problema de asignación lineal para encontrar la permutación $\sigma^*$ que minimiza la puntuación de consistencia total entre el conjunto de finalizaciones del prompt original y el prompt aumentado.
• Racional: Esta estrategia de "consistencia mínima" obliga al modelo a enfrentarse a sus inconsistencias más desafiantes. Si un modelo es verdaderamente consistente, el emparejamiento mínimo seguirá produciendo altas recompensas; si es inconsistente, el emparejamiento adversario expone estos fallos, evitando que el modelo manipule el sistema mediante alineaciones de suerte.
• Optimización: Los pares emparejados reciben una ventaja compartida, y la actualización de GRPO se aplica tanto a la finalización original como a la aumentada.

3. Configuración de Entrenamiento

• Modelos: Ajuste fino de Qwen2.5-VL (3B y 7B parámetros) utilizando LoRA.
• Datasets: SUN RGB-D (interiores) y KITTI (exteriores) con anotaciones Omni3D.
• Tareas: Cuatro tareas de razonamiento espacial binario: Orientación (izquierda/derecha), Profundidad (cerca/lejos), Tamaño (comparación de volumen) y Distancia Relativa.
• Formato: Se le pide al modelo que utilice razonamiento de Cadena de Pensamiento (CoT) dentro de etiquetas específicas, con una recompensa de formato adicional para asegurar la adherencia estructural.

Resultados Clave

El artículo demuestra que los enfoques de entrenamiento basados en la consistencia se acercan al rendimiento del entrenamiento supervisado con etiquetas de verdad fundamental sin requerir ningún dato etiquetado.

1. Paridad de Rendimiento: En el conjunto de datos SUN RGB-D, los modelos entrenados con consistencia alcanzaron una precisión dentro de un margen de 2.3–2.7 puntos porcentuales de los modelos entrenados con etiquetas de verdad fundamental en las cuatro tareas. Para el modelo de 7B, el entrenamiento de consistencia alcanzó un 76.8% de precisión en comparación con el 79.6% de los modelos entrenados por precisión.
2. Generalización:
   • Entre Tareas: El entrenamiento en una tarea espacial (por ejemplo, orientación) mejoró el rendimiento en otras (por ejemplo, profundidad), con el entrenamiento de consistencia transfiriéndose casi tan eficazmente como el entrenamiento de precisión.
   • Entre Dominios: Los modelos entrenados en escenas interiores (SUN RGB-D) se generalizaron bien a escenas exteriores (KITTI), con el entrenamiento de consistencia mostrando una degradación mínima en comparación con los baselines supervisados.
3. Superioridad sobre Baselines Auto-supervisados: El método propuesto superó a siete baselines auto-supervisados existentes, incluyendo variantes de Visual Jigsaw y SSL4RL, por márgenes significativos (hasta 24 puntos porcentuales sobre algunas variantes de SSL4RL).
4. Robustez a la Corrupción de Etiquetas: En experimentos donde las etiquetas de verdad fundamental fueron corrompidas (invertidas) con un ruido creciente, el entrenamiento de consistencia (que no utiliza etiquetas) superó al entrenamiento de precisión una vez que el ruido de las etiquetas excedió el 10–20%. Esto sugiere que el entrenamiento de consistencia es más robusto a la acumulación de errores inherente a las tuberías de anotación automatizadas.
5. Extensión a Tareas Numéricas: El marco se extendió con éxito a salidas numéricas (conteo y estimación de distancia absoluta), donde el entrenamiento de consistencia nuevamente siguió de cerca el rendimiento de los modelos entrenados por precisión.

Significado y Reivindicaciones

El artículo sostiene que imponer la coherencia lógica a través de verificadores de consistencia desbloquea capacidades de razonamiento espacial latentes que ya están presentes en los modelos preentrenados. Las conclusiones clave son:

• Eficiencia sin Etiquetas: Se puede lograr un razonamiento espacial de alta calidad sin el costo y la complejidad de generar anotaciones espaciales de verdad fundamental.
• Mecanismo de Mejora: Los resultados apoyan la visión de que el RL con recompensas verificables actúa como un filtro, seleccionando y reforzando patrones de razonamiento preexistentes que se adhieren a las leyes geométricas, en lugar de crear capacidades enteramente nuevas.
• Escalabilidad: El enfoque es aplicable a diversos dominios y tareas, sugiriendo un camino general para mejorar los VLM en áreas donde los datos de verdad fundamental son escasos o costosos de obtener.

Los autores concluyen que el entrenamiento de consistencia es una alternativa viable y robusta al ajuste fino supervisado para el razonamiento espacial, ofreciendo un camino hacia aplicaciones de IA incorporada (embodied AI) y robótica más fiables y generalizables.