Resumen Técnico: Mal planteado por diseño: Sondeo del uso de evidencia en VLMs

Planteamiento del Problema

El análisis contrafáctico es una herramienta estándar para estudiar el uso de la evidencia en los Modelos de Lenguaje-Visión (VLMs), pero su valor diagnóstico es limitado en tareas bien planteadas. En tareas como el reconocimiento de objetos, múltiples pistas visuales suelen respaldar de forma independiente la misma respuesta; enmascarar una pista puede dejar la predicción sin cambios, lo que hace imposible distinguir entre una pista no utilizada y una simplemente redundante.

Este artículo propone la estimación del tamaño de objetos mediante métricas monoculares como un escenario de diagnóstico mal planteado. Debido a que la escala física no puede determinarse a partir de una sola imagen no calibrada sin pistas estéreo o referencias conocidas, la tarea es fundamentalmente subdeterminada. Los modelos deben confiar en pistas imperfectas y potencialmente conflictivas, tales como los sesgos de categoría (priors), la apariencia del objetivo, el contexto local, el tamaño aparente de la imagen y la geometría de la escena. Las métricas de precisión estándar colapsan estas estrategias en una única puntuación, ocultando qué canal de evidencia específico utiliza o no emplea el modelo.

Metodología

Benchmark: Metric VQA

Los autores introducen Metric VQA, un benchmark que consta de 10.813 consultas dimensionales emparejadas con mediciones de verdad de terreno (ground-truth), divididas en dos conjuntos de datos complementarios:

1. División derivada de Objectron (10.482 consultas): Fotogramas curados del conjunto de datos Objectron con la verdad de terreno de cajas delimitadoras 3D, que cubren nueve categorías de objetos cotidianos.
2. División In-the-Wild (ITW) (331 consultas): Escenas del mundo real desordenadas con mediciones de verdad de terreno mediante cinta métrica, que contienen múltiples objetos con oclusión arbitraria e iluminación.

Intervenciones Contrafácticas

La metodología central consiste en aplicar seis intervenciones a nivel de imagen mientras se mantiene fija la consulta de lenguaje natural. Estas intervenciones sondean seis canales de evidencia distintos:

1. Solo texto: Eliminar la modalidad de imagen por completo (o reemplazarla por una imagen gris) para medir la dependencia de los sesgos lingüísticos (language priors).
2. Píxeles del objetivo: Enmascarar toda la escena excepto el objeto objetivo (object_only).
3. Identidad del objetivo: Intercambiar el objeto objetivo con un objeto diferente en la misma escena (wrong_object), preservando la ubicación y las estadísticas de la escena.
4. Contexto local: Mantener el objetivo y un anillo delgado de contexto circundante (object_ring).
5. Tamaño aparente: Reescalar el objeto objetivo dentro de la imagen (zoom de acercamiento 1.4× y zoom de alejamiento 0.6×) para probar la sensibilidad a la huella de píxeles.
6. Geometría global de la escena: Aplicar distorsión de lente radial (barril y cojín) para perturbar las estructuras de puntos de fuga mientras se preserva la identidad del objeto.

Configuración de Evaluación

El estudio evalúa 12 VLMs de pesos abiertos que van desde 3B hasta 397B de parámetros (incluyendo las familias Qwen, InternVL, LLaVA y Molmo). El rendimiento se mide frente a:

• Un LLM de frontera basado solo en texto (ChatGPT 5.5) consultado sin imágenes.
• Una línea base humana en la división ITW.
• Acc@10% (fracción de predicciones dentro del 10% de la verdad de terreno) es la métrica principal.

Los autores también analizan el ajuste fino mediante LoRA como una intervención accionable, entrenando adaptadores en la división Objectron para observar cómo el aprendizaje supervisado altera los patrones de selección de evidencia.

Resultados Clave

1. Los sesgos de lenguaje dominan en el mundo real (In the Wild)

Incluso los VLMs abiertos más grandes probados (Qwen3.5-397B, InternVL3.5-241B) quedan por detrás de un LLM de frontera basado solo en texto en la división in-the-wild de Metric VQA. Esto indica que, para la estimación métrica, los fuertes sesgos de categoría a nivel de lenguaje suelen explicar más la varianza del rendimiento que la evidencia visual en entornos no estructurados.

2. Uso de evidencia estratificado

Las firmas contrafácticas revelan un patrón jerárquico de dependencia de la evidencia:

• La Identidad del Objetivo es fundamental (Load-Bearing): Reemplazar el objeto objetivo causa las caídas de precisión más consistentes y significativas en todos los modelos, lo que indica que los modelos condicionan sus estimaciones fuertemente en qué objeto es visible.
• Los Píxeles del Objetivo y el Contexto Local son selectivos: Solo un subconjunto de los modelos más grandes aprovecha los píxeles brutos del objetivo para la estimación métrica. El contexto local proporciona un beneficio menor y dependiente del modelo, y para algunos modelos, el desorden de la escena actúa como un distractor en lugar de una pista.
• El Tamaño Aparente no es direccional: Aunque las predicciones cambian cuando el tamaño del objeto cambia, los cambios no son direccionalmente consistentes (por ejemplo, el zoom de acercamiento no aumenta sistemáticamente el tamaño predicho). El tamaño aparente actúa como una señal desestabilizadora para muchos modelos en lugar de una pista métrica fiable.
• La Geometría de la Escena es mayormente no utilizada: La geometría global de la escena (perspectiva/puntos de fuga) es el canal más débil; solo un modelo mostró una caída de precisión fiable bajo la distorsión de la lente, y ningún modelo exhibió un comportamiento direccionalmente consistente.

3. Limitaciones del Ajuste Fino LoRA

El ajuste fino supervisado mediante LoRA mejora la precisión general en la tarea de estimación métrica. Sin embargo, el análisis muestra que los modelos no aprenden a aprovechar la geometría de la escena ni desarrollan una nueva comprensión de la geometría visual. En su lugar, el ajuste fino mejora los canales específicos que el modelo base ya utiliza parcialmente (por ejemplo, estabilizando los sesgos de lenguaje, profundizando la sensibilidad de la identidad del objetivo o utilizando el contexto local). La tarea es aprendible, pero el mecanismo es el parche de canales débiles existentes en lugar de la adquisición de nuevas capacidades geométricas.

Significado y Reivindicaciones

El artículo argumenta que los problemas mal planteados sirven como una herramienta de diagnóstico superior para los sistemas multimodales en comparación con los benchmarks bien planteados. Al obligar a los modelos a elegir entre fuentes de evidencia imperfectas y no redundantes, las intervenciones contrafácticas aíslan los patrones de uso de pistas específicas que las métricas de precisión agregadas ocultan.

Conclusiones clave:

• Diagnóstico sobre Clasificación: El estudio prioriza entender cómo razonan los modelos (selección de evidencia) por encima de simplemente clasificarlos por precisión.
• La Ilusión de la Medición Visual: La estimación en centímetros de un VLM no debe tratarse como una medición fiable. Es mejor entenderla como un sesgo de categoría con modulación visual selectiva y dependiente del modelo.
• Limitaciones del Entrenamiento Actual: El ajuste fino estándar mediante pérdida de siguiente token (LoRA) no logra inducir una verdadera comprensión de la geometría de la escena, lo que sugiere que los paradigmas de entrenamiento actuales pueden no ser suficientes para cerrar la brecha entre los sesgos de lenguaje y el razonamiento físico.

Los autores publican Metric VQA (datos, variantes de intervención, predicciones y código) para apoyar el análisis diagnóstico reproducible del uso de la evidencia en futuros sistemas multimodales.