🤖 AI

Visual Grounding in Zero-Shot Vision-Language Control

Este artículo demuestra que, si bien los modelos de visión y lenguaje actuales suelen fallar como controladores monolíticos de cero disparos debido a una falta de verdadera fundamentación visual, pueden servir eficazmente como asistentes de peligros selectivos y limitados cuando se aumentan con guardianes modulares de consenso de simetría que verifican la evidencia visual y fuerzan la equivariancia.

Autores originales: J. de Curtò, Dayani Plasencia, Diego Sánchez, I. de Zarzà

Publicado 2026-08-07

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: J. de Curtò, Dayani Plasencia, Diego Sánchez, I. de Zarzà

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot a conducir un coche. Durante mucho tiempo, los ingenieros construyeron estos robots con un manual de instrucciones muy estricto y paso a paso: "Si ves una luz roja, detente. Si ves una verde, avanza". Pero recientemente, ha llegado un nuevo tipo de "cerebro" llamado Modelo de Lenguaje y Visión (VLM, por sus siglas en inglés). Piensa en un VLM como un estudiante superinteligente y comunicativo que ha leído millones de libros y visto miles de millones de imágenes. En lugar de seguir un manual rígido, puedes simplemente hablar con él: "Oye, mira la carretera, hay un perro, ¿qué debo hacer?". La esperanza es que este único cerebro inteligente pueda reemplazar todo el sistema tradicional, haciendo que los robots sean flexibles, adaptables y estén listos para cualquier cosa.

Pero aquí está la parte difícil: el hecho de que un robot parezca que está conduciendo bien no significa que realmente esté viendo la carretera. Podría estar adivinando, o podría estar siguiendo una regla oculta como "siempre reduce la velocidad" para estar seguro. Si un robot nunca choca porque tiene demasiado miedo para moverse, obtiene una puntuación perfecta, pero no ha aprendido realmente a conducir. Este artículo plantea una pregunta simple y crucial: cuando estos conductores de IA dicen que están mirando la carretera, ¿realmente están mirando o solo están fingiendo?

La Gran Prueba de "¿Estás Mirando?"

Los autores de este artículo decidieron someter a estos conductores de IA a una serie de pruebas extrañas y maravillosas para ver si realmente estaban prestando atención. No se limitaron a dejar que los coches circularan y ver si chocaban; jugaron trucos con los ojos de la IA.

Primero, probaron la "Prueba de la Venda". Alimentaron a la IA con la misma instrucción de conducción pero reemplazaron la imagen de la carretera con una pantalla gris vacía o un caos de píxeles aleatorios. Si la IA estuviera mirando realmente la carretera, su decisión debería cambiar cuando la carretera desaparece. Pero para muchos de los modelos, la respuesta no cambió en absoluto. Era como un estudiante que, al pedirle que resuelva un problema matemático, da la misma respuesta ya sea que el papel tenga números o sea solo una hoja en blanco. No estaban leyendo los números; solo estaban adivinando.

Después, jugaron al "Juego del Espejo". Imagina mirar una carretera en un espejo. Si ves un coche a tu izquierda en el espejo, en realidad está a tu derecha en la vida real. Un conductor inteligente debería cambiar sus comandos de "Izquierda" y "Derecha" cuando ve un reflejo. Los investigadores le mostraron a la IA una imagen reflejada de la carretera. Sorprendentemente, la mayoría de los modelos de IA no cambiaron sus comandos. Siguieron diciendo "Gira a la Izquierda" a pesar de que el espejo mostraba que el peligro estaba a la derecha. Era como si estuvieran conduciendo con los ojos cerrados, confiando en una corazonada de que algo estaba a la izquierda, independientemente de lo que el espejo realmente mostrara.

El Atajo de "Lento y Constante"

Uno de los descubrimientos más sorprendentes fue que la estrategia más "barata" era a menudo la mejor. Los investigadores descubrieron que una política simple y aburrida que solo decía "Ve Despacio" todo el tiempo, en realidad funcionaba mejor que los complejos programas de conducción programados. ¿Por qué? Porque en la simulación, reducir la velocidad evita los accidentes. Por lo tanto, una IA que solo dice "DESPACIO" una y otra vez obtiene una puntuación alta, incluso si nunca mira realmente la carretera. Es como un estudiante que obtiene un sobresaliente en un examen escribiendo "no lo sé" en cada respuesta, porque el profesor les está calificando por no equivocarse, no por acertar. El artículo muestra que muchas de estas sofisticadas IA estaban haciendo exactamente esto: estaban tomando un "atajo" al ser excesivamente cautelosas en lugar de comprender realmente la geometría de la carretera.

La Buena Noticia: Un Equipo de Especialistas

Pero no se preocupen, la historia no es del todo mala. Los investigadores no solo dijeron "la IA está rota". Encontraron una manera de arreglarlo cambiando cómo usamos la IA. Se dieron cuenta de que, si bien la IA era terrible para saber hacia qué lado girar (izquierda o derecha), en realidad era bastante buena para saber a qué distancia estaba algo.

Crearon un sistema de "Guardián". En lugar de dejar que un solo modelo de IA conduzca todo el coche, utilizaron dos modelos diferentes para actuar como un equipo de seguridad. Le mostraron la misma carretera a ambos modelos, pero le mostraron a uno de ellos una versión reflejada. Si ambos modelos coincidían en que había un peligro adelante (como un coche acercándose demasiado), el sistema confiaba en ellos. Si no estaban de acuerdo, el sistema se detenía y pedía a una computadora tradicional basada en matemáticas que tomara el control.

Este enfoque de "trabajo en equipo" funcionó increíblemente bien. En un conjunto de prueba de 272 fotogramas que nunca habían visto, este sistema obtuvo la respuesta correcta aproximadamente el 95.4% de las veces. Cuando los dos modelos no estaban de acuerdo, el sistema sabía que debía tener un cuidado extra, y en esos casos, acertó el 97.3% de las veces. Resulta que si no le pides a la IA que lo haga todo (conducir, frenar y mirar), sino que solo le pides que sea un "detector de peligros" para las cosas que vienen de frente, es realmente confiable.

La Conclusión

La lección principal de este artículo es que debemos dejar de tratar a estos modelos de IA como cajas mágicas que pueden hacerlo todo. No están listos para ser el único "cerebro" de un coche autónomo que tome todas las decisiones. Son demasiado fáciles de engañar con espejos, demasiado propensos a simplemente adivinar "reduce la velocidad" y demasiado inconsistentes cuando la vista cambia.

Sin embargo, son muy útiles como un "segundo par de ojos" para tareas específicas. Si los usas solo para detectar peligros que vienen de frente, y dejas que una computadora estricta basada en matemáticas se encargue de la dirección y el giro, obtienes un sistema que es tanto inteligente como seguro. El artículo demuestra que, para que estos modelos de IA sean realmente útiles, debemos ser muy específicos sobre lo que les pedimos y debemos verificar su trabajo con pruebas simples como espejos y pantallas en blanco para asegurarnos de que realmente están mirando la carretera.

Resumen Técnico: Anclaje Visual en el Control de Visión-Lenguaje Zero-Shot

Declaración del Problema

Los modelos de visión-lenguaje (VLM) se están implementando cada vez más como controladores zero-shot para sistemas autónomos, prometiendo reemplazar los stacks de percepción y planificación diseñados a mano con un único modelo preentrenado. Sin embargo, existe una brecha crítica entre la finalización exitosa de la tarea (por ejemplo, evitar colisiones, maximizar la distancia) y el anclaje visual (visual grounding). En entornos simulados, las políticas conservadoras (por ejemplo, desaceleración constante) o la dinámica del simulador pueden producir métricas agregadas favorables sin que el modelo esté procesando realmente la entrada visual. En consecuencia, las decisiones de despliegue basadas en puntuaciones agregadas pueden recompensar modelos que dependen de "atajos" o de conocimientos previos (priors) en lugar de un entendimiento genuino de la escena. El artículo plantea una pregunta fundamental: ¿Utiliza el controlador la cámara en absoluto?

Metodología

Para abordar esto, los autores proponen y ejecutan una rigurosa batería de ablación de entrada que abarca 32,874 llamadas puntuadas involucrando nueve modelos de acción directa, seis VLM locales estructurados y una jerarquía exploratoria de VLM–MPC. La evaluación abarca dos encarnaciones (un cuadricóptero y un vehículo terrestre) y tres entornos de simulación.

1. Batería de Ablación de Entrada

La metodología central consiste en emitir prompts idénticos bajo ocho condiciones de entrada distintas donde solo varía la imagen (Tabla I):

Controles Ciegos: Imágenes en blanco (gris uniforme), ruido aleatorio uniforme y fotogramas mezclados de otros escenarios.
Autoconsistencia: Entradas idénticas repetidas para medir el piso de ruido estocástico ( $s$ ) del modelo.
Relaciones Metamórficas: Reflexión del eje del carril (volteo vertical) para probar si las decisiones laterales (IZQUIERDA/DERECHA) se intercambian correctamente mientras que las estimaciones longitudinales permanecen invariantes.
Baselines No Visuales: Prompts de solo texto y comparaciones contra políticas constantes y controladores geométricos programados.
Métricas: El estudio prioriza los tamaños del efecto (Cramér's $V$ ) y el Índice de Dependencia de Imagen ajustado ( $IDI_{adj}$ ) sobre la precisión simple, asegurando que la dependencia del contenido de la imagen se distinga del desacuerdo del propio modelo.

2. Brazos Experimentales

Brazo de Borde (Edge Arm): Cuatro modelos de pesos abiertos (SmolVLM, Qwen2-VL, LLaVA-1.5) ejecutándose en una única GPU T4.
Brazo de Alojamiento (Hosted Arm): Cinco modelos grandes (Qwen2.5-VL-72B, MiniCPM-V, Cosmos3, Kimi-K2.6/3) servidos vía API.
Brazo Local Estructurado: Seis modelos (incluyendo Gemma 4, Qwen3.5) evaluados en fotogramas estáticos y episodios en línea con un renderizador calibrado.
Diagnóstico MPC: Una prueba jerárquica donde una capa de Control Predictivo por Modelo (MPC) intenta ejecutar las intenciones de un planificador VLM para determinar si la optimización de bajo nivel puede recuperar la intención geométrica faltante.

3. Validación Constructiva

Los autores introducen un guardián de consenso de simetría que combina las predicciones de las vistas originales y reflejadas utilizando un voto de peligro de 2 de 4. Este análisis post-hoc, con control de fuga (leakage), aisla la detección de peligros longitudinales de los fallos de control lateral.

Resultados Clave

1. Fallos de Control Directo y Atajos

Las Políticas Constantes Superan a los Scripts: Una política constante-SLOW viajó un 15.7% más lejos y chocó 12 veces menos que un controlador geométrico programado en el benchmark highway-env, a pesar de no recibir ninguna entrada visual.
Invarianza de Imagen: Varios modelos de borde (por ejemplo, Qwen2-VL-2B, LLaVA-1.5-7B) produjeron trayectorias casi constantes independientemente de la entrada. Para algunos, la presencia de un token de imagen importaba más que su contenido; eliminar la imagen por completo cambió la acción en el 90% de los fotogramas para SmolVLM, mientras que reemplazar la carretera por gris apenas la cambió.
Fallo de Anclaje Lateral: Ninguno de los seis VLM locales satisfizo los criterios conjuntos de anclaje longitudinal y lateral. Aunque algunos modelos (Gemma 4, Qwen3.5) clasificaron bien la proximidad longitudinal, fallaron al intercambiar las decisiones de IZQUIERDA/DERECHA bajo la reflexión del eje del carril, lo que indica una dependencia de los conocimientos previos en lugar de un razonamiento geomético.

2. Regímenes de Modelos Alojados

El brazo de alojamiento reveló cuatro comportamientos distintos:

Anclado en Profundidad (Qwen2.5-VL-72B): Acciones ordenadas monótonamente por la brecha de separación frontal. Sin embargo, falló en el anclaje lateral (0/50 cambios de dirección bajo reflexión) y trató las entradas en blanco/ruido de forma idéntica (STOP).
Anclado Grueso (Cosmos3-Super-Reasoner): Distinguió entre cerca y lejos, pero careció de ordenamiento monotónico y falló en los cambios laterales. Mostró sensibilidad a la presencia de la imagen (distinguiendo gris de ruido) pero no al contenido de la escena.
Solo Presencia (MiniCPM-V-4.5): Perfectamente determinista pero efectivamente constante dentro de los fotogramas reales; detectó la presencia de la imagen pero no el contenido.
Inconsistente (Kimi-K3): Parecía dependiente de la imagen en las pruebas estándar pero, cuando se tuvo en cuenta el piso de ruido, discrepaba más consigo mismo que con las entradas en blanco, comportándose como una política aleatoria.

3. Sensibilidad del Prompt

La formulación del prompt alteró significativamente el anclaje medido. Los prompts de "few-shot" y las instrucciones de "anti-degeneración" a menudo colapsaron la diversidad de los modelos, impulsándolos hacia políticas constantes (por ejemplo, la participación modal de Qwen2.5-VL-72B aumentó de 0.37 a 0.96 con el prompting de few-shot). Esto sugiere que una alta entropía de acción no implica necesariamente dependencia de la escena.

4. Recuperación Modular (El Guardián)

Mientras que el control monolítico falló, un enfoque modular tuvo éxito:

Un guardián de consenso de simetría utilizando Gemma 4 y Qwen3.5 logró una precisión equilibrada de 0.954 en un conjunto de prueba de 272 fotogramas para la detección de peligros longitudinales.
Al abstenerse en votos empatados, la precisión equilibrada comprometida subió a 0.973 con una cobertura de 0.824.
El replay modular offline, donde el VLM retenía solo la autoridad longitudinal y un parser determinista manejaba la claridad lateral, logró un acuerdo de acción de 0.934 y una equivariancia de espejo exacta.

5. Limitaciones del MPC

El diagnóstico de MPC confirmó que un optimizador de bajo nivel competente no puede reconstruir la geometría faltante. Cuando la intención del VLM colapsó (por ejemplo, STOP constante), el MPC no pudo recuperar la trayectoria necesaria, reduciendo el logro de objetivos de 23/25 (oráculo) a 8/25 (VLM).

Significancia y Reivindicaciones

El artículo argumenta que la finalización exitosa de la tarea no es equivalente al anclaje visual. Las métricas agregadas en el control zero-shot pueden ser engañosas, ya que a menudo recompensan atajos conservadores o sesgos del simulador en lugar de la percepción.

Los autores afirman que:

Los VLM actuales no son controladores zero-shot monolíticos fiables. Frecuentemente fallan al extraer la información geométrica necesaria, particularmente para el control lateral, y son altamente sensibles a la formulación del prompt.
Los fallos son modulares, no universales. Los VLM pueden servir como asistentes de peligro selectivos y acotados. Al restringir la autoridad del VLM a la detección de peligros longitudinales y combinarlo con un control lateral determinista y mecanismos de consenso de simetría, se puede recuperar un rendimiento fiable.
La evaluación debe ser granular. Las tasas de éxito estándar son insuficientes. Las evaluaciones deben probar la cadena percepción-decisión-control utilizando entradas ciegas, transformaciones metamórficas y análisis del piso de ruido para distinguir entre el entendimiento genuino y los atajos estadísticos.

El estudio concluye que, si bien los VLM aún no están listos para el control de propósito general zero-shot, pueden contribuir con evidencia semántica útil dentro de una arquitectura acotada basada en consenso, simetría y abstención.