💻 computer science

Can Vision-Language Models Assess Proxemic Risk from Egocentric Robot Images?

Este estudio evalúa modelos de visión y lenguaje de código abierto para la evaluación del riesgo de proxemia a partir de imágenes robóticas egocéntricas, encontrando que, si bien el ajuste fino ofrece solo mejoras modestas en general, el uso de prompts avanzados mejora significativamente la detección de alto peligro en modelos específicos como Qwen-VL, aunque las clasificaciones de seguridad correctas no necesariamente se correlacionan con una localización espacial precisa.

Autores originales: Vladyslava Rudas, Dmytro Kuzmenko

Publicado 2026-08-14

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Vladyslava Rudas, Dmytro Kuzmenko

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot a caminar a través de una cafetería concurrida. No solo quieres que vea una mesa; quieres que sienta el espacio que la rodea. Este es el mundo de la proxémica, una palabra elegante para el estudio de cuánto espacio personal necesitan los humanos para sentirse cómodos. Piensa en ello como burbujas invisibles: una burbuja apretada para un mejor amigo, una mediana para un compañero de trabajo y una amplia para un extraño. Si un robot entra en tu burbuja apretada sin preguntar, es de mala educación y potencialmente peligroso.

Ahora, imagina darle al robot una cámara en su cabeza (una vista "egocéntrica") para que vea el mundo exactamente como lo hacemos nosotros. La gran pregunta que los científicos se están haciendo es: ¿Podemos enseñar a un robot a mirar una foto y saber instantáneamente: "¡Oh no, estoy demasiado cerca de esa persona!" o "Uff, tengo mucho espacio"? Aquí es donde entran en juego los Modelos de Visión y Lenguaje (VLM). Estos son programas de IA superinteligentes que pueden mirar una imagen y hablar sobre ella, algo así como un robot que puede leer un libro de imágenes y contarte la historia. Los investigadores están emocionados porque si estas IA pueden entender el espacio personal solo con mirar, podríamos no necesitar sensores costosos y pesados en cada robot. Podríamos simplemente darles una cámara y un cerebro.

Pero aquí está el giro: el hecho de que una IA pueda describir una foto no significa que realmente comprenda dónde están las cosas en el espacio 3D. Este artículo pone a prueba tres "cerebros" de IA diferentes para ver si pueden actuar como un guardián de seguridad para los robots.

El Experimento: ¿Puede la IA detectar el peligro?

Los investigadores construyeron un conjunto de entrenamiento especial utilizando 1,243 fotos tomadas desde el punto de vista de un robot en entornos del mundo real. Etiquetaron cada foto con un "nivel de peligro" basado en qué tan cerca estaban las personas del robot:

Peligro Alto: Alguien está justo frente a la cara del robot (¡colisión inminente!).
Peligro Moderado: Alguien está cerca y el robot necesita moverse con cuidado.
Peligro Bajo: Alguien está cerca, pero el robot solo necesita vigilarlo.
Peligro Mínimo: El camino está despejado.

Probaron tres modelos de IA de código abierto diferentes: InternVL, SmolVLM y Qwen-VL. Intentaron enseñar a estos modelos de dos maneras: primero, haciéndoles preguntas en diferentes estilos (como dar una orden simple frente a un rompecabezas de razonamiento complejo paso a paso), y segundo, dándoles un poco de entrenamiento adicional (llamado "ajuste fino" o fine-tuning) en 200 imágenes específicas.

Los Resultados: Un héroe, dos luchadores

Los hallazgos fueron una mezcla de "no está mal" y "no es lo suficientemente bueno".

1. El problema del "Azar"
Sin ningún entrenamiento especial, los tres modelos se comportaron casi exactamente como un estudiante adivinando en un examen de opción múltiple. Su precisión general fue apenas mejor que lanzar una moneda al aire. Incluso después del entrenamiento adicional, la capacidad general para clasificar correctamente los cuatro niveles de peligro no mejoró mucho. Es como si los modelos fueran buenos describiendo la cafetería pero terribles para saber cuándo dejar de caminar.

2. La excepción de Qwen
Sin embargo, hubo un héroe destacado: Qwen-VL. Mientras que los otros dos modelos (InternVL y SmolVLM) básicamente fallaron al detectar las situaciones más peligrosas (perdiendo casi todas ellas), Qwen-VL de hecho mejoró en la detección de escenarios de "Peligro Alto".

Crucialmente, esta mejora provino de una combinación específica de cómo se hacía la pregunta y cómo se entrenó el modelo. Los mejores resultados se lograron utilizando un prompt muy específico y complejo que pedía a la IA "pensar paso a paso" junto con una primera ronda de ajuste fino. Con esta configuración, Qwen-VL logró capturar aproximadamente el 79% de las situaciones de alto peligro.
Los otros modelos, incluso con los mismos prompts complejos y entrenamiento, seguían perdiendo casi todo.
Curiosamente, darle a Qwen-VL un entrenamiento adicional (una segunda ronda de ajuste fino) no ayudó mucho más; el mayor impulso provino de esa combinación específica del prompt de "pensamiento avanzado" y la ronda inicial de ajuste fino.

3. La sorpresa del "Punto Ciego"
Aquí está la parte más interesante. Los investigadores verificaron si la IA estaba realmente mirando a la persona para decidir si era peligroso. Le pidieron a la IA que dibujara un cuadro alrededor de la persona que le preocupaba.

La conmoción: Incluso cuando Qwen-VL gritaba correctamente "¡PELIGRO!", a menudo no dibujaba el cuadro alrededor de la persona correcta. A veces señalaba al suelo, a veces a una pared y otras veces a la persona correcta.
La conclusión: El artículo sugiere que el modelo podría estar adivinando el nivel de peligro basándose en un "sentimiento" o un patrón en toda la imagen, en lugar de comprender realmente la distancia específica a la persona. Es como un estudiante que obtiene la respuesta correcta en un examen de matemáticas pero no puede mostrar el procedimiento o señalar los números que utilizó.

Lo que esto significa para la seguridad de los robots

El artículo concluye que, aunque estos modelos de IA se están volviendo más inteligentes, no están listos todavía para ser el único guardián de seguridad de un robot que camina a través de una multitud.

No se les puede confiar todavía: Si dependes de ellos, podrías perderte una colisión porque el modelo piensa que es seguro cuando no lo es, o podría entrar en pánico cuando es seguro.
El prompting y el entrenamiento específico importan: Dar a los modelos un poco de entrenamiento adicional ayudó a Qwen-VL solo ligeramente por sí solo, pero no solucionó los problemas de los otros modelos. Las mayores ganancias vinieron de pedir al modelo que razonara cuidadosamente combinado con una configuración de ajuste fino específica.
El peligro "Ciego": La mayor conclusión es que obtener la etiqueta correcta (Peligro Alto) no significa que el robot sepa por qué es peligroso. Podría estar en lo cierto por las razones equivocadas.

En resumen, estos Modelos de Visión y Lenguaje son como turistas muy habladores que pueden describir una escena bellamente, pero a menudo se pierden cuando se les pide navegar por ella. Muestran promesa, especialmente el modelo Qwen cuando se le pide que piense cuidadosamente y se entrena de la manera adecuada, pero aún necesitan mucha más práctica antes de que podamos dejarlos conducir un robot a través de una calle concurrida sin que un humano vigile sus espaldas.

Resumen Técnico: ¿Pueden los Modelos de Visión y Lenguaje Evaluar el Riesgo Proxémico a partir de Imágenes Egocéntricas de Robots?

Planteamiento del Problema
La navegación segura para robots móviles en entornos humanos requiere la evaluación continua del riesgo proxémico: la posibilidad de que un robot invada el espacio personal o provoque colisiones. Mientras que los sistemas de seguridad existentes suelen depender de un razonamiento geométrico explícito o de sensores de profundidad especializados, este estudio investiga si los Modelos de Visión y Lenguaje (VLM) universales pueden reemplazar o complementar estos sistemas. El desafío central es determinar si los VLM, operando únicamente con datos visuales egocéntricos (en primera persona), pueden clasificar con precisión los niveles de peligro proxémico y proporcionar la fundamentación espacial necesaria (identificar dónde reside el peligro) para informar los bucles de control del robot.

Metodología
Los autores construyeron un nuevo conjunto de datos de 1,243 imágenes egocéntricas derivadas del conjunto de datos JRDB, categorizadas en cuatro niveles de peligro proxémico basados en las zonas de Edward T. Hall: Alto, Moderado, Bajo y Mínimo. El conjunto de datos refleja desequilibrios de clases del mundo real, siendo los escenarios de alto peligro los menos frecuentes pero los más críticos.

El estudio evaluó tres VLM de pesos abiertos adecuados para el despliegue local:

Qwen2.5-VL-3B-Instruct (3B parámetros)
InternVL3.5-4B (4B parámetros)
SmolVLM2-2.2B-Instruct (2.2B parámetros)

El marco de evaluación involucró dos variables experimentales primarias:

Ingeniería de Prompts (Prompt Engineering): Se probaron tres estrategias distintas: (i) Simple (descripción básica de la tarea), (ii) Moderada (restricciones añadidas) y (iii) Avanzada (incorporación de razonamiento de cadena de pensamiento o chain-of-thought). Todos los prompts requerían salidas en formato JSON que contenían un nivel de peligro, una estimación de distancia y una caja delimitadora (bounding box) para la fundamentación espacial.
Ajuste Fino (Fine-Tuning): Los modelos se sometieron a dos rondas de ajuste fino de parámetros eficientes mediante QLoRA. La Etapa 1 adaptó solo las proyecciones de atención ( $q\_proj, v\_proj$ ), mientras que la Etapa 2 extendió la adaptación a todas las proyecciones principales. Se utilizó un conjunto de entrenamiento de 200 imágenes balanceadas, distinto del conjunto de prueba para evitar la fuga de datos.

El rendimiento se midió utilizando Exactitud (Accuracy), F1 ponderado (Weighted F1-score), Recall de Alto Peligro (una métrica de seguridad crítica) e Intersección sobre Unión (IoU) para evaluar la fundamentación espacial.

Resultos Clave

Rendimiento General: Sin ajuste fino, todos los modelos se desempeñaron cerca de la línea base aleatoria estratificada (F1 ponderado $\approx$ 0.25). Si bien el ajuste fino produjo mejoras modestas en el rendimiento general para muchas configuraciones (puntuaciones de F1 ponderado en el rango de 0.21–0.24), las configuraciones con mejor desempeño alcanzaron puntuaciones más altas. Específicamente, el modelo Qwen con un prompt simple y una segunda ronda de ajuste fino logró un F1 ponderado de 0.234, mientras que la configuración optimizada para el recall de alto peligro (Qwen con un prompt avanzado y una ronda de ajuste fino) logró un F1 ponderado de 0.211.
Detección de Alto Peligro: Surgió una disparidad significativa entre los modelos. Qwen-VL demostró un recall sustancialmente mayor para casos de alto peligro en comparación con InternVL y SmolVLM, los cuales mantuvieron un recall cercano a cero para esta clase independientemente de la configuración. Notablemente, la configuración de Qwen que utilizó el prompt Avanzado y una ronda de ajuste fino alcanzó un recall de alto peligro de 0.432.
Compromisos de la Estrategia de Prompts: El prompt "Avanzado" con razonamiento de cadena de pensamiento maximizó el recall de alto peligro (0.432) pero resultó en una menor precisión para otras clases, produciendo un F1 ponderado de 0.211. Por el contrario, el prompt "Simple" con una segunda ronda de ajuste fino proporcionó la mejor clasificación balanceada entre todos los niveles con un F1 ponderado de 0.234. Es importante notar que, aunque la configuración del prompt Avanzado alcanzó un F1 de 0.296, esta métrica se aplica específicamente a la clase de peligro 'alto' por sí sola, no al F1 ponderado general.
Fundamentación Espacial: Un hallazgo crítico es el desacoplamiento entre la precisión de la clasificación y la fundamentación espacial. Aunque Qwen-VL fue el único modelo en proporcionar localización útil (IoU media $\approx$ 0.46 antes del ajuste fino), la clasificación correcta del peligro no se correlacionó con una mejor precisión de la caja delimitadora. Incluso para escenas de alto peligro correctamente identificadas, el IoU del modelo no fue significativamente mayor que para las detecciones fallidas.
Impacto del Ajuste Fino: El ajuste fino no mejoró la fundamentación espacial para ningún modelo; en algunos casos, degradó ligeramente el rendimiento. Para modelos más pequeños como SmolVLM, el ajuste fino adicional pareció ser perjudicial, probablemente debido al olvido catastrófico.

Significancia y Conclusiones
El artículo concluye que los VLM actuales son solo parcial e irregularmente capaces de evaluar el riesgo proxémico a partir de datos egocéntricos. Si bien Qwen-VL muestra promesa en la detección de situaciones de alto peligro, particularmente cuando es guiado por prompts avanzados, los otros modelos probados no lograron identificar de manera confiable estos escenarios críticos.

Los autores enfatizan que la capacidad de producir una etiqueta de seguridad correcta no implica que el modelo esté atendiendo a la región espacial relevante de la escena. En consecuencia, el razonamiento proxémico de cuatro clases basado en fotogramas egocéntricos de vista única sigue siendo un problema no resuelto para los VLM modernos. El estudio sugiere que, si bien el prompting dirigido y el ajuste fino pueden mejorar la detección de alto peligro en modelos específicos, la falta de una fundamentación espacial confiable y la brecha entre la clasificación y la localización limitan la capacidad de despliegue inmediato de estos sistemas como disparadores de seguridad autónomos para robots corporizados. El trabajo futuro se dirige hacia conjuntos de datos más grandes y comparaciones con modelos más potentes a escala de API para determinar si estas limitaciones son arquitectónicas o dependientes de la escala.

El Experimento: ¿Puede la IA detectar el peligro?

Los Resultados: Un héroe, dos luchadores

Lo que esto significa para la seguridad de los robots

Resumen Técnico: ¿Pueden los Modelos de Visión y Lenguaje Evaluar el Riesgo Proxémico a partir de Imágenes Egocéntricas de Robots?

Más como este