💬 NLP

HomeSafeBench: A Benchmark for Embodied Vision-Language Models in Free-Exploration Home Safety Inspection

Este artículo presenta HomeSafeBench, el primer benchmark para que agentes corporales realicen inspecciones de seguridad en el hogar mediante exploración libre a través de vistas egocéntricas, y propone CueBack, un método de construcción de datos que mejora significamente el rendimiento de los Modelos de Lenguaje-Visión al aprovechar la estructura temporal de la detección de peligros para cerrar la brecha entre la IA y los inspectores humanos.

Autores originales: Jiashu Yao, Haoyu Wen, Siyuan Gao, Yuhang Guo, Zeming Liu, Heyan Huang

Publicado 2026-08-05

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jiashu Yao, Haoyu Wen, Siyuan Gao, Yuhang Guo, Zeming Liu, Heyan Huang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un amigo robot superinteligente que puede ver el mundo a través de sus ojos y hablarte sobre lo que ve. Este es el mundo de la IA con cuerpo (Embodied AI), donde las computadoras no están simplemente sentadas frente a una pantalla; son agentes con "cuerpo" que pueden moverse, mirar cosas y tomar decisiones en un mundo 3D. Piensa en ellos como exploradores digitales con una mochila, listos para resolver acertijos o encontrar objetos perdidos. Pero hay un inconveniente: estos robots solo ven lo que tienen directamente frente a su "cara" (llamado vista egocéntrica). No pueden ver detrás del sofá o debajo de la alfombra a menos que caminen físicamente hacia allá para mirar. Esto los hace excelentes para seguir instrucciones, pero terribles para ser detectives proactivos.

Ahora, imagina que quieres que este robot sea un inspector de seguridad para tu casa. Su trabajo es deambular por tu hogar, detectar cosas peligrosas como un cuchillo dejado sobre el mostrador o una alfombra que podría hacer que alguien tropiece, y avisarte sobre ellas antes de que alguien resulte herido. Esto es algo muy importante porque la mayoría de los accidentes domésticos ocurren porque olvidamos mirar los peligros obvios. La gran pregunta que los investigadores se plantean es: ¿Pueden estos exploradores de IA realizar realmente este trabajo, o son demasiado torpes y ciegos ante los riesgos?

El artículo: HomeSafeBench y el truco "CueBack"

Los investigadores detrás de este artículo, HomeSafeBench, decidieron construir un gigantesco circuito de obstáculos digital para probar exactamente esto. Crearon un benchmark (una prueba estándar) donde un agente de IA tiene que explorar libremente un hogar 3D totalmente interactivo, mirando alrededor y moviéndose de habitación en habitación, tal como lo haría un humano. ¿El objetivo? Encontrar cinco tipos específicos de peligros: riesgos de incendio (como papel cerca de una estufa), descargas eléctricas (como un tostador en un fregadero), objetos que caen (como una caja pesada en un estante alto), riesgos de tropiezo (como una cáscara de banana en el suelo) y riesgos de seguridad infantil (como cuchillos afilados al alcance de un niño).

Construyeron 1,000 escenarios diferentes, cada uno con de uno a cinco peligros ocultos, y le pidieron a los mejores modelos de IA del mundo que los encontraran. Los resultados fueron un golpe de realidad. Incluso los modelos de IA comerciales más inteligentes, que suelen triunfar en este tipo de pruebas, tuvieron serias dificultades. El mejor modelo logró encontrar solo un 34.7% de los peligros (medido por una puntuación llamada F1), mientras que un inspector humano habría encontrado un 98.0%.

Aquí está la parte extraña: la IA no estaba simplemente "perdiendo" cosas de forma aleatoria. Estaba siendo excesivamente cautelosa. Tenía una "precisión" alta (cuando decía que algo era peligroso, generalmente tenía razón) pero un "recall" (exhaustividad) terrible (ignoraba casi todo lo demás). Era como un guardia de seguridad que solo grita "¡Fuego!" cuando el edificio ya se está quemando, pero ignora la vela humeante sobre la mesa. La IA solo detectaba los peligros más obvios y ruidosos, e ignoraba los silenciosos y sigilosos, especialmente las cosas que podrían caer o lastimar a un niño.

La solución: "CueBack"

Los investigadores se dieron cuenta de que entrenar a estos robots haciéndolos caminar por el simulador una y otra vez era demasiado lento y costoso. En su lugar, idearon un truco ingenioso y de bajo costo llamado CueBack.

Piensa en esto como si estuvieras viendo un video de un detective resolviendo un crimen. En el video, el detective entra en una habitación, ve una huella de lodo (la pista o clue), y luego camina hacia la ventana para confirmar que el sospechoso estuvo allí (la confirmación). Si solo le mostraras al detective la respuesta final ("¡El sospechoso estuvo en la ventana!"), no aprendería cómo encontrar la pista en primer lugar.

El método CueBack observa un camino "perfecto" donde un humano (o un profesor superinteligente) ya sabe dónde está el peligro. Luego, rebobina el video al primer momento en que el peligro se hizo visible desde la distancia. Le dice a la IA: "Oye, antes de que supieras con certeza, solo estabas explorando. Pero justo aquí, viste una pista. A partir de este punto, deberías mirar más de cerca para confirmar".

Al enseñar a la IA a reconocer estas "pistas" antes de la "confirmación", crearon un nuevo conjunto de datos de entrenamiento sin necesidad de ejecutar simulaciones costosas. Tomaron un modelo de IA de código abierto pequeño (llamado Qwen3-VL-4B) y lo entrenaron usando este nuevo método.

Los resultados

Los resultados fueron sorprendentemente buenos. Después de este entrenamiento con "CueBack", el desempeño del pequeño modelo de IA saltó de un débil 18.7% a un sólido 45.3%. Esto es algo importante porque significa que este pequeño modelo gratuito se volvió mejor encontrando peligros en el hogar que los modelos comerciales cerrados más caros (que solo alcanzaron un 34.7%).

El estudio sugiere que el problema principal no era que la IA no pudiera moverse o ver; era que no sabía cómo buscar riesgos sutiles. Al enseñarle a detectar las pistas tempranas y luego investigar, los investigadores demostraron que no necesitas una supercomputadora para construir un buen inspector de seguridad en el hogar; solo necesitas la forma correcta de enseñarle a prestar atención. El equipo ha publicado su prueba, sus datos de entrenamiento y su código para que cualquiera pueda intentar construir incluso mejores robots de seguridad en el futuro.

Resumen Técnico: HomeSafeBench y CueBack

Definición del Problema

Los peligros de seguridad en el hogar, como objetos inflamables cerca de fuentes de calor o herramientas afiladas al alcance de un niño, son una de las principales causas de lesiones domésticas evitables. Aunque los modelos de visión-lenguaje (VLM) recientes han permitido que los agentes encarnados realicen tareas como navegación y exploración visual, la automatización de la inspección de seguridad en el hogar sigue siendo un desafío significativo. Los benchmarks existentes para la seguridad en el hogar abstraen las escenas en texto (descartando pistas visuales) o restringen a los agentes a puntos de vista fijos, lo que no logra capturar la naturaleza intrínsecamente activa de la inspección en el mundo real. En la realidad, un inspector debe navegar por un entorno 3D parcialmente observable, ajustar sus puntos de vista e identificar peligros desconocidos basándose únicamente en la retroalimentación visual egocéntrica.

Los VLM de última generación tienen dificultades con esta tarea, mostrando una deficiencia sistemática en el reconocimiento de peligros. Las evaluaciones muestran que incluso los mejores modelos alcanzan solo un F1 de ~34.7% en comparación con el 98.0% de los inspectores humanos, con una tendencia específica a subreportar peligros (baja recuperación/recall) mientras mantienen una alta precisión. Esto sugiere que los modelos pasan por alto riesgos sutiles, particularmente los peligros de objetos que caen y de seguridad infantil.

Metodología

1. Benchmark HomeSafeBench

Los autores presentan HomeSafeBench, el primer benchmark para la inspección de seguridad en el hogar con exploración libre y retroalimentación visual egocéntrica.

Entorno: Construido sobre el simulador VirtualHome, sitúa a un agente encarnado en hogares 3D totalmente interactivos.
Tarea: El agente debe navegar, ajustar su punto de vista y reportar peligros puramente desde vistas de primera persona renderizadas.
Alcance: Cubre cinco categorías de peligro: Fuego, Choque Eléctrico, Caída de Objetos, Tropiezo y Seguridad Infantil.
Escala: Comprende 1,000 tareas de inspección validadas por humanos que contienen 3,000 instancias de peligro (1–5 peligros por tarea).
Construcción: Un pipeline de cuatro etapas que involucra la anotación humana de la ubicación de los peligros y los atributos de los objetos, la generación basada en reglas de un solo peligro, el filtrado basado en VLM para claridad visual y validez semántica, y la composición de tareas a nivel de datos.
Evaluación: Utiliza un juez VLM para la concordancia a nivel de peligro (requiriendo la alineación de la categoría y la instancia del objeto) para calcular la Precisión, la Recuperación (Recall) y el F1.

2. CueBack: Construcción de Datos Offline

Para abordar la brecha de rendimiento sin el costo prohibitivo del aprendizaje por refuerzo online en un simulador pesado basado en Unity, los autores proponen CueBack, un método de construcción de datos offline ligero y libre de simulador.

Idea Central: La inspección sigue una estructura de "la pista precede a la confirmación". Un peligro a menudo se insinúa desde la distancia (una pista visual) antes de ser confirmado de cerca.
Proceso:
1. Generación de Trayectorias: Los autores generan trayectorias de acciones privilegiadas (donde el agente conoce las ubicaciones de los peligros) y sintetizan rutas de navegación ejecutables utilizando un grafo de observación dirigido a nivel de habitación.
2. Identificación del Punto de División: Para cada peligro, el método retrocede a lo largo de la trayectoria para identificar el primer frame ( $k_h$ ) donde la pista del peligro se vuelve visible para el agente.
3. Reescritura del Razonamiento: La señal de supervisión se reescribe para respetar esta estructura temporal:
  - Antes de $k_h$ (Exploración): El razonamiento justifica la navegación como una cobertura amplia o la búsqueda de regiones de alto riesgo sin nombrar el peligro específico no visto.
  - Después de $k_h$ (Confirmación): El razonamiento reconoce la pista visible, hipotetiza el riesgo y justifica el acercamiento para la confirmación.
  - Reporte: Se justifica solo cuando la evidencia visual es suficiente.
Objetivo: Esto evita la "filtración de información privilegiada", asegurando que el modelo aprenda a reconocer peligros a partir de las observaciones en lugar de memorizar trayectorias.

Contribuciones Clave

HomeSafeBench: El primer benchmark para la inspección de seguridad en el hogar con exploración libre, que presenta 1,000 tareas a través de cinco categorías de peligro con validación humana.
Evaluación Exhaustiva: Un análisis sistemático de los VLM comerciales y de código abierto más avanzados, revelando una gran brecha de rendimiento con los humanos y una tendencia sistemática a subreportar peligros (baja recuperación).
Método CueBack: Una novedosa técnica de construcción de datos offline que explota la estructura de "pista antes de la confirmación". Permite que un pequeño modelo de código abierto de 4 mil millones de parámetros supere a los modelos líderes de código cerrado en tareas fuera de distribución.
Lanzamiento Abierto: El benchmark, el conjunto de datos de entrenamiento y el código están disponibles públicamente.

Resultados Experimentales

Los autores evaluaron una amplia gama de modelos en HomeSafeBench:

Rendimiento de la Línea Base: El mejor modelo de código cerrado (Doubao-Seed-2.0-Pro) alcanzó un F1 de 34.7%, mientras que el mejor modelo de código abierto (Qwen3-VL-4B) obtuvo un 18.7%. El rendimiento humano fue de 98.0%.
Fallo Sistemático: En todos los modelos, la Precisión superó significativamente a la Recuperación (por ejemplo, 58.9 frente a 17.8 para GLM-5V-Turbo), lo que indica que los modelos solo señalan casos obvios (como peligros de tropiezo) pero pasan por alto los sutiles (objetos que caen, seguridad infantil).
Rendimiento de CueBack: El ajuste fino de un modelo Qwen3-VL-4B con datos construidos mediante CueBack aumentó el F1 promedio de 18.7% a 45.3% en un conjunto de prueba fuera de distribución.
- Este resultado supera al modelo de código cerrado más fuerte (34.7%) por un margen significativo (+10.6%).
- También supera a otras líneas base como SFT-Action (37.8%) y SFT-Both (39.3%), demostrando la eficacia de la estructura de razonamiento de "pista antes de la confirmación".
- El método mostró ganancias sustanciales en las categorías más difíciles, como Seguridad Infantil (F1 de 16.6% a 31.4%) y Choque Eléctrico (27.6% a 39.7%).

Significado

El artículo afirma que HomeSafeBench revela un cuello de botella crítico en la IA encarnada actual: una falta de reconocimiento de riesgos especializados en lugar de una falta de capacidad de navegación. La importancia del trabajo radica en demostrar que la construcción de datos offline y libre de simulador puede cerrar eficazmente la brecha entre los modelos pequeños de código abierto y los sistemas comerciales grandes para tareas de seguridad crítica. Al aprovechar la estructura temporal natural de la inspección (pista antes de la confirmación), CueBack permite que los agentes aprendan la conciencia del peligro sin el costo computacional del aprendizaje por refuerzo online, haciendo que la inspección de seguridad en el hogar de alto rendimiento sea más accesible y desplegable.