🤖 AI

Contextual Safety Reasoning and Grounding for Open-World Robots

El marco CORE propone un enfoque de seguridad para robots en entornos abiertos que utiliza modelos de lenguaje-visual y funciones de barrera de control para razonar, fundamentar y hacer cumplir dinámicamente reglas de seguridad dependientes del contexto sin necesidad de conocimiento previo del entorno.

Autores originales: Zachary Ravichandran, David Snyder, Alexander Robey, Hamed Hassani, Vijay Kumar, George J. Pappas

Publicado 2026-02-26

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Zachary Ravichandran, David Snyder, Alexander Robey, Hamed Hassani, Vijay Kumar, George J. Pappas

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que tienes un robot nuevo, un pequeño asistente con ruedas, al que le acabas de dar la bienvenida a tu casa. Pero hay un problema: este robot es como un turista que acaba de aterrizar en un país extranjero sin hablar el idioma y sin mapa.

Si le dices "ve a la cocina", el robot podría chocar contra una silla, pisar un charco de agua o, peor aún, intentar cruzar una zona donde hay un cartel de "Suelo Mojado" sin entender que eso significa peligro, no solo un obstáculo físico.

Los métodos tradicionales de seguridad para robots son como darles una lista de reglas rígidas: "No toques nada rojo" o "No pases por donde hay una silla". Pero en el mundo real, la seguridad no es solo física; es contextual. Un charco de agua es peligroso, pero una alfombra mojada no necesariamente. Un cartel de "Peligro" no es un muro, pero indica que no debes acercarte.

Aquí es donde entra CORE, el sistema que presentan en este paper. Vamos a explicarlo con una analogía sencilla:

🤖 CORE: El "Guardián Consciente" del Robot

Imagina que CORE es como darle al robot un cerebro extra que funciona en tres pasos mágicos cada vez que abre los ojos:

1. El Detective Visual (Razonamiento Contextual)

El robot tiene una cámara (sus ojos) y un Modelo de Lenguaje Visual (VLM). Piensa en este modelo como un detective muy inteligente que sabe leer el mundo.

Sin CORE: El robot ve un objeto y piensa: "Eso es un cono de tráfico. Es un obstáculo. Chocaré si lo toco".
Con CORE: El detective ve el cono y piensa: "¡Ah! Esos conos están en fila. No son solo objetos; forman una barrera invisible. Significan 'Prohibido Pasar'. Además, veo un cartel de 'Suelo Mojado'. No es un obstáculo físico, pero el suelo alrededor es resbaladizo. Debo mantener una distancia de respeto".

El robot no necesita saber el mapa de antemano; aprende en tiempo real qué es seguro basándose en lo que ve, igual que tú aprenderías a no pisar un charco al ver el reflejo del sol en el suelo.

2. El Traductor de Mapas (Anclaje Semántico)

Una vez que el detective entiende la situación, necesita traducir esa idea a un mapa que el robot pueda usar para moverse.

El detective dice: "El área entre los conos es peligrosa".
El sistema CORE toma esa frase y la convierte en un mapa digital de "Zonas Seguras" y "Zonas Peligrosas" sobre el suelo real. Es como si el robot dibujara una línea invisible en el suelo con tiza mágica: "Aquí puedo pasar, aquí no".

3. El Freno de Emergencia Inteligente (Control Seguro)

Finalmente, el robot tiene un "piloto automático" (un controlador) que quiere ir rápido hacia su objetivo. Pero CORE actúa como un freno de emergencia inteligente.

Si el piloto automático quiere girar hacia la zona de los conos, CORE interviene suavemente: "Espera, amigo. Si giras ahí, entrarás en la zona prohibida. Vamos a girar un poco más a la izquierda".
Lo hace de forma matemática y segura, asegurándose de que el robot nunca cruce la línea roja, incluso si el detective se equivoca un poco (porque la visión no es perfecta).

¿Por qué es tan especial este sistema?

Antes, para que un robot fuera seguro, un humano tenía que decirle todo: "Aquí hay una escalera, no subas. Aquí hay una piscina, no te acerques". Si el robot se iba a un lugar nuevo (como una oficina diferente), se quedaba ciego y peligroso.

CORE cambia las reglas del juego:

Aprende sobre la marcha: No necesita un mapa previo. Puede entrar en una casa desconocida y entender al instante que no debe subir a una mesa o acercarse demasiado a una persona.
Entiende el "por qué": No solo evita colisiones; entiende el significado de las cosas. Un cartel de "Peligro" es tan importante como una pared.
Es flexible: Si hay una fiesta y hay mucha gente, el robot entiende que debe moverse despacio y con cuidado (normas sociales), no solo esquivar cuerpos.

En resumen

Imagina que antes los robots eran como bebés que solo saben evitar chocar contra paredes. Con CORE, el robot se convierte en un adulto responsable que sabe leer señales, entender el contexto social y tomar decisiones seguras en un mundo caótico y desconocido, todo sin que tú tengas que darle un manual de instrucciones para cada habitación nueva.

Es como darle al robot la capacidad de decir: "Oh, veo un cartel de suelo mojado. Aunque puedo caminar sobre él, es mejor rodearlo para no resbalar y hacer un desastre". ¡Esa es la verdadera inteligencia de seguridad!

1. El Problema: Seguridad en Entornos de Mundo Abierto

Los robots operan cada vez más en entornos no estructurados y dinámicos (hogares, oficinas, almacenes) donde la seguridad no es un conjunto fijo de restricciones geométricas, sino que depende del contexto semántico.

Limitación de los enfoques tradicionales: Los métodos actuales (como Funciones de Barrera de Control - CBFs o Lógica Temporal) requieren que un experto defina restricciones de seguridad precisas a priori (antes de la operación) y asumen un conocimiento previo del entorno (mapas, especificaciones).
El desafío: En un "mundo abierto", el robot se encuentra con situaciones desconocidas (ej. un letrero de "piso mojado", una fila de conos de tráfico, o normas sociales) que no pueden predefinirse. El robot debe ser capaz de inferir qué constituye un comportamiento seguro basándose únicamente en observaciones visuales en tiempo real, sin depender de mapas previos ni reglas estáticas.

2. Metodología: El Marco CORE

Los autores proponen CORE (Contextual Safety Reasoning and Enforcement), un marco de seguridad de tres etapas que opera sin conocimiento previo del entorno. El sistema integra un Modelo Visión-Lenguaje (VLM) con control de bajo nivel.

A. Razonamiento de Seguridad Contextual (Inferencia)

Componente: Utiliza un Modelo Visión-Lenguaje (VLM) para analizar las observaciones visuales del robot.
Proceso: El VLM no solo identifica objetos, sino que razona sobre las reglas de seguridad dependientes del contexto.
- Identifica clases semánticas relevantes (ej. "letrero de piso mojado", "conos", "personas").
- Aplica lógica espacial estructurada mediante operadores definidos:
  - ON: Superficies transitables.
  - NEAR: Zonas de colisión física inmediata.
  - AROUND: Zonas de peligro social o ambiental (ej. alrededor de un letrero de peligro).
  - BETWEEN: Áreas prohibidas delimitadas por patrones de objetos (ej. entre una fila de conos).
Salida: Genera restricciones de seguridad en lenguaje natural y justificaciones de razonamiento (Chain-of-Thought) que se estructuran en predicados lógicos.

B. Anclaje Semántico (Grounding)

Desafío: Traducir las restricciones lingüísticas del VLM a conjuntos de seguridad espaciales que el controlador pueda usar.
Proceso:
1. Utiliza un modelo de segmentación de vocabulario abierto (como SAM3) para localizar los objetos mencionados por el VLM en la imagen.
2. Aplica los operadores espaciales (dilatación para AROUND, envolvente convexa para BETWEEN) a las máscaras de segmentación.
3. Proyecta estos conjuntos de píxeles al espacio 3D del mundo físico utilizando datos de profundidad (RGB-D).
4. Construye un mapa de costos (costmap) en una cuadrícula 2D que define regiones seguras e inseguras basándose en la probabilidad de detección.

C. Aplicación de Seguridad Probabilística (Enforcement)

Mecanismo: Utiliza Funciones de Barrera de Control (CBFs) para sintetizar una entrada de control segura.
Innovación: A diferencia de las CBFs tradicionales que asumen una función de barrera fija y conocida, CORE construye la barrera en línea a partir de percepciones ruidosas.
Garantía: Proporciona garantías de seguridad probabilísticas. El sistema modela la incertidumbre de la percepción (fallos de detección del VLM o ruido de profundidad) y asegura que la probabilidad de que el robot salga del conjunto seguro sea menor a un umbral $\delta$ . Esto se logra mediante un análisis de martingalas y la desigualdad de Ville, asegurando que el robot se mantenga seguro incluso si la percepción es imperfecta, siempre que se cumplan ciertas condiciones de inicialización segura.

3. Contribuciones Clave

Módulo de Razonamiento Basado en VLM: Capacidad de inferir restricciones de seguridad contextuales a partir de observaciones visuales sin conocimiento previo del entorno.
Método de Anclaje Semántico: Un pipeline que mapea restricciones de lenguaje natural a conjuntos de seguridad espaciales definidos geométricamente.
Mecanismo de Aplicación con Garantías Probabilísticas: Un formulación de CBF que maneja la incertidumbre de la percepción y ofrece garantías teóricas de seguridad en trayectorias.
Validación Empírica: Demostración en simulación y hardware real de que el sistema supera a los métodos basados en geometría pura y a los que carecen de razonamiento contextual en línea.

4. Resultados Experimentales

Los autores evaluaron CORE en el simulador NVIDIA Isaac Sim (entornos de almacén, hospital y residencial) y en un robot real Boston Dynamics Spot.

Comparativa:
- CORE vs. Oracle (Conocimiento Verdadero): CORE alcanzó un 96.6% de éxito en tareas seguras y un 93.3% en tareas inseguras, rivalizando con un sistema que tiene conocimiento perfecto del contexto.
- CORE vs. Sin Contexto (LLM predefinido): Los métodos que usan reglas fijas o LLMs sin razonamiento visual en línea fallaron en un 43.3% de las tareas inseguras porque no podían inferir nuevas reglas.
- CORE vs. Geométrico (Solo obstáculos): El enfoque puramente geométrico falló en prevenir comportamientos inseguros contextualmente (ej. cruzar una zona prohibida marcada por conos pero físicamente vacía), logrando 0% de éxito en tareas inseguras.
Análisis de Ablación:
- Se demostró que la lógica de seguridad estructurada y el razonamiento paso a paso (Chain-of-Thought) en el VLM son críticos. Sin ellos, la precisión cae drásticamente (de ~90% a ~60% en detección de zonas seguras).
- El modelo Gemma 3 27B mostró el mejor equilibrio entre precisión y latencia para esta tarea.
Garantías Teóricas: Se validó experimentalmente que el sistema cumple con la garantía de seguridad probabilística ( $\delta = 0.1$ ), evitando zonas inseguras en el 93% de los casos en simulación.

5. Significado e Impacto

Este trabajo representa un avance significativo hacia la robótica de mundo abierto.

Autonomía Real: Permite a los robots operar en entornos donde las reglas de seguridad cambian dinámicamente y no pueden ser preprogramadas.
Seguridad Semántica: Transita de la seguridad puramente geométrica (evitar colisiones) a la seguridad semántica (entender por qué algo es peligroso, como un letrero de advertencia o una norma social).
Viabilidad Teórica: Al integrar la incertidumbre de la percepción en las garantías de control (CBFs), el marco ofrece un puente robusto entre la IA generativa (VLMs) y el control formal de seguridad, reduciendo el riesgo de que los errores de percepción del modelo de lenguaje resulten en accidentes físicos.

En resumen, CORE demuestra que es posible dotar a los robots de la capacidad de "pensar" sobre la seguridad en tiempo real basándose en lo que ven, adaptándose a contextos nunca antes vistos con garantías matemáticas de seguridad.