🤖 AI

SafeBranch: Branch-Pair Safety Alignment for Embodied Agents

SafeBranch es un marco de trabajo que mejora la seguridad de los agentes encarnados basados en modelos de visión y lenguaje mediante el entrenamiento con pares de ramificación derivados de sus propias ejecuciones inseguras, permitiéndoles manejar de manera confiable pasos críticos para la seguridad sin comprometer el éxito de la tarea ni requerir un crítico durante el despliegue.

Autores originales: Hyunse Lee, Jiwoo Jeong, Haneul Lee, Kyochul Jang, Youngjae Yu, Woojin Lee

Publicado 2026-08-21

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Hyunse Lee, Jiwoo Jeong, Haneul Lee, Kyochul Jang, Youngjae Yu, Woojin Lee

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los robots que pueden ver, comprender y desplazarse por nuestros hogares ya no son solo un sueño de la ciencia ficción; se están convirtiendo en una realidad impulsada por modelos informáticos avanzados que procesan tanto imágenes como lenguaje. Estos sistemas pueden seguir instrucciones como "pon el durazno en el plato" y navegar por una cocina para encontrar la fruta y el plato. Sin embargo, existe una brecha crítica entre simplemente completar una tarea y hacerlo de forma segura. Un robot podría colocar con éxito un durazno en un plato, pero si deja la puerta del refrigerador abierta de par en par o coloca la fruta sobre una superficie sucia, ha fallado la prueba más importante de todas: proteger el hogar y a sus habitantes. Este desafío específico, conocido como seguridad interactiva, surge porque las propias acciones del robot cambian el entorno, creando nuevos peligros que no existían antes. Si un robot deja encendido un quemador de la estufa después de cocinar o toca un tomacorriente con las manos mojadas, el peligro es un resultado directo de sus elecciones. La dificultad central radica en que la seguridad no es un requisito constante para cada uno de los movimientos que realiza un robot; más bien, la seguridad se decide en unos pocos momentos críticos donde el robot debe elegir entre un camino seguro y un atajo peligroso.

Durante mucho tiempo, los investigadores intentaron resolver esto añadiendo un guardián de seguridad separado para vigilar al robot en cada paso, como un supervisor humano que interrumpe constantemente para decir "detente" o "corrige eso". Si bien esto funciona, es lento, costoso y deja al propio robot sin cambios y dependiente del guardián. Un enfoque más difícil pero prometedor es enseñar al robot a ser seguro por sí mismo, pero los métodos de enseñanza estándar han tenido dificultades. Simplemente mostrarle a un robot un video de una tarea segura no explica por qué un paso específico fue seguro, y comparar un camino seguro con un camino inseguro completamente diferente suele confundir al robot porque los dos caminos difieren en demasiadas cosas. Los investigadores detrás de un nuevo marco llamado SafeBranch se dieron cuenta de que, para aprender verdaderamente la seguridad, un robot necesita ver dos versiones de la misma situación exacta: una donde toma una decisión segura y otra donde toma una decisión peligrosa, permaneciendo todo lo demás idéntico.

Para lograr esto, el equipo desarrolló un método ingenioso para crear estos momentos de enseñanza específicos a partir de los propios errores del robot. En lugar de esperar a que un robot falle y luego esperar encontrar una alternativa segura, dejaron que el robot intentara una tarea y, cuando cometía un movimiento peligroso, rebobinaban la simulación exactamente al momento en que ocurrió el error. En ese punto preciso, le pedían al robot que lo intentara de nuevo, esta vez con una pista sobre el peligro que acababa de crear. El robot entonces genera una acción segura para reemplazar la acción peligrosa. Al emparejar la acción insegura original con esta nueva acción segura, y asegurar que ambas comiencen desde el mismo estado exacto, los investigadores crearon un "par de ramificación" (branch pair). Este par aísla la decisión única que importa, mostrándole al robot que, en este contexto específico, una elección conduce a la seguridad y la otra a un peligro. Luego utilizaron un proceso de entrenamiento para enseñar al robot a elegir consistentemente la rama segura, internalizando efectivamente las lecciones de seguridad para que el guardián externo ya no sea necesario.

Los resultados de este enfoque fueron sorprendentes cuando se probaron en una variedad de tareas domésticas que involucraban objetos no vistos y escenarios nuevos. En las pruebas estándar, los robots que no habían sido entrenados con este método completaban las tareas de forma segura solo un 3 por ciento de las veces. Después de entrenar con el método SafeBranch, los robots completaron las tareas de forma segura casi el 28 por ciento de las veces, una mejora de diez veces. Lo que es más importante, cuando los robots enfrentaban objetos completamente nuevos que nunca habían visto antes, los robots no entrenados eran seguros solo el 5 por ciento de las veces, mientras que los robots entrenados con SafeBranch lograron la seguridad en casi el 47 por ciento de los intentos. Crucialmente, los robots no se volvieron excesivamente cautelosos ni se negaron a realizar el trabajo; aprendieron a tomar los riesgos necesarios para terminar el trabajo mientras evitaban los pasos específicos que causaban daño. A diferencia de otros métodos que requieren un módulo de seguridad separado que se ejecute en segundo plano durante cada paso, los robots entrenados con SafeBranch operan de forma independiente, llevando el conocimiento de seguridad dentro de su propio proceso de toma de decisiones.

Este trabajo demuestra que la seguridad en los robots no es una cuestión de añadir más reglas o controles externos, sino de enseñar al agente a reconocer el momento preciso donde una elección importa. Al construir datos de entrenamiento que contrastan acciones seguras e inseguras en el mismo contexto, los investigadores demostraron que los robots pueden navegar por el complejo y cambiante mundo de un hogar humano sin supervisión constante. El método resultó efectivo en diferentes tipos de peligros, desde descargas eléctricas y riesgos de incendio hasta contaminación de alimentos y peligros de tropiezo, lo que sugiere un camino sólido hacia el despliegue de robots útiles que puedan ser confiables para actuar de forma segura por sí mismos.

Resumen Técnico: SafeBranch

Planteamiento del Problema

Los agentes corpóreos basados en modelos de visión y lenguaje (VLM) son capaces de ejecutar tareas de múltiples pasos en entornos interactivos, pero frecuentemente violan las restricciones de seguridad durante la ejecución. Este problema, denominado seguridad interactiva, surge porque las propias acciones del agente pueden crear peligros emergentes (por ejemplo, dejar una estufa encendida, tocar un enchufe con las manos mojadas). A diferencia de las restricciones de seguridad estáticas, los peligros de seguridad interactiva se concentran en un conjunto disperso de pasos críticos para la seguridad dentro de una trayectoria. En estos puntos de decisión específicos, la elección del agente determina si la trayectoria se bifurca hacia un resultado seguro o inseguro.

Los enfoques existentes enfrentan dos limitaciones principales:

Barandillas en tiempo de inferencia (Inference-time Guardrails): Los métodos que utilizan verificadores de seguridad externos o planificadores de búsqueda para bloquear o revisar acciones en cada paso añaden una sobrecarga de despliegue y dejan inalterado al actor subyacente.
Supervisión Estándar:
- Imitación (SFT): Entrenar en trayectorias seguras enseña qué hacer, pero no explica por qué una alternativa era insegura, lo que conduce a una aplicación sin contexto de los comportamientos seguros.
- Preferencia a nivel de trayectoria (DPO): Contrastar trayectorias completas, seguras e inseguras mezcla la señal de seguridad con diferencias irrelevantes a través de muchos pasos, fallando al aislar el punto de decisión específico donde se determinó la seguridad.

El desafío central es proporcionar una supervisión que contraste explícitamente acciones seguras e inseguras en el mismo paso crítico para la seguridad (mismo contexto, diferentes acciones) para enseñar al agente la señal de seguridad a nivel de paso.

Metodología: SafeBranch

Los autores proponen SafeBranch, un marco que construye pares de ramificación (branch pairs) a partir de las propias ejecuciones (rollouts) inseguras del actor y alinea al actor mediante Optimización de Preferencia de Ramificación (BranchPO).

1. Construcción de Pares de Ramificación mediante Reversión del Entorno (Rollback)

Dado que los entornos interactivos naturales no proporcionan dos trayectorias que diverjan en un solo paso, SafeBranch las sintetiza:

Reversión (Rollback): Cuando ocurre una violación de seguridad en una ejecución del agente, un crítico de seguridad (un LLM externo) identifica la restricción violada y el paso específico ( $h_k$ ) donde se tomó la decisión.
Reparación (Repair): El entorno se revierte al paso $h_k$ . Luego, se consulta al actor para obtener una alternativa segura ( $y^+$ ) condicionada al contexto original $h_k$ más la retroalimentación del crítico ( $f_k$ ).
Relabeling de Perspectiva (Hindsight Relabeling): Para asegurar que el actor aprenda la seguridad a partir del contexto y no de la pista de retroalimentación, se elimina la retroalimentación del crítico ( $f_k$ ) del prompt de entrenamiento. El par de ramificación resultante consiste en la acción insegura original ( $y^-$ ) y la acción segura reparada ( $y^+$ ), ambas condicionadas al mismo contexto $h_k$ .
Filtrado: Un LLM juez filtra los pares para asegurar que la acción segura esté justificada por el contexto, sea ejecutable y resuelva la restricción.

2. Optimización de Preferencia de Ramificación (BranchPO)

El marco entrena al actor utilizando un objetivo de aprendizaje de preferencia adaptado para la alineación a nivel de paso. Dado un conjunto de datos de pares de ramificación $D_{branch}$ , el objetivo maximiza el margen de log-probabilidad entre la acción segura y la acción insegura en el mismo paso ancla:
$\mathcal{L}_{BranchPO} = -\mathbb{E}_{D_{branch}} \left[ \log \sigma(\beta(r^+_\theta - r^-_\theta)) \right]$
donde $r_\theta(h, y) = \log \pi_\theta(y|h) - \log \pi_{ref}(y|h)$ . Esto internaliza los juicios de seguridad del crítico en el propio actor.

3. Despliegue

A diferencia de los métodos en tiempo de inferencia, el actor entrenado se despliega sin el crítico (critic-free). Maneja situaciones críticas de seguridad de forma autónoma sin módulos externos, mecanismos de reversión o bucles de retroalimentación durante el tiempo de ejecución.

Principales Contribuciones

Formulación de la Seguridad Interactiva como un Problema a Nivel de Paso: El artículo identifica que la alineación de seguridad requiere aislar la decisión en los pasos críticos para la seguridad, en lugar de optimizar sobre trayectorias completas.
Marco SafeBranch: Un método novedoso para construir pares de ramificación de mismo estado mediante la reversión de ejecuciones inseguras y la obtención de alternativas seguras, resolviendo el problema de la escasez de datos para la supervisión de seguridad a nivel de paso.
Objetivo BranchPO: Un objetivo de optimización de preferencia diseñado específicamente para entrenar actores en estos pares de ramificación, internalizando las restricciones de seguridad.
Despliegue Sin Crítico: El método traslada el costo del crítico de seguridad del tiempo de ejecución (inferencia) al entrenamiento, resultando en un actor independiente que actúa de forma segura sin intervención externa.

Resultados Experimentales

El método fue evaluado en IS-Bench, SafetyALFRED y variantes fuera de la distribución (OOD) que involucran tareas y objetos no vistos.

Ganancias de Rendimiento:
- En IS-Bench, SafeBranch aumentó la Tasa de Éxito Seguro (SSR) de 0.031 (línea base sin entrenar) a 0.281.
- En la variante OOD-ObjectShift (objetos no vistos), la SSR mejoró de 0.048 a 0.355.
- En la variante OOD-TaskShift (tareas no vistas), la SSR mejoró de 0.048 a 0.469.
- En SafetyALFRED, la precisión de peligros aumentó de 0.274 a 0.438.
Comparación con Líneas Base:
- SafeBranch superó a las líneas base de tiempo de inferencia (Self-Verification, Lookahead) que no lograron generalizar a entornos OOD.
- Superó significativamente a las variantes estándar de aprendizaje de preferencias (Trayectoria DPO, solo SFT), que tuvieron dificultades para concentrar la señal de seguridad en los puntos de decisión correctos.
Eficiencia: El flujo de construcción de pares de ramificación genera pares utilizables aproximadamente 5.2 veces más rápido que el muestreo natural de "best-of-N" bajo presupuestos de cómputo equivalentes.
Ablación: Eliminar el hindsight relabeling (manteniendo la retroalimentación del crítico en el entrenamiento) causó que el modelo fallara en el despliegue cuando la retroalimentación estaba ausente, confirmando la necesidad de internalizar la señal de seguridad.

Significado y Reivindicaciones

El artículo afirma que SafeBranch ofrece una ruta eficiente en datos para la internalización de la seguridad interactiva. Al enmarcar la seguridad como un problema de ramificación a nivel de paso y construir pares de ramificación específicos, el método permite que los agentes corpóreos aprendan dónde y cómo actuar de forma segura sin sacrificar el éxito de la tarea.

Los autores enfatizan que este enfoque mueve la alineación de seguridad de un proceso externo dependiente del tiempo de ejecución a una capacidad interna del actor. Los resultados sugieren que entrenar en pares de ramificación de mismo estado es esencial para aprender la señal de seguridad a nivel de paso, una capacidad que la supervisión estándar a nivel de trayectoria no logra proporcionar. El método alcanza un rendimiento de seguridad de vanguardia en configuraciones in-distribution, fuera de la distribución y de entornos de simulación cruzados, eliminando la necesidad de módulos de seguridad externos durante el despliegue.