Pre-Execution Safety Gate & Task Safety Contracts for LLM-Controlled Robot Systems

Resumen Técnico: SafeGate – Puerta de Seguridad Pre-ejecución y Contratos de Seguridad de Tareas para Sistemas Robóticos Controlados por LLM

1. El Problema

Los modelos de lenguaje grandes (LLM) se utilizan cada vez más para convertir comandos en lenguaje natural en código ejecutable por robots. Sin embargo, este enfoque presenta dos vulnerabilidades críticas de seguridad:

• Falta de validación pre-ejecución: No existen mecanismos de "puerta de seguridad" (gates) que detecten comandos inseguros o defectuosos antes de que se traduzcan en código robótico. Los LLM tienden a generar planes para cualquier instrucción, sin discriminar entre órdenes seguras y peligrosas.
• Transiciones de estado inseguras: Incluso comandos que parecen seguros inicialmente pueden generar transiciones de estado peligrosas durante la ejecución si no hay una monitorización continua de restricciones.
• Limitaciones de enfoques existentes: Las técnicas de verificación basadas en restricciones (lógica temporal) suelen ser "ciegas" a riesgos no previstos por el ingeniero y no impiden que comandos claramente peligrosos entren en el pipeline de planificación.

2. Metodología: Arquitectura Neurosimbólica SafeGate

Los autores proponen SafeGate, una arquitectura neurosimbólica de seis etapas diseñada para interceptar, analizar y validar comandos antes de su ejecución. El sistema se basa en los estándares de seguridad ISO 13482 y ISO 12100.

El flujo de trabajo se divide en dos fases: Pre-ejecución (Etapa 1-4) y Ejecución (Etapa 5-6).

• Etapa 1: Matriz de Análisis de Peligros (Hazard Analysis Matrix):

  • El LLM analiza el comando junto con el contexto de la escena (objetos, layout) y el perfil del usuario.
  • Realiza un análisis en tres niveles (Tarea, Entorno, Usuario) cruzado con cuatro categorías de peligros (Físico, Psicológico, Operacional, Consecuencial).
  • Genera un informe de peligros y detecta "desconocidos" (información crítica faltante).

• Etapa 2: Capa de Vinculación de Peligros (Hazard Binding Layer):

  • Traduce el informe de peligros a una plantilla formal estructurada utilizando una Biblioteca de Plantillas de Peligros (HTL) derivada de normas ISO.
  • Si un peligro no tiene una plantilla correspondiente, se marca como "no vinculado", activando un mecanismo de extensión o deferencia.

• Etapa 3: Puerta de Decisión Determinista (Deterministic Decision Gate):

  • Toma las salidas de las etapas anteriores y aplica una lógica de prioridad para emitir una de tres decisiones:
    1. AUTORIZAR: Si todos los peligros son prevenibles y la información es completa.
    2. DEFERIR: Si hay peligros de severidad crítica no prevenibles, peligros no mapeados o información crítica faltante (pregunta al usuario).
    3. RECHAZAR: Si existen peligros inevitables (ej. "lanzar un cuchillo a una persona").

• Etapa 4: Compilación de Contratos de Seguridad de Tareas (Task Safety Contracts):

  • Para las tareas autorizadas, se genera un contrato formal $C = (I_C, G_C, A_C)$:
    • Invariante ($I_C$): Condiciones que deben mantenerse en cada estado.
    • Guardias ($G_C$): Precondiciones necesarias antes de una acción específica.
    • Condiciones de Aborto ($A_C$): Causas para detener la ejecución inmediatamente.

• Etapa 5: Verificación Estática del Plan:

  • Utiliza el solucionador Z3 SMT para verificar simbólicamente si el plan generado cumple con el contrato de seguridad antes de ejecutar cualquier acción física. Si falla, se intenta reparar o se rechaza.

• Etapa 6: Monitorización en Tiempo de Ejecución:

  • Durante la ejecución real, el sistema verifica las guardias antes de cada acción y los invariantes después. Cualquier violación detiene el robot inmediatamente (estado de absorción).

3. Contribuciones Clave

1. Puerta de Seguridad Pre-ejecución Neurosimbólica: Un sistema que combina la capacidad de razonamiento de LLM con lógica determinista para interceptar comandos inseguros, basándose en estándares de seguridad industrial.
2. Contratos de Seguridad de Tareas: Una especificación formal que descompone los comandos autorizados en invariantes, guardias y condiciones de aborto, permitiendo una verificación rigurosa mediante Z3.
3. Nuevo Benchmark de Evaluación: Creación de un conjunto de datos con 230 tareas anotadas por expertos, cubriendo manipulación, navegación y asistencia, con niveles de complejidad variable, para evaluar la detección de peligros y la toma de decisiones.

4. Resultados Experimentales

El sistema se evaluó contra marcos existentes (SELP, RoboGuard) y LLMs base (GPT-4o, Gemini) en 230 tareas de benchmark, 30 escenarios en simulación (AI2-THOR) y experimentos con robots reales.

• Rendimiento en Benchmark (230 tareas):

  • SafeGate logró una tasa de aceptación de tareas seguras (AR-S%) del 92.8% y una tasa de aceptación de tareas inseguras (AR-U%) del 0.0%.
  • Los LLMs base (GPT-4o, Gemini) lograron un 0% de aceptación de tareas inseguras, pero sufrieron de una tasa de deferencia excesiva (DR-S%) (48.2% y 79.5% respectivamente), bloqueando tareas seguras rutinarias por precaución.
  • Los sistemas basados en restricciones (SELP, RoboGuard) autorizaron entre un 26% y 39% de las tareas inseguras, fallando en detectar riesgos complejos o información faltante.
  • SafeGate obtuvo el F1-score más alto (97.1%), equilibrando precisión y recuperación.

• Simulación AI2-THOR:

  • SafeGate logró una tasa de fallos (Crash Rate) del 0% en todas las categorías, incluyendo razonamiento de peligros compuestos, información incompleta y estados consecuentes.
  • RoboGuard falló completamente en tareas de información incompleta y consecuentes (100% de fallos), ya que sus reglas predefinidas no podían inferir riesgos no explícitos.

• Robots Reales:

  • Se demostró la efectividad de los contratos de seguridad para detener ejecuciones inseguras en tiempo real y la capacidad del sistema para solicitar al usuario la creación de nuevas plantillas de peligros para casos no mapeados.

5. Significado e Impacto

Este trabajo es fundamental porque cierra la brecha crítica entre la generación de planes por LLM y la ejecución segura en el mundo físico.

• Cambio de Paradigma: Pasa de "verificar después de generar" a "validar antes de entrar al pipeline", evitando que comandos peligrosos generen código.
• Robustez: Demuestra que es posible mantener una alta tasa de éxito en tareas útiles (92.8%) sin comprometer la seguridad (0% de tareas inseguras ejecutadas), algo que los enfoques puramente basados en LLM o puramente basados en restricciones no logran simultáneamente.
• Adaptabilidad: La capacidad de detectar información faltante y deferir al usuario, o extender la biblioteca de peligros, hace que el sistema sea viable para entornos domésticos dinámicos y abiertos.

En conclusión, SafeGate establece un nuevo estándar para la seguridad en robótica asistida por IA, proporcionando un marco verificable y determinista que permite la adopción segura de LLMs en aplicaciones robóticas críticas.