An Abstract Architecture for Explainable Autonomy in Hazardous Environments

Resumen Técnico: Una Arquitectura Abstracta para la Autonomía Explicable en Entornos Peligrosos

Planteamiento del Problema
Se propone cada vez más el uso de sistemas robóticos autónomos en entornos peligrosos (p. ej., instalaciones nucleares, clima extremo) para mitigar los riesgos para los trabajadores humanos. Sin embargo, la integración de la autonomía en sectores críticos para la seguridad, como la industria nuclear, requiere que estos sistemas sean "demostrablemente confiables" tanto para los operadores como para los reguladores. La literatura reciente indica que la explicabilidad está estrechamente vinculada con la transparencia y la confiabilidad. Existe una brecha crítica en las prácticas de ingeniería actuales: la explicabilidad suele tratarse como una característica añadida en lugar de un principio de diseño central. Además, existe una falta de plantillas arquitectónicas estandarizadas que permitan a los sistemas autónomos justificar sus decisiones ante los humanos, particularmente en lo que respecta tanto a acciones pasadas como a inacciones futuras (es decir, por qué un sistema no puede realizar una tarea solicitada).

Metodología
Los autores proponen una arquitectura abstracta diseñada para integrar la explicabilidad directamente en el bucle de toma de decisiones de los sistemas autónomos. La metodología se basa en los siguientes componentes centrales y decisiones de diseño:

• Ejecutivo Central: La arquitectura dirige toda la información del sistema a través de un "Ejecutivo Central". Este componente actúa como un núcleo, asegurando que los datos necesarios para la explicación estén siempre disponibles cuando se necesiten. Evita los silos de información donde la toma de decisiones ocurre de forma separada de los componentes responsables de generar las explicaciones.
• Enfoque de IA Híbrida: El Ejecutivo Central utiliza un agente de Creencia-Deseo-Intención (BDI, por sus siglas en inglés) para la toma de decisiones ejecutivas de alto nivel. Este es un enfoque de IA simbólica donde el agente interpreta los datos del entorno en enunciados lógicos (creencias), los alinea con objetivos a largo plazo (deseos) y selecciona planes (intenciones) de manera racional.
  • Restricción de la IA Subsimbólica: La inteligencia artificial o las redes neuronales se restringen a funciones granulares de bajo nivel (p. ej., clasificación de visión) en lugar de decisiones ejecutivas de alto nivel. Esta separación asegura que la lógica de decisión central sea inspeccionable y verificable.
• Explicación de Doble Modo: La arquitectura soporta dos modos distintos de explicación:
  1. Acción Pasada: Justificar decisiones ya tomadas (p. ej., "¿Por qué tomaste la ruta A?"). El componente Explicador accede al rastro de eventos, creencias y selección de planes del agente BDI para construir una narrativa causal.
  2. Inacción Futura: Explicar por qué un sistema no puede o no quiere realizar una acción solicitada (p. ej., "¿Por qué no puedes ir allí?"). Esto implica una capacidad de "simulación previa" (dry-run) donde el Explicador activa el ciclo de razonamiento del agente para evaluar la viabilidad de una instrucción específica frente a las reglas de seguridad y las creencias actuales, proporcionando una justificación preventiva.
• Integración de Verificación: Al utilizar un agente BDI, el sistema aprovecha los Métodos Formales (MF). Específicamente, la arquitectura es compatible con herramientas como el Agent Java PathFinder (AJPF) y el lenguaje Gwendolen, permitiendo la verificación exhaustiva de las decisiones ejecutivas frente a propiedades de lógica temporal antes de su despliegue.

Contribuciones Clave

1. Arquitectura Abstracta: El artículo presenta un diseño agnóstico a la plataforma (compatible con marcos de trabajo basados en nodos como ROS) que separa el razonamiento simbólico de alto nivel de la percepción/actuación de bajo nivel, dirigiendo todos los datos a través de un Ejecutivo Central.
2. Definición de Autonomía Explicable: Los autores definen la "autonomía explicable" como un sistema capaz de justificar sus decisiones a los humanos utilizando técnicas tanto simbólicas como subsimbólicas, centrándose específicamente en las consultas de "¿Por qué?" y "¿Por qué no?".
3. Ejemplo de Trabajo: Se proporciona un escenario detallado que involucra un rover con ruedas en un almacén de desechos nucleares. El ejemplo demuestra cómo la arquitectura gestiona una acción pasada (el desvío debido a un obstáculo) y una inacción futura (rechazar una orden de acercarse demasiado a una fuente de radiación) aprovechando el estado lógico del agente BDI.
4. Diseño Centrado en los Interesados: El artículo enfatiza que los requisitos de explicabilidad deben ser extraídos de todos los interesados (operadores, reguladores) y adaptados al contexto (p. ej., operaciones de emergencia frente a operaciones nominales), en lugar de asumir un formato de explicación único para todos.

Resultados y Reivindicaciones
El artículo no presenta resultados experimentales empíricos ni un sistema totalmente implementado con estudios de usuario. En su lugar, los "resultados" son teóricos y arquitectónicos:

• La arquitectura propuesta demuestra con éxito cómo un agente BDI puede justificar lógicamente tanto los planes ejecutados como los planes rechazados.
• La integración del Explicador con el Agente BDI permite la generación de explicaciones basadas en el estado lógico interno del agente (creencias e intenciones), en lugar de un análisis post-hoc de salidas de caja negra.
• La capacidad de "simulación previa" para la inacción futura se identifica como un mecanismo para verificar el cumplimiento de las reglas de seguridad antes de la ejecución, ofreciendo un método para generar confianza en las propiedades de seguridad del sistema.

Significancia
El artículo se posiciona como un "artículo de visión" que proporciona una plantilla de diseño para la comunidad de ingeniería. Su importancia radica en:

• Cambio de Paradigma: Argumentar que la explicabilidad debe ser "diseñada dentro" del sistema desde el principio, de manera similar a las propiedades de seguridad y protección, en lugar de añadirse posteriormente.
• Puente entre Confianza y Verificación: Conectar el concepto de explicabilidad con la verificación formal. Al utilizar agentes BDI simbólicos, las decisiones del sistema pueden verificarse matemáticamente, y estas propiedades verificadas pueden traducirse a lenguaje natural para los interesados.
• Relevancia Regulatoria: Abordar las necesidades específicas de industrias cautelosas y críticas para la seguridad (como el sector nuclear) donde los reguladores y los trabajadores requieren procesos de toma de decisiones transparentes y justificables para confiar en los sistemas autónomos.

Los autores concluyen que el trabajo futuro implica implementar esta arquitectura utilizando el Lenguaje de Análisis y Diseño de Arquitectura (AADL) y desarrollar más métodos para extraer requisitos de explicabilidad específicos de diversos interesados.