Resumen Técnico: BaTCAVe – Explicaciones Confiables para Comportamientos Robóticos

Declaración del Problema

La robótica moderna depende cada vez más de las redes neuronales profundas (DNN), particularmente para la toma de decisiones y el control de extremo a extremo. Sin embargo, la naturaleza de "caja negra" de estos modelos plantea desafíos significativos para su despliegue en escenarios del mundo real de alto riesgo. Los interesados, incluidos ingenieros y organismos legislativos, carecen de información sobre los procesos de toma de decisiones de estos sistemas, lo que dificulta la depuración, la certificación y la construcción de confianza.

Si bien la IA Explicable (XAI) ha avanzado en el procesamiento de lenguaje natural y la visión computacional, las técnicas existentes se quedan cortas en la robótica por dos razones principales:

1. Falta de Fundamentación (Grounding): Muchos métodos de XAI (por ejemplo, la atribución de características mediante gradientes o el resaltado de píxeles) identifican dónde en una entrada se enfoca una red, pero no logran explicar qué atributos semánticos de alto nivel (conceptos) impulsan acciones robóticas específicas. Resaltar un coche en una imagen no aclara si el modelo reaccionó a su color, forma o movimiento.
2. Ausencia de Evaluación de la Confiabilidad: Los métodos de XAI actuales suelen proporcionar una única explicación sin cuantificar la incertidumbre o la fiabilidad de dicha explicación. En la robótica de seguridad crítica, una explicación que es potencialmente errónea o ambigua es tan peligrosa como la ausencia de una explicación.

Metodología: BaTCAVe

Los autores proponen BaTCAVe (Testing con Vectores de Activación de Conceptos Bayesianos), una técnica explicable post-hoc diseñada para atribuir las decisiones del robot a conceptos de alto nivel interpretables por humanos, proporcionando al mismo tiempo puntuaciones de incertidumbre asociadas.

Componentes Principales

1. Conceptos de Acción ($C_A$): A diferencia de las tareas de clasificación estáticas, la toma de decisiones robótica implica secuencias de acciones. El método define un "concepto de acción" como un comportamiento objetivo específico (por ejemplo, "sujetar un cubo" o "girar a la derecha") extraído de la trayectoria del robot mediante reglas lógicas aplicadas a los vectores de acción a lo largo del tiempo.
2. Conceptos de Entrada ($C_I$): Estos son atributos de alto nivel e interpretables por humanos de las entradas del robot (datos visuales, lingüísticos o propioceptivos), tales como "rojismo", "oscuridad", "distancia" o verbos específicos en un comando. Estos se representan mediante colecciones de entradas representativas (por ejemplo, un conjunto de imágenes que muestran objetos oscuros).
3. Pruebas Bayesianas con CAVs:
   • El método descompone la red neuronal en una capa específica $l$ en un codificador $f_{-l}(\cdot)$ y un decodificador $f_{+l}(\cdot)$.
   • Opera en el espacio de activación de $f_{-l}(\cdot)$.
   • En lugar de encontrar un único límite lineal entre las muestras de activación positivas (concepto presente) y negativas (concepto ausente), BaTCAVe emplea Inferencia Variacional para aprender una distribución probabilística sobre los hiperplanos separadores (Vectores de Activación de Conceptos).
   • Este enfoque trata el vector de dirección $v$ como una variable aleatoria, lo que permite al sistema muestrear múltiples límites de separación válidos.

Puntuación e Incertidumbre

El método calcula una puntuación $s$ que representa la sensibilidad de la decisión del robot a un concepto de entrada específico.

• Puntuación Media ($\bar{s}$): La media empírica de las puntuaciones indica la fuerza de la explicación. Una media alta sugiere que el concepto es un impulsor significativo del comportamiento.
• Incertidumbre (Desviación Estándar): La desviación estándar empírica de las puntuaciones refleja la incertidumbre epistémica.
  • Baja Incertidumbre + Alta Precisión: La explicación es precisa y confiable (Caso 3).
  • Alta Incertidumbre + Alta Precisión: Existen múltiples explicaciones válidas, o los datos de prueba carecen de diversidad (Caso 2).
  • Baja Precisión: El concepto no logra delimitar el comportamiento, lo que hace que la explicación no sea confiable (Caso 1).

Contribuciones Clave

1. Toma de Decisiones Explicable Post-hoc: Una técnica diseñada específicamente para robots equipados con DNN que explica por qué se tomaron acciones específicas basándose en conceptos de alto nivel en lugar de píxeles brutos.
2. Marco de Confiabilidad: Un marco novedoso que utiliza la inferencia variacional para evaluar la fiabilidad de las explicaciones, proporcionando intervalos de incertidumbre que ayudan a los interesados a distinguir entre conocimientos robustos y ambiguos.
3. Descubrimiento de Conceptos a través de Modalidades: La capacidad de descubrir y probar conceptos explicables a través de diversas tareas robóticas (manipulación, navegación, conducción) y modalidades de entrada (imágenes, propiocepción, lenguaje).

Resultados Experimentales

Los autores validaron BaTCAVe a través de cuatro configuraciones experimentales distintas:

1. Navegación de Robot Móvil Basada en Visión (JetBot):

   • Hallazgo: Los ingenieros hipotetizaron inicialmente que el robot había aprendido a evitar obstáculos "naranjas". BaTCAVe reveló que el modelo en realidad dependía de la "oscuridad" (brillo en la escala HSV), ya que la caja naranja era simplemente un tono de oscuridad.
   • Utilidad: El método identificó con éxito que el ajuste fino de la red completa frente a la última capa cambió la dependencia de "naranja" frente a "oscuridad", demostrando su utilidad para la depuración de estrategias de aumento de datos y entrenamiento.

2. Manipulación Propioceptiva (Brazo Panda):

   • Tareas: Levantar Cubo, Recoger y Colocar, Ensamblaje de Tuerca.
   • Hallazgo: Las puntuaciones de BaTCAVe con baja incertidumbre confirmaron que la información precisa del objeto proveniente de los sensores propioceptivos era crítica para el éxito de la tarea. Por ejemplo, en la tarea de "Levantar", la posición vertical del efector final ($\Delta Z$) y el estado de la pinza fueron los conceptos dominantes.

3. Manipulación Visión-Lenguaje:

   • Configuración: Un modelo que procesa imágenes RGB e instrucciones de lenguaje (por ejemplo, "Recoger el cubo").
   • Hallazgo: El método aisló que ciertos verbos en el comando de lenguaje eran los impulsores primarios para las acciones de levantamiento, mientras que los conceptos de imagen mostraron mayor incertidumbre, resaltando la dependencia del modelo en las claves lingüísticas para fases específicas de la tarea.

4. Conducción Autónoma (Simulador Donkey):

   • Hallazgo: El agente dependía fuertemente de "sombras negras" (que representan la carretera) para las decisiones de dirección.
   • Utilidad Diagnóstica: Al aplicar BaTCAVe a diferentes capas, los autores determinaron que los errores en la recuperación de la dirección se originaban en la cabeza de la política (MLP), no en el codificador de imagen (CNN), guiando los esfuerzos de reentrenamiento dirigidos.

Significado y Reivindicaciones

El artículo posiciona a BaTCAVe no como un reemplazo para los modelos inherentemente interpretables, sino como una herramienta de diagnóstico necesaria para las DNN de "caja negra" que dominan actualmente la robótica.

• Confianza y Seguridad: Al cuantificar la incertidumbre, BaTCAVe aborda la brecha crítica en la XAI actual donde las explicaciones se presentan como hechos absolutos. Esto permite a los ingenieros y reguladores evaluar si una explicación es lo suficientemente fiable para decisiones de alto riesgo (por ejemplo, certificar un vehículo autónomo).
• Mejora Iterativa: Los autores afirman que la herramienta ayuda a los robóticos a mejorar iterativamente la robustez de sus modelos al identificar vulnerabilidades en el aumento de datos, el ajuste fino y los cambios de dominio.
• Depuración Centrada en el Humano: A diferencia de los mapas de saliencia a nivel de píxel, BaTCAVe proporciona explicaciones semánticas (por ejemplo, "oscuridad" o "importancia del verbo") que se alinean con la intuición humana, haciendo que el proceso de depuración sea más accionable para los ingenieros.

El trabajo concluye que, si bien los fallos en los modelos robustos son inevitables, herramientas como BaTCAVe son esenciales para comprender el "por qué" detrás de los comportamientos robóticos, facilitando así un despliegue más seguro y confiable.