Resumen Técnico: SETA – Atribución Estadística de Fallos para Sistemas de IA Compuestos

1. Declaración del Problema

Los sistemas de IA modernos se están diseñando cada vez más como Sistemas de IA Compuestos (CAS): pipelines complejos que comprenden modelos especializados, recuperadores y componentes de software en lugar de redes monolíticas. Si bien esta modularidad ayuda al desarrollo, introduce desafíos significativos en las pruebas, la depuración y la garantía de seguridad. Los fallos pequeños y localizados en los componentes ascendentes (por ejemplo, deriva de datos, mala calibración del modelo) pueden propagarse a través del pipeline, provocando fallos catastróficos a nivel de sistema.

Las técnicas actuales de pruebas de robustez enfrentan dos limitaciones primarias:

1. Pruebas de Extremo a Extremo (E2E): Tratan al sistema como una caja negra. Aunque pueden identificar que ocurrió un fallo, no pueden atribuir el fallo a componentes internos específicos.
2. Pruebas de Componentes Aislados (ICT): Prueban los módulos de forma aislada, pero no logran detectar fallos emergentes derivados de las interacciones dinámicas entre módulos ni analizar cómo se propagan los errores a través del pipeline.

Las herramientas existentes (por ejemplo, ataques adversarios como FGSM, herramientas de verificación formal como Reluplex, o herramientas basadas en cobertura como DeepXplore) están diseñadas mayoritariamente para modelos de red única. Carecen de la capacidad de realizar una localización de fallos de grano fino dentro de pipelines compuestos o de explicar por qué ocurrió un fallo dentro del contexto de ejecución. Además, el "problema del oráculo de prueba" —la dificultad de definir salidas exactas y correctas para los componentes intermedios sin una verdad de referencia (ground truth)— sigue siendo una barrera.

2. Metodología: El Marco de Trabajo SETA

Los autores proponen SETA (Atribución Estadística de Fallos), un marco modular que combina Pruebas Metamórficas (MT) con Análisis de Traza de Ejecución. SETA opera sin requerir oráculos de verdad de referencia explícitos, definiendo especificaciones de comportamiento mediante relaciones metamórficas.

2.1 Relaciones Metamórficas (MRs) como Pseudo-Oráculos

SETA aborda el problema del oráculo verificando la preservación de propiedades especificadas por el usuario (Relaciones Metamórficas) a través de transformaciones de entrada, en lugar de comprobar pares individuales de entrada-salida.

• Definición: Una MR especifica la relación esperada entre la salida de un sistema para una entrada fuente $x$ y una entrada perturbada $\tilde{x} = g(x)$.
• Formulación Genérica: Las relaciones se definen utilizando la delta de Kronecker ($\delta$) para restricciones de igualdad y funciones escalón de Heaviside ($H$) para restricciones de desigualdad.
• MRs Específicas de Tareas: El marco define MRs para cuatro tareas clave de visión:
  • Clasificación de Imágenes: Invarianza de etiquetas o diferencias acotadas en la norma $L_\infty$ de las distribuciones de probabilidad bajo transformaciones espaciales.
  • Localización de Objetos: Restricciones sobre la Intersección sobre Unión (IoU) entre las cajas delimitadoras predichas y las de verdad de referencia.
  • Detección de Objetos: Una combinación de restricciones de clasificación y localización aplicadas a conjuntos de objetos detectados.
  • Segmentación de Imágenes: Equivalencia a nivel de píxel o restricciones de solapamiento relajadas basadas en IoU para máscaras semánticas.
• Relaciones Metamórficas Compuestas (CMRs): Para componentes complejos, múltiples MRs individuales se combinan mediante conjunción lógica (operador de producto) para formar una única puntuación compuesta ($S_i$). Un componente se considera correcto solo si todas las relaciones constituyentes se cumplen.

2.2 Análisis de Traza de Ejecución Basado en Estados

SETA modela el sistema de IA compuesto como un sistema de transición de estados donde los estados representan módulos computacionales.

• Árbol de Traza de Ejecución ($T(x)$): Durante la inferencia, el marco instrumenta el sistema para registrar un grafo de ejecución dinámico. Para cada entrada $x$ y su variante perturbada $\tilde{x}$, construye un árbol que captura:
  • Módulos activados.
  • Tensores de entrada/salida.
  • Decisiones de enrutamiento (qué módulos descendentes son invocados).
  • Resultados de la función de puntuación ($S_q$) comparando las ejecuciones de referencia y la perturbada.
• Alineación de Trazas: El marco alinea la traza de la entrada perturbada contra la traza de referencia para detectar desviaciones en los conjuntos de activación (por ejemplo, un módulo activado en una pero no en la otra) o inconsistencias en la salida.

2.3 Atribución Estadística de Fallos

Para distinguir entre el primer punto de fallo y la causa raíz (que puede ser un error ascendente que se propagó), SETA emplea un mecanismo de atribución estadística.

• Puntuación de Contribución de Fallo (FC) Score: El marco define una variable aleatoria $Z_i$ que representa la desviación de un módulo $i$. La puntuación FC para el módulo $i$ es la desviación esperada condicionada a un fallo del sistema:
  $$FC_i = E_{(x, \tilde{x}) \sim D} [Z_i \cdot \mathbb{I}(S(x, \tilde{x}) = 0)]$$
  Esto mide con qué frecuencia un componente viola su especificación dado que todo el sistema falló.
• Pesos de Atribución: Las puntuaciones se normalizan a través de todos los módulos para derivar pesos de atribución ($\alpha_i$) interpretables, cuantificando la contribución relativa de cada componente a la falta de fiabilidad del sistema.
• Algoritmo: El proceso implica iterar a través de un conjunto de datos y un conjunto de perturbaciones, registrando trazas, computando puntuaciones a nivel de sistema y agregando desviaciones para producir un vector de atribución normalizado.

3. Contribuciones Clave

1. Marco Modular: Propone SETA, integrando Pruebas Metamórficas con Análisis de Traza de Ejecución para localizar fallos en pipelines de IA complejos mediante el rastreo empírico de la propagación de perturbaciones.
2. Especificaciones Libres de Oráculo: Soporta abstracciones escalables y testeables para modelos de caja negra mediante la definición de especificaciones de comportamiento vía relaciones metamórficas.
3. Extensibilidad: Debido a su diseño modular, los usuarios pueden definir e integrar diferentes clases de relaciones metamórficas, apoyando la interpretabilidad en sistemas opacos.
4. Análisis de Grano Fino: Demuestra la capacidad de señalar el origen de los fallos y exponer vulnerabilidades ocultas en pipelines de múltiples etapas donde las herramientas tradicionales fallan.

4. Resultados Experimentales

El marco fue evaluado en dos sistemas distintos:

1. Sistema de Visión de Inspección de Vías Ferroviarias Autónomo: Un sistema del mundo real con 6 módulos (1 detector de objetos, 5 clasificadores) que procesa imágenes ferroviarias.
   • Configuración: Probado contra 15 técnicas de corrupción de imágenes (por ejemplo, niebla, nieve, desenfoque de movimiento) de la librería imagecorruptions.
   • Hallazgos: SETA identificó con éxito que el módulo de detección de objetos ($f_0$) era altamente sensible a la niebla y al desenfoque de movimiento, mientras que los clasificadores descendentes mostraron una robustez variable. Computó puntuaciones de atribución ($\alpha_i$) que destacaron módulos específicos (por ejemplo, $f_1$ y $f_3$) como contribuyentes primarios a los fallos del sistema bajo perturbaciones específicas.
2. Modelo de Clasificación de Conjunto (Ensemble) (CIFAR-10): Una comprobación de coherencia utilizando un conjunto de CNNs (ResNet18, VGG16, Custom CNN).
   • Hallazgos: Las precisiones predichas por SETA para los modelos individuales estuvieron dentro de un rango de 2-3% de las precisiones reales, identificando correctamente a la "Custom CNN" como el modelo con peor desempeño.
3. Sistema OCR: Un pipeline basado en texto utilizando EasyOCR.
   • Hallazgos: El marco fue adaptado utilizando la distancia de Levenshtein como la relación metamórfica. Logró cuantificar la robustez y atribuir los fallos a módulos específicos basados en desviaciones de secuencias de texto, demostrando la aplicabilidad más allá de los pipelines de visión.

5. Significación y Reivindicaciones

El artículo posiciona a SETA como una prueba de concepto para diagnosticar fallos emergentes en sistemas de IA compuestos. Su importancia radica en cerrar la breancia entre las pruebas de extremo a extremo y las pruebas de componentes aislados.

• Precisión Diagnóstica: A diferencia de las herramientas que solo detectan que ocurrió un fallo, SETA proporciona una atribución estadística de qué módulo es el más responsable, guiando a los ingenieros hacia los submódulos vulnerables.
• Escalabilidad: Al utilizar relaciones metamórficas, evita la necesidad de oráculos de verdad de referencia, lo que lo hace aplicable a pipelines complejos del mundo real donde la verdad de referencia intermedia no está disponible.
• Limitaciones y Trabajo Futuro: Los autores reconocen modestamente que la atribución actual es correlacional, no causal. Las puntuaciones altas indican una asociación con el fallo, pero no prueban definitivamente la causalidad. La precisión depende de la completitud de las relaciones metamórficas diseñadas a mano. El trabajo futuro apunta a integrar la inferencia causal, la síntesis de programas para la generación automática de MR y la extensión a sistemas multimodales y de aprendizaje por refuerzo.

En resumen, SETA establece una base para las pruebas composicionales y la localización de fallos explicable, ofreciendo un enfoque sistemático para asegurar la fiabilidad de los sistemas de IA complejos y de múltiples componentes.