xaitimesynth: A Python Package for Evaluating Attribution Methods for Time Series with Synthetic Ground Truth

El artículo presenta xaitimesynth, un paquete de Python de código abierto que facilita la evaluación de métodos de atribución para series temporales mediante la generación de datos sintéticos con verdad fundamental conocida y métricas de localización estandarizadas.

Lo esencial

Imagina que eres un detective que intenta resolver un misterio: ¿Por qué tomó una inteligencia artificial (IA) una decisión específica?

En el mundo de los datos, a veces la IA mira una serie de números que cambian con el tiempo (como el ritmo cardíaco de un paciente o las acciones de una empresa) y dice: "¡Esto es peligroso!" o "¡Esto es seguro!". Las herramientas de explicación (llamadas métodos de atribución) son como una lupa que intenta señalar: "¡Mira! La IA se fijó en este momento exacto del tiempo para tomar esa decisión".

El problema es: ¿Cómo sabes si la lupa está funcionando bien?

En la vida real, no tenemos una "respuesta correcta" escrita en el libro. No sabemos con certeza qué segundo exacto hizo que la IA pensara "peligro". Es como intentar adivinar por qué alguien eligió una canción sin poder escuchar lo que pensó.

Aquí es donde entra xaitimesynth, la herramienta que presenta este artículo.

La Analogía del "Laboratorio de Falsos"

Para probar si tu lupa (la herramienta de explicación) funciona, necesitas un escenario donde tú sepas la verdad desde el principio.

Los investigadores dicen: "Vamos a crear un mundo falso, pero controlado".

1. El Fondo: Imagina que creas una canción de fondo con ruido estático (como la lluvia en una ventana).
2. El Secreto: Luego, en un momento específico y conocido por ti (por ejemplo, justo a los 30 segundos), escondes un sonido muy claro, como un silbido agudo.
3. La Prueba: Le das esta canción a la IA y le preguntas: "¿Qué parte te hizo pensar que esto era especial?".
4. La Verificación: Si la herramienta de explicación señala correctamente esos 30 segundos, ¡es un buen detective! Si señala la lluvia, ¡está fallando!

xaitimesynth es el "kit de construcción" que hace todo esto automáticamente para los investigadores. Antes, cada científico tenía que construir su propio laboratorio de falsos desde cero, lo cual era lento y desordenado. Ahora, todos pueden usar la misma caja de herramientas.

¿Qué hace exactamente esta caja de herramientas?

Imagina que xaitimesynth es como un chef de cocina muy organizado que prepara ingredientes para una prueba de sabor:

• El Menú (Configuración): Puedes decirle al chef: "Quiero 100 platos. En la mitad, esconde un trozo de chocolate en el minuto 5. En la otra mitad, esconde una fresa en el minuto 10". El chef lo hace todo por ti.
• La Receta (API y YAML): Puedes escribir las instrucciones de forma sencilla, como si estuvieras llenando un formulario, o incluso guardarlas en un archivo de texto (YAML) para compartirlas con tus amigos científicos. Así, todos cocinan exactamente lo mismo.
• El Control de Calidad (Métricas): Una vez que la IA da su respuesta, el chef no solo dice "bien" o "mal". Usa reglas matemáticas precisas (como medir qué porcentaje del "ruido" de la IA cayó en el lugar correcto) para darle una puntuación exacta.

¿Por qué es importante?

Antes de xaitimesynth, era como si cada detective usara su propia versión de "falsos" para entrenarse. Unos usaban pistas de colores, otros de sonidos, y nadie podía comparar sus resultados fácilmente.

Con esta nueva herramienta:

1. Todos juegan con las mismas reglas: Los investigadores pueden comparar sus métodos de explicación de manera justa.
2. Es más rápido: No hay que reinventar la rueda cada vez.
3. Es transparente: Sabes exactamente qué "secreto" le pusiste a la IA, por lo que puedes confiar en que la prueba es honesta.

En resumen

xaitimesynth es una caja de herramientas gratuita y abierta que permite a los científicos crear escenarios de prueba perfectos para ver si las explicaciones de las inteligencias artificiales son verdaderas o falsas.

Es como tener un simulador de vuelo para los detectives de IA: puedes crear tormentas, nubes y pistas falsas a tu voluntad, sabiendo exactamente dónde está el objetivo, para asegurarte de que tu detective (la herramienta de explicación) realmente sabe dónde mirar antes de confiar en él en el mundo real.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "xaitimesynth: Evaluating Attribution Methods with Synthetic Ground Truth", presentado en español:

1. El Problema

La evaluación de los métodos de atribución en la Inteligencia Artificial Explicable (XAI) para series temporales enfrenta un obstáculo fundamental: la falta de "verdad fundamental" (ground truth). En conjuntos de datos del mundo real, es casi imposible saber con certeza qué puntos temporales específicos impulsaron una predicción de un modelo.

Para sortear esto, los investigadores suelen generar datos sintéticos donde las características discriminativas se colocan en ubicaciones conocidas. Sin embargo, el enfoque actual es fragmentado: cada estudio reimplementa la generación de datos sintéticos desde cero, lo que lleva a:

• Falta de reutilización de código.
• Inconsistencia en los protocolos de evaluación.
• Dificultad para comparar resultados entre diferentes investigaciones.
• Riesgo de que los modelos aprendan "atajos" (shortcut learning) si los procesos de generación introducen artefactos no deseados.

2. Metodología: xaitimesynth

El artículo presenta xaitimesynth, un paquete de Python diseñado para estandarizar la evaluación de métodos de atribución en series temporales mediante la generación de datos sintéticos con verdad fundamental controlada.

Arquitectura y Diseño:
El paquete se basa en un modelo aditivo para generar las series temporales ($x = n + f$):

• Señal de fondo ($n$): Representa el patrón base (ruido gaussiano, caminata aleatoria, señales estacionales, tendencias, etc.).
• Característica discriminativa ($f$): Un patrón localizado (picos, valles, pulsos gaussianos) que contiene la información de clase, colocado dentro de una ventana temporal específica.
• Máscara de verdad fundamental: El paquete rastrea automáticamente la ventana temporal donde se inserta la característica $f$, generando una máscara binaria que sirve como referencia para la evaluación.

Componentes Principales:

1. Módulo de Generación de Datos:
   • Utiliza una API declarativa (Builder API) y archivos de configuración YAML para definir conjuntos de datos univariados o multivariados.
   • Permite especificar señales y características por clase, con control sobre la alineación de ventanas en series multivariadas.
   • Soporta la extensión mediante funciones generadoras personalizadas registradas vía decoradores.
2. Módulo de Evaluación:
   • Proporciona métricas de localización estandarizadas que miden la superposición entre las puntuaciones de atribución y la máscara de verdad fundamental.
   • Las métricas incluyen:
     • AUC-ROC y AUC-PR: Tratan las atribuciones como puntuaciones de clasificación.
     • Relevance Mass Accuracy (RMA): Calcula la fracción de la masa total de atribución que cae dentro de la ventana de verdad fundamental.
     • Relevance Rank Accuracy: Verifica si los $K$ pasos de tiempo mejor puntuados caen dentro de la ventana.
     • Pointing Game: Verificación binaria si la máxima atribución está en la ventana correcta.
     • Normalized Attribution Correspondence (NAC): Basado en métricas de seguimiento ocular (NSS).
     • MAE y MSE: Tratan la evaluación como un problema de regresión.

3. Contribuciones Clave

• Estandarización: xaitimesynth es la primera herramienta que combina la generación de series temporales sintéticas con el seguimiento automático de la verdad fundamental y métricas de localización en un solo paquete reutilizable.
• Reproducibilidad: Al ofrecer una API fluida y configuraciones YAML, permite definir conjuntos de datos de manera concisa y compartirlos fácilmente, eliminando la necesidad de reimplementaciones ad hoc.
• Flexibilidad: Soporta tanto series temporales univariadas como multivariadas, permitiendo señales y características independientes por canal o alineadas.
• Independencia de Frameworks: No requiere frameworks de aprendizaje profundo para la generación de datos o el cálculo de métricas (depende de NumPy, pandas, PyYAML), lo que facilita su integración con cualquier pipeline de XAI.

4. Resultados y Validación

El artículo no presenta un nuevo algoritmo de XAI, sino una infraestructura de evaluación. Los "resultados" se manifiestan en la capacidad del paquete para:

• Generar datos visualmente coherentes: Se demuestra mediante ejemplos (Figura 1) donde se pueden distinguir claramente la señal de fondo, la característica discriminativa y la suma final, junto con la máscara de verdad fundamental.
• Integración con el ecosistema existente: El paquete complementa bibliotecas existentes como Captum, Quantus y Time Interpret, llenando el vacío de la generación de datos sintéticos con verdad fundamental que estas carecen (ver Tabla 1 del artículo).
• Validación de la premisa: El diseño asume que si un modelo alcanza alta precisión en estos datos sintéticos (donde la única información discriminativa es la característica simulada), es probable que esté basando sus decisiones en dicha característica, sirviendo como una "prueba de realidad" (sanity check) para los métodos de atribución.

5. Significado e Impacto

La importancia de xaitimesynth radica en su potencial para rigorizar la evaluación de la XAI en series temporales:

• Confianza en las explicaciones: Permite a los investigadores verificar si los métodos de atribución realmente identifican las características correctas que el modelo utiliza para predecir, en lugar de simplemente generar ruido visual.
• Comparabilidad: Facilita la comparación directa entre diferentes métodos de atribución al utilizar un mismo protocolo de generación de datos y métricas de evaluación.
• Adopción de Buenas Prácticas: Al ser de código abierto (licencia MIT) y estar disponible en GitHub y Zenodo, fomenta la adopción de evaluaciones basadas en localización, que son más robustas que las métricas basadas únicamente en perturbación (que pueden ser sensibles a decisiones de implementación).

En resumen, xaitimesynth proporciona la infraestructura necesaria para pasar de la evaluación cualitativa o ad-hoc a una evaluación cuantitativa, reproducible y estandarizada de la interpretabilidad en modelos de series temporales.