xaitimesynth: A Python Package for Evaluating Attribution Methods for Time Series with Synthetic Ground Truth

O artigo apresenta o *xaitimesynth*, um pacote Python de código aberto que fornece infraestrutura reutilizável para avaliar métodos de atribuição em séries temporais, gerando dados sintéticos com verdade fundamental conhecida e métricas padronizadas de localização.

O essencial

Imagine que você é um detetive tentando descobrir por que um computador (uma inteligência artificial) tomou uma decisão estranha. Por exemplo, o computador disse: "Este paciente está doente" ou "Esta ação vai subir amanhã".

O problema é que, na vida real, raramente sabemos exatamente qual momento ou informação fez o computador pensar assim. É como se o computador tivesse um segredo e não nos dissesse qual pista ele usou.

Para testar se os métodos que usamos para "ler a mente" do computador funcionam bem, os cientistas costumam criar cenários de mentira controlada (dados sintéticos). Eles inventam uma história onde sabem exatamente qual foi a pista importante. O problema é que cada cientista cria sua própria história do zero, reinventando a roda toda vez, o que gera confusão e perda de tempo.

É aqui que entra o xaitimesynth.

O que é o xaitimesynth?

Pense no xaitimesynth como uma "Caixa de Ferramentas Mágica" (um pacote de software em Python) que padroniza a criação desses cenários de teste. Em vez de cada detetive construir sua própria casa de bonecas para treinar, agora todos usam a mesma caixa de brinquedos de alta qualidade.

Como funciona? (A Analogia da Música)

Imagine que você está analisando uma gravação de áudio (uma série temporal) para ver se ela é de "Rock" ou de "Jazz".

1. A Base (O Ruído de Fundo): O xaitimesynth cria uma base musical aleatória, como um ruído branco ou uma melodia simples que não significa nada. Isso é o "fundo".
2. A Pista (O Segredo): Em um momento específico da música, ele esconde uma "pista" clara.
   • Se for a música Rock, ele coloca um solo de guitarra estridente em um segundo exato.
   • Se for a música Jazz, ele coloca um saxofone suave em outro momento.
3. O Mapa do Tesouro (Ground Truth): O mais importante: o xaitimesynth anota secretamente exatamente onde o solo de guitarra ou o saxofone começaram e terminaram. Ele cria um "mapa do tesouro" (uma máscara de verdade) que diz: "Aqui está a pista que define a música".

O Teste de Detetive

Agora, você usa um método de Inteligência Artificial para tentar adivinhar onde está a pista.

• Se o método diz: "A pista está no meio da música" (quando na verdade era no final), o xaitimesynth pega o mapa do tesouro e diz: "Ei, você errou! A pista estava ali, não aqui".
• O pacote calcula uma nota para o detetive: "Você acertou 80% da pista" ou "Você só achou o começo, mas perdeu o fim".

Por que isso é legal?

• Reutilizável: Antes, se você quisesse testar um novo método, tinha que programar do zero como criar o ruído, onde colocar a pista e como medir o erro. Agora, você só diz: "Quero 100 músicas com um solo de guitarra no meio" e a caixa faz tudo.
• Flexível: Você pode criar músicas de um único instrumento (dados univariados) ou uma orquestra inteira (dados multivariados), com pistas em diferentes instrumentos.
• Padrão: Como todos usam a mesma caixa de ferramentas, os resultados dos diferentes cientistas podem ser comparados diretamente, como se todos estivessem jogando o mesmo jogo com as mesmas regras.

Em resumo

O xaitimesynth é como um laboratório de testes padronizado para explicar como as IAs pensam sobre o tempo. Ele cria histórias falsas onde sabemos a verdade, permite que as IAs tentem adivinhar onde estão os "segredos" e dá uma nota justa para ver quem é o melhor detetive. Isso ajuda a garantir que as explicações que recebemos das máquinas são realmente confiáveis e não apenas alucinações.

O projeto é gratuito, aberto para todos e já está disponível para quem quiser começar a testar seus próprios detetives de IA.

Resumo técnico

1. O Problema

A avaliação de métodos de atribuição (explicabilidade) para séries temporais enfrenta uma barreira fundamental: a falta de "verdade de base" (ground truth) em dados do mundo real. Em cenários reais, é raro saber com certeza absoluta quais pontos de tempo específicos impulsionaram uma previsão de um modelo de aprendizado de máquina.

Para contornar isso, pesquisadores frequentemente geram dados sintéticos onde as características discriminatórias de classe são colocadas em locais conhecidos. No entanto, o artigo identifica que cada estudo atualmente reimplementa essa geração de dados sintéticos do zero, resultando em:

• Falta de padronização.
• Dificuldade de reprodutibilidade entre estudos.
• Esforço redundante de engenharia de dados.
• Dificuldade em comparar métodos de atribuição de forma justa.

2. Metodologia e Solução Proposta

O artigo apresenta o xaitimesynth, um pacote Python de código aberto projetado para padronizar o fluxo de trabalho de avaliação baseado em localização para métodos de atribuição em séries temporais.

Principais Componentes Técnicos:

• Geração de Dados Sintéticos Aditivos:

  • O pacote gera séries temporais seguindo um modelo aditivo: $x = n + f$.
  • $n$ (Sinal de Fundo): Representa um padrão de fundo (ex.: ruído gaussiano, passeio aleatório, sinal sazonal).
  • $f$ (Característica Discriminatória): Um padrão localizado e específico da classe dentro de uma janela de tempo definida, com zeros fora dessa janela.
  • Máscara de Verdade de Base: O pacote rastreia automaticamente a janela temporal onde a característica $f$ foi inserida, gerando uma máscara binária de "verdade de base" para cada amostra.

• API Declarativa e Configuração:

  • Oferece uma API fluida (Builder API) para definir conjuntos de dados de forma declarativa, especificando sinais e características para cada classe.
  • Suporta séries temporais univariadas e multivariadas, permitindo controle granular sobre o posicionamento de características em diferentes canais.
  • Utiliza arquivos YAML para definições de conjuntos de dados, facilitando a reprodutibilidade e o compartilhamento de configurações.

• Métricas de Avaliação de Localização:

  • O pacote inclui métricas padrão para quantificar a sobreposição entre os scores de atribuição e as máscaras de verdade de base.
  • As métricas incluem:
    • AUC-ROC e AUC-PR: Tratam a atribuição como scores de classificação.
    • Relevance Mass Accuracy (RMA): Calcula a fração da massa total de atribuição que cai dentro da janela de verdade de base.
    • Relevance Rank Accuracy (RRA): Verifica se os $K$ pontos de tempo com maior atribuição estão dentro da janela correta.
    • Pointing Game: Verifica se o ponto de máxima atribuição cai na região correta.
    • Normalized Attribution Correspondence (NAC): Adaptação da métrica NSS (eye-tracking).
    • MAE e MSE: Tratam a avaliação como um problema de regressão.

3. Contribuições Chave

1. Infraestrutura Reutilizável: O primeiro pacote Python dedicado a fornecer infraestrutura completa para avaliação de atribuição em séries temporais com verdade de base sintética, eliminando a necessidade de reimplementação por estudo.
2. Padronização: Estabelece um padrão para a geração de dados sintéticos e cálculo de métricas de localização, permitindo comparações mais justas entre diferentes métodos de XAI (Explainable AI).
3. Flexibilidade e Extensibilidade: Permite que pesquisadores componham processos de geração de dados flexíveis (misturando sinais e características) e registrem componentes personalizados via API de decoradores.
4. Integração com Ecossistema Existente: O pacote complementa bibliotecas existentes (como Captum, Quantus, Time Interpret) fornecendo a camada de geração de dados que elas não possuem, focando especificamente na necessidade de "verdade de base" para séries temporais.

4. Resultados e Evidências

O artigo não apresenta um novo algoritmo de XAI, mas sim valida a utilidade da ferramenta através de:

• Exemplos de Fluxo de Trabalho: Demonstra a criação de um conjunto de dados de duas classes (com pulsos gaussianos e explosões sazonais), a geração de divisões treino/teste e a avaliação de atribuições fictícias.
• Visualização: Apresenta visualizações claras dos sinais de fundo, características localizadas e a soma resultante, destacando a máscara de verdade de base.
• Comparação de Pacotes: Uma tabela comparativa (Tabela 1) mostra que o xaitimesynth é o único pacote que combina Geração de Séries Temporais Sintéticas com Métricas de Localização e Rastreamento Automático de Ground Truth, preenchendo uma lacuna deixada por ferramentas como Quantus (focado em imagens) e Time Interpret (sem geração de dados).

5. Significado e Impacto

O xaitimesynth é significativo para o avanço da IA Explicável (XAI) em séries temporais porque:

• Aumenta a Confiabilidade: Ao fornecer uma verdade de base conhecida por construção, permite que os pesquisadores verifiquem se os métodos de atribuição estão realmente capturando as características relevantes e não apenas ruídos ou artefatos de "aprendizado de atalho" (shortcut learning).
• Facilita a Reprodução: Através de configurações YAML e uma API padronizada, torna os experimentos de avaliação de XAI mais transparentes e replicáveis pela comunidade científica.
• Acelera a Pesquisa: Reduz o tempo de desenvolvimento gasto na criação de pipelines de dados sintéticos, permitindo que os pesquisadores se concentrem no desenvolvimento e análise de novos métodos de explicação.

O pacote está disponível sob licença MIT no GitHub e requer apenas dependências básicas de Python (NumPy, pandas, PyYAML), sem necessidade de frameworks de Deep Learning para a geração de dados ou cálculo de métricas.