INSIGHTS: Demonstration-Based Summaries of Time Series Predictors

Enunciação do Problema
Embora os métodos de explicabilidade para modelos de séries temporais tenham avançado rapidamente no domínio das atribuições locais, ao nível de instâncias (por exemplo, SHAP, LIME, shapelets), as explicações globais permanecem subdesenvolvidas. As abordagens globais existentes são frequentemente específicas do modelo ou específicas da modalidade, falhando em abordar cenários onde diversas famílias de modelos coexistem. Além disso, os métodos atuais têm dificuldade em identificar quais segmentos de séries temporais são críticos para inspeção, particularmente quando a "importância" é dependente do domínio e impulsionada por eventos raros ou não rotulados (por exemplo, picos súbitos de pressão arterial em uma UTI ou surtos no mercado de ações). Há uma falta de frameworks confiáveis e agnósticos ao modelo para construir resumos globais que orientem as partes interessadas na compreensão do comportamento de um modelo através de diferentes regimes e eventos críticos.

Metodologia: INSIGHTS
O artigo introduz o INSIGHTS, um algoritmo agnóstico ao modelo e centrado no usuário, projetado para gerar explicações globais para modelos de previsão de séries temporais por meio de "Resumos de Séries Temporais" (TSS). Um TSS é definido como uma coleção concisa e gerenciável de amostras (segmentos ou eventos) que destacam comportamentos-chave do modelo.

O algoritmo opera com base em dois critérios principais: Importância e Diversidade.

1. Funções de Utilidade (Importância): O INSIGHTS utiliza funções de utilidade definidas pelo usuário para classificar segmentos de séries temporais com base em significância específica do domínio. O artigo propõe três funções de utilidade padrão adaptadas de trabalhos anteriores:
   • Tendência Geral: Captura inclinações crescentes ou decrescentes.
   • Excedendo o Intervalo Normal: Identifica valores que se desviam de normas relevantes para o domínio (usando funções sigmoide).
   • Desvio de Tendência de Mudanças Súbitas: Detecta desvios abruptos de tendências esperadas.
     Essas funções podem operar sobre valores brutos ou mapas de características definidos pelo usuário (por exemplo, características no domínio da frequência).
2. Seleção de Diversidade: O algoritmo seleciona amostras iterativamente para maximizar a diversidade comportamental. Emprega um processo de seleção gulosa onde, em cada rodada, propõe candidatos de alta importância a partir de uma perspectiva específica de utilidade e seleciona aquele que maximiza a distância do conjunto atualmente selecionado.
   • INSIGHTS-TW: Utiliza a Distância de Warping Dinâmica do Tempo (DTW) para calcular distâncias entre pares, levando em conta o contexto temporal e diferenças de escala.
   • INSIGHTS-critic: Uma alternativa usando um cálculo de diversidade não específico de séries temporais (baseado em protótipos MMD-Critic).
3. Fluxo do Algoritmo: O processo inicia-se ordenando amostras em buckets com base em pontuações de utilidade. Seleciona iterativamente candidatos que satisfazem restrições de sobreposição e maximizam a diversidade (medida via distância DTW ou distância de protótipo) até que um tamanho de resumo alvo $m$ seja alcançado. Também permite a inclusão de protótipos de importância mediana.

Contribuições Principais

• Resumos Globais Agnósticos ao Modelo: O INSIGHTS fornece um framework para gerar explicações globais para previsão de séries temporais que não está vinculado a arquiteturas de modelo específicas (por exemplo, aprendizado profundo versus regressão).
• Seleção Equilibrada: Equilibra de forma única a importância das amostras (via funções de utilidade) com a diversidade de comportamentos (via métricas de distância conscientes de séries temporais), garantindo que o resumo cubra regimes distintos e eventos críticos, em vez de apenas os padrões mais frequentes.
• Eficiência: O método é computacional e energeticamente eficiente. Enquanto métodos de base como ProtoDash e MMD-Critic exibem complexidade quadrática e alto uso de memória, o INSIGHTS opera com complexidade log-linear em relação ao tamanho de entrada, tornando-o escalável para grandes conjuntos de dados fisiológicos ou financeiros.
• Design Centrado no Usuário: A abordagem prioriza simplicidade e transparência, permitindo que as partes interessadas auditem exemplos cuidadosamente escolhidos em vez de conjuntos de dados arbitrários.

Resultados
O artigo avalia o INSIGHTS através de três estudos complementares:

1. Captura de Eventos (Computacional): Em dados sintéticos e no conjunto de dados EEG PhysioNet Sleep-EDF, o INSIGHTS-TW alcançou 100% de cobertura de tipo de evento e 100% de cobertura de exemplo de evento em vários tamanhos de resumo. Em contraste, bases como MMD-Critic mostraram baixa cobertura, e o ProtoDash falhou em completar no grande conjunto de dados EEG devido ao esgotamento de recursos. O INSIGHTS demonstrou crescimento linear no tempo de execução em comparação com o crescimento quadrático das bases.
2. Estudo com Especialistas (Clínicos de UTI): Entrevistas semiestruturadas com clínicos de UTI revelaram que os resumos do INSIGHTS provocaram insights mais amplos (oscilações, adaptação de tendência, eventos súbitos) em comparação com o ProtoDash (conservadorismo) ou amostragem aleatória. Os clínicos consideraram os exemplos do INSIGHTS altamente informativos e notaram sua utilidade na seleção de modelos e em transferências de turno.
3. Estudo com Usuários (Previsão de Ações): Em uma tarefa onde participantes identificaram o comportamento do modelo com base em resumos, o grupo INSIGHTS mostrou precisão ligeiramente maior (0,77 vs. 0,68) do que o grupo ProtoDash, embora a diferença fosse marginalmente significativa ($p=0,08$). No entanto, os resumos do INSIGHTS foram avaliados significativamente mais altos em termos de completude, menor carga cognitiva e confiabilidade percebida do modelo. Estudantes de pós-graduação (simulando semi-especialistas) beneficiaram-se mais dos resumos diversos do INSIGHTS.

Significado e Alegações
O artigo afirma que o INSIGHTS constrói efetivamente subconjuntos abrangentes e diversos de dados de séries temporais que são gerenciáveis para avaliação humana. Afirma que o método é preferido por especialistas do domínio por fornecer uma compreensão estável do comportamento do modelo e identificar amostras de alta qualidade. Ao oferecer um conjunto principiado de segmentos, o INSIGHTS permite a aplicação escalável de explicadores locais e agnósticos ao modelo a problemas globais de séries temporais. Os autores posicionam o método como um front-end prático e eficiente para sistemas de explicação interativa, particularmente em domínios onde eventos raros e contexto temporal são críticos. O artigo permanece modesto, reconhecendo limitações como a dependência da seleção gulosa (que não garante optimalidade global) e o foco atual em séries univariadas, notando que extensões multivariadas são um próximo passo natural.