🤖 AI

CRAFTIIF: Cross-Resolution Analytic Four-Type Interpretable Isolation Forest for Multivariate Time Series Anomaly Detection

O CRAFTIIF é um framework totalmente não supervisionado que alcança desempenho de estado da arte e interpretabilidade inerente na detecção de anomalias em séries temporais multivariadas ao empregar características de wavelet analíticas de resolução cruzada e uma arquitetura especializada de Isolation Forest de cinco ramos para identificar simultaneamente anomalias pontuais, distributivas, temporais e coletivas sem ajuste específico para o conjunto de dados.

Autores originais: William Smits

Publicado 2026-06-12

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: William Smits

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é o chefe de segurança de uma fábrica enorme e de alta tecnologia, com centenas de sensores monitorando tudo, desde a temperatura até a vibração. Seu trabalho é detectar quando algo dá errado. Mas "dar errado" não é apenas uma coisa. Às vezes, um sensor tem um pico por uma fração de segundo (uma anomalia de ponto). Às vezes, uma máquina inteira começa a operar em uma temperatura estranhamente alta por horas (uma anomalia de distribuição). Às vezes, o ritmo de um motor muda, como um coração pulando uma batida (uma anomalia temporal). E às vezes, dois sensores que costumam se mover em perfeita sincronia subitamente começam a se mover em direções opostas, mesmo que cada um deles pareça normal isoladamente (uma anomalia coletiva).

A maioria dos sistemas de segurança existentes são como guardas que só conhecem um tipo de problema. Se você pedir a um "detector de picos" para encontrar uma "mudança de ritmo", ele ficará confuso e deixará passar.

Este artigo apresenta um novo sistema chamado CRAFTIIF (pronuncia-se como "crafty"). Pense nele como uma equipe de cinco detetives especializados, cada um com um conjunto único de ferramentas, trabalhando juntos para resolver o mistério do que está errado.

Os Cinco Detetives (A Arquitetura)

Em vez de usar um único cérebro gigante e confuso para olhar todos os dados, o CRAFTIIF divide o trabalho:

O Detetive de "Picos": Usa uma ferramenta chamada wavelet DOG (imagine uma lupa que só vê saltos súbitos e agudos). Este detetive procura por falhas instantâneas nos sensores.
O Detetive de "Mudança de Nível": Usa uma wavelet Haar (como uma régua que mede saltos repentinos de altura). Este detecta quando uma máquina permanece em uma temperatura ou pressão nova e errada.
O Detetive de "Ritmo": Usa uma wavelet Morlet (como um metrônomo que escuta mudanças de batida). Este pega quando um motor começa a zunir na velocidade errada.
O Detetive de "Trabalho em Equipe": Usa uma wavelet Coiflet e verificações de correlação. Este observa pares de sensores. Se dois sensores costumam dançar juntos, mas de repente começam a brigar, este detetive levanta o alarme, mesmo que nenhum dos sensores pareça ruim individualmente.
O "Líder da Equipe" (Meta-IF): Este detetive não olha para os dados brutos. Em vez disso, ele observa os outros quatro detetives. Se os detetives de Pico, Nível e Ritmo sussurrarem: "Algo parece estranho", mas nenhum deles estiver gritando "ALERTA!" individualmente, o Líder da Equipe intervém para dizer: "Ok, este é um problema complexo, vamos sinalizá-lo".

Como Eles Veem o Mundo (As Características)

Para fazer seu trabalho, esses detetives não olham apenas para os números brutos. Eles usam uma técnica especial chamada Wavelets.

Imagine que você está ouvindo uma música. Um microfone padrão apenas registra o volume. Mas uma wavelet é como um ouvido mágico que pode dar zoom para ouvir um único toque de tambor (alta frequência) ou dar zoom para fora para ouvir todo o refrão (baixa frequência) simultaneamente.

O CRAFTIIF cria 500 "ouvidos" aleatórios para cada detetive. É como dar a cada detetive 500 pares diferentes de óculos com lentes ligeiramente diferentes. Algumas lentes dão zoom em detalhes minúsculos, outras em grandes tendências. Ao lançar uma rede ampla com essas lentes aleatórias, o sistema é incrivelmente bom em capturar padrões estranhos sem precisar ser ensinado o que é "estranho" antecipadamente.

O Sistema de Alarme Inteligente (Limiares Adaptativos)

Um dos maiores problemas na segurança é configurar a sensibilidade do alarme.

Se você configurar muito alto, terá alarmes falsos (o cachorro late para uma folha).
Se configurar muito baixo, você perderá o intruso.

A maioria dos sistemas usa uma regra fixa (ex: "Se a pontuação for acima de 90, soe o alarme"). Mas no mundo real, às vezes 1% dos dados são ruins, e às vezes 70% são ruins. Uma regra fixa falha miseravelmente aqui.

O CRAFTIIF usa um alarme inteligente e adaptativo. Ele olha para a distribuição das pontuações e pergunta: "Isso parece dois grupos distintos (normal vs. ruim) ou apenas um grande borrão?"

Se ele vir dois grupos claros, usa um truque matemático (Otsu) para encontrar a linha perfeita entre eles.
Se vir um borrão confuso, usa um truque diferente (MAD) para encontrar os valores discrepantes (outliers).
Isso permite que o sistema funcione perfeitamente, quer a taxa de anomalias seja de 0,1% ou 69%.

O "Detector de Verdade" (Estrutura de Diagnóstico)

Os autores perceberam que, às vezes, mesmo o melhor detetive não consegue resolver um caso porque as pistas estão faltando. Eles construíram uma ferramenta de diagnóstico para dizer a você por que o sistema falhou:

A Pontuação "Oráculo": Eles calculam a melhor pontuação possível que o sistema poderia obter se tivesse um limiar mágico. Se a pontuação real for próxima desta, o sistema está funcionando muito bem.
O "Limite de Detectabilidade": Se a pontuação do Oráculo ainda for terrível, significa que a anomalia é estatisticamente invisível.
- Exemplo: Em alguns conjuntos de dados, os dados "ruins" parecem mais normais do que os dados "bons" (como um documento falso que é tão perfeito que parece mais real do que um documento real). O artigo descobriu que, para 6 de 19 conjuntos de dados de teste, nenhum método não supervisionado poderia ter sucesso, porque as anomalias estavam camufladas. Esta é uma descoberta crucial: ela diz aos engenheiros: "Pare de tentar consertar o algoritmo; você precisa de especialistas humanos ou de dados diferentes".

Os Resultados

A equipe testou o CRAFTIIF em 19 conjuntos de dados do mundo real (desde máquinas de servidores até monitores cardíacos ou fluxo de multidões).

Sem ajuste (No tuning): Eles usaram exatamente as mesmas configurações para todos os 19. Sem ajustes específicos para máquinas específicas.
O Vencedor: O CRAFTIIF superou todos os outros métodos testados no benchmark, incluindo modelos de aprendizado profundo (deep learning) que exigem enormes quantidades de dados de treinamento.
Interpretabilidade: Quando o CRAFTIIF levanta um alarme, ele não diz apenas "Erro". Ele diz: "O Detetive de Ritmo encontrou uma mudança de frequência" ou "O Detetive de Trabalho em Equipe encontrou uma quebra de correlação". Isso diz ao operador humano exatamente que tipo de problema procurar.

Em Resumo

O CRAFTIIF é um sistema de segurança inteligente e não supervisionado para dados de séries temporais. Ele usa uma equipe de "detetives" especializados com lentes de zoom mágicas (wavelets) para detectar quatro tipos diferentes de problemas. Possui um alarme autoajustável que funciona quer o problema seja raro ou comum. Mais importante ainda, ele diz a você por que levantou o alarme e admite honestamente quando um problema é impossível de resolver sem ajuda humana. Ele provou que você não precisa de uma IA gigante de "caixa preta" para encontrar anomalias; você só precisa da estrutura certa e das ferramentas certas.

Resumo Técnico: CRAFTIIF para Detecção de Anomalias em Séries Temporais Multivariadas

Declaração do Problema

A detecção de anomalias em séries temporais multivariadas (MTSAD) enfrenta três desafios fundamentais que dificultam a implementação prática:

Heterogeneidade de Tipos de Anomalia: Anomalias do mundo real manifestam-se em quatro formas estruturalmente distintas: anomalias de ponto (picos isolados), anomalias distributivas (mudanças sustentadas de nível), anomalias temporais (mudanças de ritmo/frequência) e anomalias coletivas (quebras de correlação entre sensores). Os métodos não supervisionados existentes normalmente visam apenas um ou dois tipos e degradam-se quando avaliados em todos os quatro simultaneamente.
Ausência de Rótulos: Métodos supervisionados exigem dados anotados, o que é raramente disponível no momento da implantação. São necessários métodos totalmente não supervisionados que aprendam apenas com dados normais, mas estes frequentemente lutam contra a diversidade dos tipos de anomalia.
Interpretabilidade: Os profissionais precisam saber por que uma anomalia foi sinalizada (quais canais, escalas de tempo e tipo de anomalia). A maioria dos métodos de aprendizagem profunda oferece interpretabilidade limitada (ex: pesos de atenção) que não mapeia claramente para causas físicas ou tipos de anomalia específicos. Pontuações de importância de características post-hoc frequentemente confundem características de diferentes tipos de anomalia, criando ambiguidade.

Metodologia: CRAFTIIF

Os autores propõem o CRAFTIIF (Cross-Resolution Analytic Four-Type Interpretable Isolation Forest), um framework totalmente não supervisionado projetado para detectar todos os quatro tipos de anomalia simultaneamente sem ajuste específico para o conjunto de dados.

Arquitetura Central

O pipeline consiste em quatro estágios:

Pré-processamento de Qualidade de Dados: Lida com valores ausentes e NaNs usando um sistema de tier de confiança (total, suave, suprimido) e autoconfigura o comprimento da janela ( $W$ ) e o passo ( $s$ ) com base no decaimento da função de autocorrelação (ACF) do sinal de treinamento.
Extração de Características Analíticas Multiresolução Aleatória:
- Famílias de Wavelets: Quatro famílias específicas de wavelets foram selecionadas para maximizar a discriminabilidade para cada tipo de anomalia:
  - Morlet: Visa anomalias temporais (mudanças de ritmo oscilatório).
  - DOG (Mexican Hat): Visa anomalias de ponto (curvatura local/extremos).
  - Haar: Visa anomalias distributivas (mudanças de degrau/nível).
  - Coiflet: Visa anomalias coletivas (estrutura de correlação de escala cruzada).
- Amostragens Aleatórias: Para cada família, $K=500$ amostragens aleatórias são geradas. Cada amostra seleciona uma escala (log-uniforme), um vetor de peso de canal (distribuição de Dirichlet) e um grupo de características (Amplitude, Fase, Quantil ou Escala Cruzada).
- Eficiência: Uma Transformada Wavelet Contínua (CWT) baseada em FFT vetorizada é usada, reduzindo o cálculo para três operações em lote, independentemente de $K$ .
- Características Coletivas: Correlações de Pearson pareadas entre todos os pares de canais são anexadas às características do ramo coletivo.
Detecção Estruturada de Cinco Ramos:
- Cinco Florestas de Isolamento (IFs) independentes são treinadas:
  - Quatro IFs Específicas por Tipo: Uma para cada tipo de anomalia, treinada exclusivamente com características correspondentes àquele tipo (ex: o IF de Ponto usa apenas características DOG).
  - Um Meta-IF: Treinado no vetor de pontuação normalizado dos quatro ramos específicos de tipo para detectar anomalias compostas onde múltiplos ramos mostram desvios sutis.
- Esta estrutura evita a interferência de características de tipos cruzados e garante que uma detecção por um ramo específico seja diretamente atribuível àquele tipo de anomalia.
Calibração de Limiar Adaptativa:
- Em vez de um limiar de percentil fixo, o CRAFTIIF utiliza uma abordagem híbrida Otsu/MAD.
- Ele calcula a força de bimodalidade ( $\beta$ ) da distribuição de pontuação de teste.
- Se $\beta > 0.75$ (bimodalidade forte), utiliza o limiar de Otsu.
- Se $\beta < 0.40$ (unimodal), utiliza um limiar baseado em Desvio Absoluto da Mediana (MAD).
- Ele detecta e desativa automaticamente ramos "anti-correlacionados" onde as anomalias pontuam abaixo dos dados normais.

Estrutura de Diagnóstico

O artigo introduz uma suíte de diagnóstico para distinguir entre falha do método e limitações fundamentais dos dados:

F1 Oracle: O F1 máximo alcançável através da varredura de todos os limiares (computado post-hoc).
Limites de Detectabilidade: Identifica conjuntos de dados onde $F1_{oracle} < 0.05$ , indicando que a anomalia é estatisticamente indistinguível dos dados normais no espaço de características (ex: camuflagem ou linha constante/flatline).
Razões de Separação de Ramos: Quantifica quão bem cada ramo discrimina anomalias de normais.
Atribuição Coletiva: Identifica pares de canais específicos que impulsionam as detecções de anomalias coletivas.

Principais Resultados

Avaliado no benchmark mTSBench (19 conjuntos de dados, 2–72 canais, taxas de anomalia de 0.1%–69.2%) com uma única configuração e sem ajuste:

Desempenho: O CRAFTIIF alcançou um F1 médio = 0.228 em todos os 19 conjuntos de dados e F1 = 0.322 nos 13 conjuntos de dados detectáveis.
Comparação: Superou todos os 24 métodos no mTSBench, incluindo o anterior melhor (PCA, 0.329 VUS-PR) e o Isolation Forest bruto. O CRAFTIIF alcançou um VUS-PR médio = 0.463, ocupando o 1º lugar.
Estudo de Ablação:
- Limiar Adaptativo: Contribuiu com uma melhoria de 38% no F1 médio sobre limiares fixos.
- Estrutura de Quatro Ramos: Contribuiu com uma melhoria de 20% sobre um IF global treinado em todas as características.
- Meta-IF: Contribuiu com uma melhoria de 23% sobre a remoção do meta-ramo.
Análise de Detectabilidade: O estudo revelou que 6 dos 19 conjuntos de dados (ex: Genesis, GHL, MITDB) caem na categoria de "limite de detectabilidade fundamental", onde nenhum método de estatística de sinal-unsupervised pode ter sucesso sem conhecimento de domínio ou rótulos.

Significância e Alegações

O artigo afirma que o CRAFTIIF é significativo por diversas razões:

Detecção Unificada: É o primeiro método totalmente não supervisionado a abordar simultaneamente todos os quatro tipos estruturais de anomalia sem ajuste específico para o conjunto de dados.
Interpretabilidade Intrínseca: Ao contrário das explicações post-hoc, a arquitetura fornece atribuição direta. Se o ramo "Ponto" dispara, a anomalia é um pico isolado; se o ramo "Coletivo" dispara, é uma quebra de correlação. Isso é uma garantia estrutural, não uma aproximação.
Rigor Diagnóstico: O framework de diagnóstico proposto permite que os profissionais distingam entre erros de calibração de limiar, limites de representação de características e a indetectabilidade estatística fundamental. Isso evita esforço desperdiçado em conjuntos de dados que são inerentemente indetectáveis por métodos genéricos não supervisionados.
Liderança em Benchmarks: Ao alcançar resultados de estado da arte no abrangente benchmark mTSBench com uma única configuração, demonstra que características analíticas de wavelet estruturadas combinadas com Isolation Forests podem superar abordagens complexas de aprendizagem profunda em cenários não supervisionados.

Os autores observam limitações, incluindo desempenho reduzido em conjuntos de dados com maioria de anomalias (onde os dados de treinamento estão contaminados) e conjuntos de dados com anomalias de "camuflagem" (onde as falhas parecem mais normais do que o normal). Eles sugerem trabalhos futuros em mistura de canais aprendida e detecção em fluxo (streaming).