🤖 machine learning

DQS: A Low-Budget Query Strategy for Enhancing Unsupervised Data-driven Anomaly Detection Approaches

Este artigo apresenta a Estratégia de Consulta Baseada em Dissimilaridade (DQS), uma nova abordagem de aprendizado ativo que aprimora a detecção de anomalias em séries temporais não supervisionadas ao selecionar amostras diversas para rotulagem por oráculo para refinar a seleção de limiar, demonstrando desempenho superior em cenários de baixo orçamento, apesar da potencial rotulagem incorreta.

Autores originais: Lucas Correia, Jan-Christoph Goos, Thomas Bäck, Anna V. Kononova

Publicado 2026-08-12

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Lucas Correia, Jan-Christoph Goos, Thomas Bäck, Anna V. Kononova

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é o guardião de uma enorme fábrica de máquinas que emite um zumbido constante. Todos os dias, milhares de sensores registram o batimento cardíaco das máquinas: temperatura, vibração, pressão e velocidade. Na maior parte do tempo, essas máquinas funcionam em um ritmo "nominal" (normal). Mas, às vezes, uma engrenagem desliza ou um rolamento superaquece, criando uma falha estranha, "anômala". Se você detectar esses problemas precocemente, salva a fábrica; se os perder, as coisas quebram. O problema é que os dados são tão vastos e complexos que os humanos não conseguem observar cada segundo. Por isso, usamos computadores para ouvir esses batimentos estranhos.

Mas aqui está o detalhe: os computadores são ótimos em detectar estranhezas, mas são péssimos em saber o quão estranho é "estranho demais". É como um detector de fumaça que apita com o cheiro de torrada, mas permanece em silêncio durante um incêndio porque você nunca disse a ele como é o cheiro de um incêndio real. Para corrigir isso, geralmente precisamos mostrar ao computador exemplos de máquinas "normais" e "quebradas" para que ele possa aprender a linha na areia. Mas, no mundo real, raramente temos um monte de exemplos rotulados de máquinas "quebradas" prontos para uso. Este artigo vive em um canto da ciência chamado aprendizado não supervisionado de anomalias, onde tentamos encontrar as maçãs podres sem uma lista pré-fabricada do que as maçãs podres parecem. A grande questão é: se não podemos rotular tudo, como ensinamos o computador apenas o suficiente para acertar sem gastar uma fortuna com especialistas humanos?

Os autores deste artigo, Lucas Correia e sua equipe, decidiram enfrentar isso misturando duas ideias: aprendizado não supervisionado (deixando o computador adivinhar por conta própria) e aprendizado ativo (pedindo ajuda a um especialista humano apenas quando absolutamente necessário). Eles chamam seu novo método de DQS (Estratégia de Consulta Baseada em Dissimilaridade).

Pense no computador como um detetive tentando encontrar um ladrão em uma multidão. O detetive tem uma "pontuação de suspeita" para cada pessoa. Se a pontuação for muito alta, a pessoa é um ladrão; se for baixa, ela é inocente. Mas o detetive não sabe onde traçar a linha. Normalmente, o detetive apenas adivinha uma linha, o que frequentemente leva a erros. Os autores sugerem uma maneira mais inteligente: em vez de pedir ao especialista humano para rotular pessoas aleatórias, ou apenas as pessoas que o detetive acha que são mais suspeitas, o detetive deve perguntar sobre pessoas que são completamente diferentes umas das outras.

Eis como a nova estratégia deles, DQS, funciona: Imagine que o detetive tem uma lista de "pontuações de suspeita" para todos. Para escolher a próxima pessoa sobre a qual perguntará ao especialista humano, o DQS olha para as pontuações e pergunta: "Quem aqui é o mais diferente das pessoas sobre as quais já perguntei?". Eles usam uma ferramenta matemática chamada Dynamic Time Warping (DTW) para medir essa "diferença". Você pode pensar no DTW como uma forma de comparar duas músicas que podem ser tocadas em velocidades diferentes. Mesmo que uma música seja rápida e a outra lenta, o DTW consegue descobrir se elas são a mesma melodia ou totalmente diferentes. O DQS usa isso para encontrar pontuações de anomalia que sejam o mais diferentes possível das que já foram verificadas. Ao escolher as amostras mais diversas e "estranhamente diferentes" para mostrar ao humano, o detetive aprende a linha na areia muito mais rápido e com mais precisão.

O artigo testa essa ideia em um conjunto de dados chamado PATH, que simula o comportamento complexo e variável do motor de um carro ao longo do tempo. Eles compararam o DQS contra três outras formas de pedir ajuda:

Aleatório: Apenas escolhendo pessoas para perguntar jogando um dado.
Top: Perguntando apenas sobre as pessoas com as maiores pontuações de suspeita.
Incerteza: Perguntando sobre pessoas cujas pontuações estão bem no limite do palpite atual.

Os resultados, medidos por uma pontuação chamada F1 (que equilibra encontrar todas as maçãs podres sem dar alarmes falsos com muita frequência), mostraram coisas interessantes. Quando o especialista humano tem um orçamento muito pequeno (ou seja, ele só pode rotular algumas amostras, como 1 ou 5), o DQS é o vencedor claro. Ele encontra o limiar ideal muito melhor do que os outros métodos. No entanto, os autores também testaram o que acontece se o especialista humano cometer erros (rotulagem incorreta). Eles simularam cenários onde o especialista estava errado 10%, 20% ou até 30% das vezes. Nessas situações bagunçadas e realistas, o DQS ainda se saiu bem, mas a estratégia "Top" (perguntar sobre os mais suspeitos) revelou-se um pouco mais persistente e robusta contra os erros do humano.

Crucialmente, o artigo mostra que nenhuma estratégia única é perfeita em todas as situações. O DQS não é uma bala de prata que vence tudo para sempre. De fato, quando o orçamento é grande (10 amostras), os outros métodos às vezes alcançam ou até superam o DQS em dias específicos. Mas o achado mais importante é que qualquer uma dessas estratégias inteligentes de perguntar é melhor do que apenas adivinhar a linha sem perguntar a ninguém. Mesmo quando o especialista humano está cometendo erros, usar uma estratégia para escolher sobre quem perguntar ainda leva a melhores resultados do que o computador tentar adivinhar por conta própria.

Os autores concluem que, se você tem a chance de pedir ajuda a um especialista humano, você definitivamente deve fazê-lo, mas deve ser inteligente sobre quem você pergunta. Se você tem muito pouco tempo ou dinheiro para rotulagem, use o método DQS para escolher as amostras mais diversas. Se você está preocupado que seu especialista possa se cansar e cometer erros, a estratégia "Top" pode ser mais segura. O artigo não afirma ter resolvido o problema da detecção de anomalias para sempre, mas sugere que, ao sermos estratégicos sobre como pedimos ajuda, podemos chegar muito mais perto da resposta perfeita sem precisar de uma montanha de dados rotulados.

Resumo Técnico: DQS – Uma Estratégia de Consulta de Baixo Orçamento para Aperfeiçoar Abordagens de Detecção de Anomalias Baseadas em Dados Não Supervisionados

1. Declaração do Problema

Abordagens verdadeiramente não supervisionadas para detecção de anomalias em séries temporais são escassas na literatura. Métodos existentes frequentemente sofrem com limiares (thresholds) mal definidos, o que prejudica significativamente o desempenho da detecção. Embora algumas abordagens aleguem ser não supervisionadas, elas frequentemente dependem de subconjuntos de dados rotulados para calibração ou ajuste de hiperparâmetros, um recurso muitas vezes indisponível em cenários do mundo real. Mesmo quando existem métodos verdadeiramente não supervisionados (por exemplo, usando um Autoencoder Variacional Temporal, TeVAE), o processo de seleção do limiar permanece um gargalo crítico. Correia et al. [12] demonstraram uma lacuna significativa de desempenho entre o limiar não supervisionado e um limiar ideal, indicando um potencial inexplorado.

Além disso, a literatura existente de aprendizado ativo neste domínio tipicamente assume um "oráculo perfeito" (100% de precisão de rotulagem), uma suposição idealizada que ignora a realidade do erro humano, da fadiga e da dificuldade de rotular certas amostras. Há uma falta de pesquisa investigando como as taxas de erro de rotulagem impactam o desempenho da detecção de anomalias ao utilizar aprendizado ativo para a seleção de limiares.

2. Metodologia

2.1 Estrutura de Aprendizado Ativo

A abordagem proposta integra o aprendizado ativo em um pipeline existente de detecção de anomalias não supervisionado. O sistema opera em um ciclo envolvendo:

O Oráculo: Um especialista de domínio que rotula amostras não rotuladas como nominais ou anomalias.
O Modelo: Um detector de anomalias não supervisionado (especificamente o TeVAE) treinado em dados não rotulados.
A Estratégia de Consulta (Query Strategy): Um mecanismo para selecionar quais amostras de um conjunto de candidatos devem ser enviadas ao oráculo para rotulagem, limitado por um orçamento de consulta $B$ .
A Estratégia de Feedback: O processo de usar os novos dados rotulados para refinar o limiar de decisão, melhorando assim o desempenho da detecção.

2.2 Estratégia de Consulta Baseada em Dissimilaridade (DQS)

A principal contribuição deste trabalho é a Estratégia de Consulta Baseada em Dissimilaridade (DQS). Esta é uma estratégia não paramétrica projetada para maximizar a diversidade das amostras consultadas sem exigir parametrização prévia.

Mecanismo: A DQS avalia a similaridade entre os escores de anomalia de diferentes séries temporais usando Dynamic Time Warping (DTW). Diferente de métricas como o Erro Quadrático Médio (MSE), o DTW pode lidar com sequências de comprimentos variáveis e considera o desalinhamento temporal.
Lógica de Seleção:
1. Inicialização: Para a primeira consulta de uma rodada, uma amostra aleatória é selecionada do conjunto de escores candidatos ( $C_{as}$ ).
2. Maximização da Diversidade: Para consultas subsequentes dentro de uma rodada, o algoritmo identifica a amostra candidata que é mais dissimilar à amostra mais similar já presente no conjunto de consulta ( $Q_{as}$ ).
3. Processo:
  - Calcular a distância DTW entre todos os candidatos em $C_{as}$ e todas as amostras em $Q_{as}$ .
  - Identificar o candidato ( $o$ ) em $C_{as}$ que possui a distância mínima para qualquer amostra em $Q_{as}$ (o "mais similar").
  - Identificar o candidato ( $r$ ) em $C_{as}$ que possui a distância máxima para $o$ (o "mais dissimilar").
  - Mover $r$ para $Q_{as}$ .
Refinamento do Limiar: Uma vez que o orçamento $B$ é esgotado para uma rodada, as amostras rotuladas em $Q_{as}$ são usadas para realizar uma busca em grade (grid search) para um limiar ideal $\tau$ , substituindo o limiar não supervisionado padrão ( $\tau_{us}$ ).

2.3 Configuração Experimental

Conjunto de Dados: O dataset PATH, representando a dinâmica de propulsão automotiva, foi utilizado. Ele consiste em séries temporais multivariadas com anomalias não triviais.
Simulação de Condições do Mundo Real: Os dados foram divididos em janelas temporais crescentes (1 dia a 28 dias) para mimetizar o acúmulo gradual de dados.
Simulação de Erro de Rotulagem: Para testar a robustez, os rótulos de verdade fundamental (ground-truth) foram invertidos com base em uma distribuição de Bernoulli com probabilidades de erro de rotulagem ( $p_m$ ) de 0,1, 0,2 e 0,3.
Baselines (Linhas de Base):
- Limiar Não Supervisionado ( $\tau_{us}$ ): Erro máximo do conjunto de validação.
- Melhor Limiar Hipotético ( $\tau_{best}$ ): O limiar ideal encontrado via busca em grade no conjunto de teste (inobservável na prática).
- Estratégia de Consulta Aleatória (RQS): Seleção aleatória.
- Estratégia de Consulta Baseada em Topo (TQS): Seleção de amostras com os maiores escores de anomalia (baseada em incerteza em parte da literatura).
- Estratégia de Consulta Baseada em Incerteza (UQS): Seleção de amostras mais próximas do limiar atual.

3. Principais Contribuições

Nova Estratégia de Consulta (DQS): Introdução de uma estratégia de consulta não paramétrica que utiliza DTW para maximizar a diversidade de amostras no contexto de detecção de anomalias em sequências discretas.
Análise de Erro de Rotulagem: Uma metodologia de teste inovadora que contabiliza explicitamente as probabilidades de erro de rotulagem do oráculo, abordando uma lacuna na literatura onde a suposição de um "oráculo perfeito" é comum.
Integração de Aprendizado Ativo: Demonstração de um framework prático para combinar aprendizado ativo com modelos não supervisionados especificamente para refinar a seleção de limiares, em vez de retreinar o modelo em si.

4. Resultados

4.1 Desempenho vs. Orçamento de Consulta

Orçamentos Pequenos ( $B < 10$ ): A DQS superou consistentemente a RQS, TQS e UQS em várias divisões temporais (1 a 28 dias). Ela alcançou pontuações F1 significativamente mais próximas do melhor limiar hipotético ( $\tau_{best}$ ) do que o baseline não supervisionado.
Orçamentos Maiores ( $B = 10$ ): A DQS permaneceu competitiva, muitas vezes igualando ou superando outras estratégias, embora a TQS tenha mostrado um desempenho forte em divisões específicas.
Tendência Geral: Todas as estratégias de consulta superaram o limiar não supervisionado ( $\tau_{us}$ ) uma vez que o subconjunto de treinamento cresceu o suficiente para o modelo aprender representações significativas.

4.2 Impacto do Erro de Rotulagem

Robustez: Embora a DQS tenha performado melhor em cenários de baixo orçamento e rótulos limpos, a TQS demonstrou maior robustez ao enfrentar taxas mais altas de erro de rotulagem ( $p_m = 0,2, 0,3$ ).
Sensibilidade da DQS: O desempenho da DQS degradou-se de forma mais perceptível com o aumento das taxas de erro de rotulagem em comparação com a TQS, particularmente nas divisões temporais mais tardias.
Conclusão Geral: Apesar do erro de rotulagem, todas as estratégias de aprendizado ativo superaram o limiar puramente não supervisionado ( $\tau_{us}$ ). Mesmo com uma taxa de erro de 30%, os limiares baseados em aprendizado ativo produziram melhores pontuações F1 do que o baseline não supervisionado.

5. Significância e Alegações

Os autores alegam que este trabalho fornece uma solução prática para cenários onde dados rotulados são escassos, mas um oráculo (especialista humano) está disponível para consultas limitadas. A significância reside em:

Eficiência de Baixo Orçamento: A DQS é particularmente eficaz quando o custo de rotulagem é alto (orçamento pequeno), maximizando o ganho de informação por consulta ao garantir a seleção de amostras diversas.
Viabilidade do Aprendizado Ativo: O estudo valida que o emprego de um limiar baseado em aprendizado ativo é recomendado sempre que possível, pois consistentemente supera o limiar não supervisionado, mesmo na presença de rotulagem imperfeita.
Avaliação Realista: Ao introduzir probabilidades de erro de rotulagem, o artigo oferece uma avaliação mais realista das estratégias de aprendizado ativo em detecção de anomalias em séries temporais, indo além da suposição idealizada de um "oráculo perfeito".

O artigo conclui que, embora nenhuma estratégia única domine todas as categorias (a DQS se destaca em cenários de baixo orçamento/rótulos limpos; a TQS em cenários de alto erro de rotulagem), a integração do aprendizado ativo para a seleção de limiares é uma abordagem viável e superior aos métodos puramente não supervisionados. Sugere-se que trabalhos futuros foquem na padronização dos procedimentos de benchmarking e no desenvolvimento de estratégias de consulta que equilibrem a eficiência de baixo orçamento com a robustez ao erro de rotulagem.