How to pick the best anomaly detector?

Este artigo apresenta a métrica ARGOS baseada em dados, uma ferramenta teoricamente fundamentada e empiricamente robusta para selecionar os modelos de detecção de anomalias mais sensíveis de forma agnóstica ao modelo, demonstrando sua superioridade sobre métricas existentes, como a perda de entropia cruzada binária, em tarefas como ajuste de hiperparâmetros e seleção de características.

O essencial

Imagine que você é um detetive tentando encontrar um ladrão único, minúsculo e invisível escondido em uma multidão massiva de 1.000.000 de pessoas inocentes. Isso é essencialmente o que os físicos no Large Hadron Collider (LHC) fazem quando procuram por "nova física" (como uma nova partícula) escondida dentro de um mar de dados comuns.

O problema não é apenas encontrar o ladrão; é que eles não sabem qual é a aparência do ladrão. Eles não podem dizer: "Procure por um cara de chapéu vermelho". Em vez disso, eles têm que usar programas de computador (detectores de anomalias) para identificar qualquer pessoa que pareça estranha ou fora de lugar em comparação com a multidão.

Por muito tempo, os cientistas tiveram um grande problema: Como decidir qual programa de computador é o melhor detetive?

Normalemente, para testar um detetive, você daria a ele uma fila de criminosos conhecidos e veria quem captura. Mas, neste caso, os "criminosos" (a nova física) são desconhecidos. Se você testar seu detetive em um criminoso falso, pode acabar escolhendo um detetive que é ótimo em pegar aquele criminoso falso específico, mas terrível em encontrar o ladrão real.

Este artigo apresenta uma nova e inteligente maneira de escolher o melhor detetive sem nunca precisar ver o criminoso. Eles chamam essa nova ferramenta de ARGOS.

A Ideia Central: O "Template de Background"

Para entender o ARGOS, imagine que você tem uma multidão massiva de pessoas inocentes (o "Background"). Você também tem uma área específica onde o ladrão provavelmente está escondido (a "Região de Sinal").

• O Jeito Antigo (Perda BCE): Tradicionalmente, os cientistas treinavam seus computadores perguntando: "Você consegue distinguir entre este criminosiro falso e a multidão inocente?". Eles usavam uma pontuação chamada "Entropia Cruzada Binária" (BCE). O problema é que essa pontuação é como um professor dando nota a um aluno em uma prova cujas respostas ele já conhece. O computador fica muito bom em detectar pequenas diferenças aleatórias entre a multidão e o criminoso falso, mas falha em detectar a estranheza real do ladrão de verdade. É como um aluno que memoriza as respostas da prova, mas reprova no exame real.

• O Novo Jeito (ARGOS): O ARGOS muda o jogo. Em vez de perguntar ao computador para distinguir entre dois grupos, ele pergunta: "Se você escolher os 10% de pessoas mais estranhas da multidão, quantas delas estão realmente na 'Zona do Ladrão' em comparação com quantas você esperaria por pura sorte?"

Pense da seguinte forma:

1. Você tem um mapa de onde o ladrão deveria estar (a Região de Sinal).
2. Você tem um "Template de Background", que é um mapa perfeito de como a multidão inocente se parece naquela mesma área.
3. O ARGOS verifica: "Se eu escolher as pessoas de aparência mais suspeita, o número de pessoas que eu encontro na 'Zona do Lãder' aumenta significativamente mais do que o esperado pela multidão inocente?"

Se a resposta for "Sim, muito mais do que o esperado", o ARGOS dá a esse detetive uma pontuação alta. Se a resposta for "Não, é apenas ruído aleatório", a pontuação é baixa.

Por que o ARGOS é Melhor?

Os autores testaram esta nova métrica contra o padrão antigo (BCE) usando três tipos diferentes de "detetives" (modelos de aprendizado de máquina) e três maneiras diferentes de criar o mapa da "multidão inocente".

Aqui está o que eles descobriram, usando analogias simples:

1. Escolhendo o Melhor "Dia de Treinamento" (Seleção de Época)
Imagine treinar um detetive por 100 dias. No dia 10, ele pode estar razoável. No dia 50, ele é ótimo. No dia 90, ele pode ficar confuso e começar a ver fantasmas (overfitting).

• O Jeito Antigo: A pontuação BCE dizia para interromper o treinamento no dia 20 porque a "pontuação do teste" parecia boa. Mas o detetive estava apenas memorizando o teste, não aprendendo a detectar o ladrão.
• O Novo Jeito (ARGOS): O ARGOS esperou até o dia 50. Ele ignorou os detalhes pequenos e confusos e focou no quadro geral: "Estamos realmente encontrando mais pessoas na zona do ladrão?". Ele selecionou com sucesso os dias em que o detetive estava realmente afiado.

2. Ajustando as Configurações do Detetive (Hiperparâmetros)
Detetives têm configurações (como a sensibilidade de seus olhos).

• O Jeito Antigo: Ajustar as configurações para minimizar a "pontuação de teste" muitas vezes tornava o detetive sensível demais ao ruído. Eles sinalizavam pessoas inocentes como suspeitas apenas porque elas piscaram de forma diferente.
• O Novo Jeito (ARGOS): Ajustar as configurações para maximizar o ARGOS tornou o detetive melhor em ignorar o ruído e focar nas anomalias reais. Foi muito mais estável, especialmente quando o "ladrão" era muito difícil de encontrar (sinal baixo).

3. Escolhendo o Detetive Certo (Seleção de Arquitetura)
Às vezes, você tem que escolher entre um detetive humano, um robô ou um cachorro.

• O Jeito Antigo: A pontuação BCE frequentemente escolhia o tipo de detetive "errado", levando a resultados inconsistentes. Às vezes, escolhia um robô que era ótimo no teste, mas inútil no campo.
• O Novo Jeito (ARGOS): Ele consistentemente escolheu a arquitetura que performava melhor no cenário real, mesmo quando o mapa da "multidão inocente" não era perfeito.

O Teste do "Mundo Real"

Os autores não fizeram isso apenas com dados perfeitos e inventados. Eles usaram um conjunto de dados realista chamado "LHC Olympics", que simula as condições barulhentas e caóticas de um experimento de física real.

Eles descobriram que, mesmo quando o "Template de Background" (o mapa da multidão inocente) não era perfeito, o ARGOS ainda funcionava. Ele era robusto. Não se confundiu com o ruído.

A Conclusão

O artigo afirma que o ARGOS é a melhor ferramenta que temos no momento para escolher o melhor detector de anomalias para encontrar nova física.

• É "Independente de Modelo" (Model-Agnostic): Não importa que tipo de nova física você esteja procurando. Ele apenas busca por qualquer estranheza.
• É "Baseado em Dados" (Data-Driven): Você não precisa saber como o sinal se parece para usá-lo. Você só precisa de um bom mapa do background.
• Ele supera o padrão antigo: Em cada teste realizado (escolha de dias de treinamento, ajuste de configurações, escolha de modelos), o ARGOS levou a melhores resultados do que a tradicional pontuação de "Entropia Cruzada Binária".

Em resumo, se você está tentando encontrar uma agulha em um palheiro sem saber como a agulha se parece, o ARGOS é a nova e mais inteligente maneira de escolher o ímã que irá encontrá-la.

Resumo técnico

Resumo Técnico: Seleção do Melhor Detector de Anomalias via Métrica ARGOS

Definição do Problema
A rápida proliferação de métodos de aprendizado de máquina (ML) agnósticos a modelos para detecção de anomalias no Grande Colisor de Hádrons (LHC) — como autoencoders e classificadores fracamente supervisionados — criou um desafio significativo: como selecionar objetivamente o "melhor" detector de anomalias para um determinado conjunto de dados sem depender de modelos de sinal específicos. Atualmente, a área carece de uma abordagem sistemática para otimização de modelos. Os pesquisadores normalmente dependem de métricas como a Perda de Entropia Cruzada Binária (BCE) ou a Área Sob a Curva (AUC), que exigem rótulos de verdade e sinais de referência. No entanto, em um cenário real de detecção de anomalias, o sinal é desconhecido; confiar em sinais de referência específicos para ajustar modelos corre o risco de enviesar a busca contra os sinais reais presentes nos dados. Consequentemente, as análises experimentais existentes muitas vezes carecem de otimização sistemática de modelos, recorrendo aos parâmetros das publicações originais dos métodos ou utilizando pequenos conjuntos de sinais de referência para o ajuste.

Metodologia: A Métrica ARGOS
Para abordar isso, os autores introduzem o ARGOS (Above Random Gain Of SIC), uma métrica totalmente orientada por dados projetada para selecionar o detector de anomalias mais sensível. A métrica requer apenas os dados não rotulados e um Template de Background (BT) — uma amostra de eventos que seguem a distribuição de background do Modelo Padrão (SM) na região de sinal (SR).

O ARGOS é definido como:
$$\text{ARGOS} = \frac{\epsilon_{SR}}{\sqrt{\epsilon_{BT}}} - \sqrt{\epsilon_{BT}}$$
onde $\epsilon_{SR}$ e $\epsilon_{BT}$ são as eficiências de seleção de eventos na região de sinal e no template de background, respectivamente, para um determinado limiar de escore de anomalia.

A análise teórica demonstra que, para um template de background ideal, o ARGOS é monotônico com a Característica de Melhoria de Significância (SIC), definida como $\text{SIC} = \epsilon_S / \sqrt{\epsilon_B}$. Diferente da SIC, que não pode ser calculada para dados reais não rotulados, o ARGOS é acessível usando apenas os dados e o template de background. Os autores argumentam que maximizar o ARGOS maximiza efetivamente a sensibilidade a sinais desconhecidos, permitindo simultaneamente a otimização do ponto de operação do detector de anomalias.

Configuração Experimental
Os autores avaliaram o ARGOS utilizando o conjunto de dados de R&D LHC Olympics 2020 (LHCO), apresentando $10^6$ eventos de background de dijets QCD e sinais de ressonância $W'$ injetados ($m_{W'} = 3.5$ TeV). Eles testaram três métodos distintos para a construção do template de background:

1. Detector de Anomalia Idealizado (IAD): Utiliza eventos de background simulados (BT perfeito).
2. CWoLa Hunting: Utiliza dados de sidebands curtos adjacentes à região de sinal.
3. CATHODE: Utiliza estimativa de densidade condicional para interpolar distribuições de sideband para a região de sinal.

Três arquiteturas de classificador foram empregadas: Perceptrons de Camadas Múltiplas (MLP), HistGradientBoosting (HGB) e AdaBoost. O estudo focou na detecção de anomalias ressonantes fracamente supervisionadas, onde um classificador distingue entre conjuntos de rótulos mistos.

Resultos Principais
O artigo compara o ARGOS com a perda BCE padrão e a métrica supervisionada "max SIC" através de quatro tarefas de otimização:

1. Seleção de Épocas: Ao selecionar as melhores épocas de treinamento para o ensemble, modelos otimizados via ARGOS superaram consistentemente aqueles selecionados via BCE. A BCE frequentemente falhou em identificar as épocas ideais, particularmente em baixas injeções de sinal, porque é dominada pela classe majoritária de background e propensa ao sobreajuste (overtraining) em flutuações estatísticas. O ARGOS, focando em eventos de alto escore de anomalia, acompanhou muito mais de perto a verdadeira sensibilidade de sinal (max SIC).
2. Otimização de Hiperparâmetros: Em buscas aleatórias sobre espaços de hiperparâmetros, o ARGOS mostrou uma forte correlação com a verdadeira max SIC, superando significativamente a BCE. A otimização da BCE frequentemente levou a configurações subótimas que minimizavam a perda em diferenças de background em vez de aumentar a sensibilidade ao sinal.
3. Seleção de Arquitetura: Ao escolher entre diferentes arquiteturas de classificador (NN vs. HGB vs. AdaBoost), o ARGOS selecionou arquiteturas que produziram desempenho quase idêntico ao benchmark de max SIC supervisionado. Em contraste, a seleção baseada em BCE resultou em maior variância de desempenho e, em alguns casos (ex: CWoLa Hunting), selecionou arquiteturas inferiores.
4. Seleção de Características: Um estudo de prova de conceito demonstrou que o ARGOS poderia identificar com sucesso os conjuntos de características mais sensíveis (ex: razões de subjettiness estendidas) sem conhecimento prévio do sinal, selecionando confiavelmente o conjunto "Extended 3" em altas injeções de sinal.

Significância e Alegações
Os autores afirmam que o ARGOS fornece uma fundamentação teórica sólida para a seleção de modelos em detecção de anomalias, oferecendo uma alternativa robusta e orientada por dados às métricas que dependem de rótulos de verdade. A principal significância deste trabalho é a demonstração de que o ARGOS pode selecionar robustamente o modelo de detecção de anomalias mais sensível, ajustar hiperparâmetros e escolher arquiteturas sem introduzir viés de sinal.

O artigo enfatiza que o ARGOS não se limita ao contexto específico de supervisão fraca testado, mas é aplicável a qualquer método de detecção de anomalias (incluindo autoencoders e estimadores de densidade), desde que um template de background esteja disponível. Eles concluem que, embora o ARGOS seja atualmente mais eficaz com templates de background precisos, ele representa um passo crítico em direção à otimização sistemática e agnóstica a modelos em buscas de alta energia na física. Eles observam que trabalhos futuros são necessários para estudar potenciais vieses introduzidos por templates de background imperfeitos em tarefas de seleção de características.