Sensitivity to New Physics Phenomena in Anomaly Detection: A Study of Untunable Hyperparameters

Este artigo avalia sistematicamente a sensibilidade de quatro métodos de detecção de anomalias semissupervisonados a hiperparâmetros não ajustáveis na busca por física Além do Modelo Padrão e propõe um teste de permutação robusto e não paramétrico para avaliação estatística.

O essencial

Imagine que você é um detetive tentando encontrar um ladrão único, minúsculo e invisível em uma multidão massiva de 10 milhões de pessoas inocentes. Você não sabe a aparência do ladrão, não sabe o que ele está vestindo e nem sequer sabe se ele realmente está lá. Você só sabe como as pessoas "normais" se parecem.

Este é exatamente o desafio que os físicos de partículas enfrentam no Grande Colisor de Hádrons (LHC). Eles colidem prótons para criar uma tempestade de partículas. Na maioria das vezes, essas partículas se comportam exatamente como previsto pelo "Modelo Padrão" (o livro de regras da física). Mas, às vezes, uma nova partícula desconhecida pode aparecer — um sinal de "Nova Física". O objetivo é detectar esse estranho sem saber previamente qual é a sua aparência.

Este artigo é um estudo sobre como construir as melhores ferramentas de "encontre a diferença" (chamadas algoritmos de Detecção de Anomalias), especificamente focando em um problema complicado: O quanto a configuração do "botão" interno da ferramenta importa se você não puder ajustá-lo?

Aqui está a divisão de suas descobertas usando analogias simples:

1. As Ferramentas: Quatro Maneiras Diferentes de Detectar o Ladrão

Os pesquisadores testaram quatro algoritmos de computador diferentes, cada um com uma forma diferente de entender o que é "normal":

• Auto-Encoders (AE) & Deep-SVDD: Pense nestes como artistas de memória de alta tecnologia. Eles são treinados para memorizar os rostos das 10 milhões de pessoas inocentes. Quando uma nova pessoa entra, o artista tenta desenhá-la a partir da memória. Se o desenho não se parece nada com a pessoa real (um alto "erro de reconstrução"), o artista grita: "Anomalia!"
• Isolation Forest (iForest): Imagine um jogo de "Cortar o Bolo". Você continua fatiando a multidão aleatoriamente. Pessoas normais estão no meio da multidão, então leva muitas fatias para isolá-las. Um ladrão parado sozinho na borda é isolado com apenas uma ou duas fatias. O algoritmo conta quantas fatias foram necessárias para isolar uma pessoa. Menos cortes = mais suspeito.
• Histogram-based Outlier Score (HBOS): Isso é como um censo. Eles contam quantas pessoas caem em categorias específicas (ex: "usando chapéu", "segurando uma bolsa"). Se uma pessoa cai em uma categoria que está quase vazia, ela é marcada como uma anomalia.

2. O Problema: Os Botões "Não Ajustáveis"

Cada uma dessas ferramentas tem uma configuração que é difícil de ajustar porque você não possui uma "chave de respostas de teste" (já que você ainda não sabe como é a nova física).

• Para os Artistas de Memória, é o tamanho do seu "caderno de esboços" (quanta detalhe eles conseguem lembrar).
• Para o Cortador de Bolo, é o número de fatias que eles podem fazer.
• Para o Censor, é quantas categorias eles criam.

Os pesquisadores perguntaram: "Se mudarmos essas configurações, nossa capacidade de encontrar o ladrão muda drasticamente?"

3. As Descobertas: Estabilidade Surpreendente

O estudo descobriu algo tranquilizador: As ferramentas são surpreendentemente robustas.

• O Mito do "Ponto Ideal": Você pode pensar que existe uma configuração perfeita (nem muito grande, nem muito pequena) para o caderno de esboços ou para o número de fatias. Os pesquisadores descobriram que, para a maioria dos sinais, isso não importa muito. Quer o caderno seja pequeno ou enorme, o artista ainda detecta o ladrão quase no mesmo tempo.
• Profundo vs. Raso: As ferramentas mais simples (iForest e HBOS) e as ferramentas de aprendizado profundo mais complexas (AE e Deep-SVDD) tiveram um desempenho semelhante. As ferramentas complexas não se tornaram magicamente muito melhores só por serem mais "profundas".
• A Regra da "Melhor Característica": O estudo mostrou que esses algoritmos inteligentes são basicamente tão bons quanto a melhor medição física individual que você poderia realizar (como "quão pesada é esta partícula?"). Eles conseguem encontrar o ladrão sem precisar que lhes digam qual medição é a melhor.

4. A Reviravolta: Como Você Mede o "Sucesso" Importa

Esta é a parte mais crítica do artigo. Os pesquisadores testaram duas maneiras diferentes de julgar se as ferramentas estavam funcionando:

• Método A (A Pontuação Padrão): Eles usaram uma pontuação padrão chamada ROC AUC. Isso é como um professor corrigindo uma prova onde ele conhece as respostas certas.
  • Resultado: As ferramentas pareceram ótimas, e as configurações não importavam muito.
• Método B (O Teste do Mundo Real): Eles usaram um Teste de Permutação com uma nova estatística chamada Cramér's (Cr). Isso é como um juiz olhando para dois montes de evidências (um monte de pessoas conhecidamente inocentes, um monte de dados misturados) e perguntando: "Esses dois montes são estatisticamente diferentes?"
  • Resultado: Foi aqui que as coisas ficaram interessantes. As ferramentas de Aprendizado Profundo (os Artistas de Memória) de repente pareceram muito melhores do que as ferramentas simples.
  • Por quê? As ferramentas simples entregam pontuações que são "limitadas" (elas não podem subir muito). As ferramentas profundas entregam pontuações que podem subir infinitamente se a anomalia for estranha o suficiente. O novo teste estatístico (Cr) é muito bom em capturar esses valores atípicos extremos e de "cauda longa", enquanto o antigo padrão de teste os ignorava.

5. A Conclusão: Não Aposte em um Único Cavalo

O artigo conclui com alguns pontos fundamentais para os físicos:

1. Não se estresse demais com os "botões": Como o desempenho não muda drasticamente com diferentes configurações, você não precisa passar anos tentando encontrar a configuração perfeita para o seu detector de anomalias.
2. Use a régua certa: Se você quer encontrar nova física, não use apenas a "pontuação de teste" padrão (ROC AUC). Use o novo teste estatístico (Cramér) porque ele é melhor em detectar os valores atípicos extremos e estranhos que o aprendizado profundo encontra.
3. Combine suas ferramentas: Diferentes ferramentas detectam coisas diferentes. O "Artista de Memória" (AE) e o "Localizador de Centro Profundo" (Deep-SVDD) às vezes detectam tipos diferentes de anomalias. Usá-los juntos é melhor do que usar apenas um.

Em resumo: O artigo diz que essas ferramentas de detecção de anomalias são sólidas e confiáveis. Elas não precisam de um ajuste perfeito para funcionar, mas precisam da régua estatística certa para medir seu sucesso, e usar uma combinação de diferentes ferramentas oferece a melhor chance de capturar o ladrão invisível.

Resumo técnico

Resumo Técnico: Sensibilidade a Fenômenos de Nova Física em Detecção de Anomalias

Enunciado do Problema
A busca por física além do Modelo Padrão (BSM) em experimentos de colisores depende cada vez mais de estratégias independentes de modelo para evitar a perda de sinais inesperados. Embora as técnicas de Detecção de Anomalias (AD) tenham sido extensivamente estudadas para identificar desvios das distribuições do Modelo Padrão (SM), a sensibilidade desses métodos a hiperparâmetros "não ajustáveis" não foi sistematicamente comparada. Em configurações semissupervisionadas, onde os modelos são treinados exclusivamente em dados de fundo do SM sem acesso a rótulos de sinal, hiperparâmetros como dimensões do espaço latente ou o número de bins não podem ser otimizados via métricas de validação padrão. Consequentemente, há uma falta de compreensão sobre como esses parâmetros fixos influenciam a capacidade dos modelos de AD de detectar nova física. Além disso, a interpretabilidade estatística continua sendo um desafio, pois os escores de anomalia carecem de medidas de significância bem definidas para buscas agnósticas ao sinal.

Metodologia
Este estudo investiga quatro métodos de AD semissupervisionados treinados exclusivamente em eventos de fundo do SM simulados (colisões próton-próton a $\sqrt{s}=13$ TeV, apresentando dois léptons, um jato de bottom e grande $H_T$). Os métodos avaliados incluem:

1. Auto-Encoders (AE): Redes neurais profundas treinadas para minimizar o erro de reconstrução.
2. Deep Support Vector Data Description (Deep-SVDD): Redes profundas que mapeiam dados para uma hiperesfera para minimizar a distância de um centro.
3. Histogram-based Outlier Score (HBOS): Um método raso que estima a densidade de probabilidade via histogramas de características.
4. Isolation Forest (iForest): Um método baseado em árvores que isola anomalias via partições aleatórias.

Os modelos foram testados contra seis diversos sinais de referência BSM (Quarks Vetoriais Pesados, Mudanças de Flavour Neutras, Radion de Randall-Sundrum, Modelo de Dois Dubletos de Higgs e Modelo Simétrico Esquerda-Direita).

A análise procede em duas etapas:

1. Sensibilidade de Hiperparâmetros: Os autores avaliam a sensibilidade de cada método a hiperparâmetros específicos não ajustáveis (ex: dimensão do espaço latente para AE/Deep-SVDD, número de estimadores para iForest, número de bins para HBOS) usando a Área Sob a Curva da Característica de Operação do Receptor (ROC AUC) como métrica de discriminação.
2. Significância Estatística: Para abordar a falta de rótulos de sinal em buscas reais, o artigo propõe um teste de permutação não paramétrico usando estatísticas agnósticas ao sinal. Duas estatísticas de teste são introduzidas:
   • $M_\Delta$: A diferença máxima entre funções de distribuição cumulativa empíricas (eCDFs), inspirada no teste Kolmogorov-Smirnov.
   • Estatística de Cramér ($Cr$): A integral da diferença ao quadrado entre eCDFs, notada por sua sensibilidade às caudas da distribuição.
     O teste de permutação avalia a hipótese nula ($H_0$) de que a amostra de análise (dados) e a amostra de controle (simulação SM) originam-se da mesma distribuição.

Principais Contribuições

• Análise Sistemática de Hiperparâmetros: O artigo fornece um estudo comparativo de como hiperparâmetros não ajustáveis afetam o desempenho de quatro arquiteturas distintas de AD através de múltiplos cenários BSM.
• Desacoplamento de Reconstrução e Sensibilidade: O estudo demonstra que, para Auto-Encoders, a melhoria na qualidade da reconstrução do fundo (medida por $R^2$) não necessariamente correlaciona com uma melhoria na discriminação de sinal. A sensibilidade depende da diferença relativa no erro de reconstrução entre sinal e fundo, em vez da qualidade absoluta da reconstrução do fundo.
• Estrutura Estatística Agnóstica ao Sinal: Os autores introduzem uma estrutura de teste estatístico robusta usando testes de permutação e a estatística $Cr$. Isso permite a avaliação de evidências de nova física sem conhecimento prévio da hipótese de sinal, abordando as limitações da ROC AUC em contextos agnósticos ao sinal (ex: insensibilidade a distribuições simétricas).

Resultados

• Estabilidade de Hiperparâmetros: Na maioria dos sinais BSM e métodos de AD, a escolha de hiperparâmetros não ajustáveis resultou em variação negligenciável na ROC AUC. Os métodos semissupervisionados geralmente performaram tão bem quanto a característica individual mais discriminante para cada sinal, independentemente da configuração específica do hiperparâmetro.
• Divergência de Métricas: Embora métodos rasos (HBOS, iForest) frequentemente tenham superado o Deep-SVDD em termos de ROC AUC, o teste de permutação usando a estatística $Cr$ revelou que métodos de aprendizado profundo (AE e Deep-SVDD) alcançaram p-valores menores (maior sensibilidade) para muitos sinais. Essa discrepância é atribuída à natureza de cauda longa dos escores de anomalia de aprendizado profundo, que a estatística $Cr$ captura efetivamente, enquanto os escores limitados de métodos rasos e a estatística $M_\Delta$ não o fazem.
• Eficácia da Estatística de Teste: A estatística $M_\Delta$ falhou em produzir evidências para novos fenômenos (p-valores medianos $> 0,05$) em todos os sinais e métodos. Em contraste, a estatística $Cr$ identificou desvios, particularmente para modelos de aprendizado profundo, destacando a importância crítica de selecionar uma estatística de teste apropriada para o domínio do discriminante.
• Complementaridade: Os resultados indicam complementaridade de sensibilidade entre AE e Deep-SVDD, sugerindo que diferentes métodos de AD capturam diferentes noções de anomalias.

Significância e Alegações
O artigo afirma que a escolha de hiperparâmetros não ajustáveis em modelos de AD semissupervisionados impacta significativamente a sensibilidade de busca, embora esse impacto não seja sempre monotônico ou previsível via métricas padrão como a ROC AUC. Os autores argumentam que confiar em um único modelo ou métrica é insuficiente; em vez disso, estratégias que agregam resultados de modelos com variados hiperparâmetros devem ser exploradas.

Crucialmente, o trabalho estabelece um caminho para buscas puramente semissupervisionadas ao introduzir um teste estatístico capaz de rejeitar a hipótesia "apenas SM" sem suposições específicas de sinal. Os autores concluem modestamente que, embora seu teste de permutação e a estatística $Cr$ ofereçam um método robusto para quantificar desvios, o teorema do "não há almoço grátis" se aplica: nenhum modelo de AD ou configuração de hiperparâmetro único supera todos os outros para todas as tarefas, necessitando de abordagens metodológicas diversas em buscas futuras.