Event Tokenization and Masked-Token Prediction for Anomaly Detection at the Large Hadron Collider

Este artigo propõe um novo método de detecção de anomalias não supervisionado para o Grande Colisor de Hádrons que utiliza redes leves, baseadas em codificador e semelhantes a LLMs, treinadas em predição de tokens mascarados para identificar sinais de nova física, como a produção de quatro quarks top, ao detectar desvios na reconstrução de eventos de fundo sem conhecimento prévio das características do sinal.

O essencial

Imagine o Grande Colisor de Hádrons (LHC) como um simulador de colisões de carros em alta velocidade e de grande escala. A cada segundo, ele colide partículas, criando uma explosão caótica de detritos. Os físicos estão procurando por um tipo de colisão muito específico e raro — como encontrar um arranhão específico e incomum em um carro que só acontece se uma força secreta e invisível estiver em jogo. Este é o "sinal".

O problema é que a maioria das colisões parece muito semelhante entre si. Elas são o "ruído de fundo". Neste artigo, os autores estão tentando encontrar uma agulha no palheiro sem saber exatamente como a agulha se parece antecipadamente.

Aqui está como eles fizeram isso, usando um truque inteligente emprestado de como os computadores aprendem a ler e escrever.

1. Transformando a Física em uma Linguagem

Os autores perceberam que os dados dessas colisões de partículas poderiam ser tratados como uma frase em um idioma.

• As "Palavras": Em vez de letras, as "palavras" (ou tokens) são as partículas que saem da colisão. Algumas são jatos de energia, outras são elétrons, outras são múons.
• A "Frase": Um único evento de colisão é uma frase composta por cerca de 18 dessas "palavras", além de alguns números extras que descrevem a energia total ausente (como uma peça faltando de um quebra-cabeça).

Para fazer isso funcionar para um computador, eles tiveram que traduzir essas partículas físicas em um código que a máquina entenda. Eles criaram um sistema onde cada tipo de partícula e sua velocidade/direção recebe um número específico, transformando um evento físico complexo em uma lista simples de números, como [3, 1, 5, 2, ...].

2. O Jogo de "Preencher as Lacunas"

A equipe usou um tipo de Inteligência Artificial chamada Modelo de Linguagem de Grande Escala (LLM) — a mesma tecnologia que alimenta os chatbots. No entanto, eles não a ensinaram a escrever histórias. Em vez disso, ensinaram-na a jogar um jogo de "Preencher as Lacunas" usando apenas as colisões de "fundo" (as comuns, entediantes).

• O Treinamento: Eles mostraram à IA milhares de colisões normais, mas esconderam uma "palavra" (partícula) em cada frase. A IA tinha que adivinhar qual era a partícula faltante com base no restante da frase.
• O Objetivo: A IA aprendeu a "gramática" das colisões normais de partículas. Ela aprendeu, por exemplo, que "Se eu vejo um jato pesado aqui, geralmente espero um tipo específico de elétron ali".

3. Detectando a Anomalia

Uma vez que a IA se tornou uma especialista em prever as colisões "normais", eles a testaram em novos dados, incluindo as colisões de "sinal" raras que estavam procurando.

• O Teste: Eles esconderam uma partícula em um evento de colisão e pediram à IA que a adivinhasse.
• O Resultado: Quando a IA olhava para uma colisão normal, ela acertava a maioria das vezes. Mas quando olhava para a estranha colisão de "quatro quarks top", ela ficava confusa. Como esse evento raro não seguia a "gramática" do fundo normal, os palpites da IA estavam errados.
• O Alarme: Quanto mais errada a IA estivesse, maior a probabilidade de o evento ser uma anomalia (o sinal que eles queriam).

4. O Quão Bem Funcionou?

Os autores testaram este método em uma busca pela produção de "quatro quarks top" (um evento muito raro onde quatro partículas pesadas são criadas de uma só vez).

• A Pontuação: Eles mediram o quão bem a IA conseguia separar as colisões "normais" das "raras". Eles obtiveram uma pontuação (chamada ROC-AUC) de 0,67.
• A Comparação: Eles compararam seu método com outras formas estabelecidas de encontrar anomalias.
  • Não superou o melhor método existente (chamado DDD).
  • No entanto, foi melhor do que outros dois métodos comuns (DeepSVDD e DROCC).

A Conclusão

O artigo afirma que tratar os dados da física de partículas como uma linguagem e usar uma IA de "preencher as lacunas" é uma nova e promissora maneira de encontrar eventos de física raros e desconhecidos. Embora ainda não seja a solução perfeita, o método identificou com sucesso diferenças sutis nos dados que outros métodos perderam, sugerindo que esta abordagem "baseada em linguagem" pode ser uma ferramenta valiosa para futuras descobertas no LHC.

Resumo técnico

Resumo Técnico: Tokenização de Eventos e Predição de Tokens Mascarados para Detecção de Anomalias no Grande Colisor de Hádrons

Declaração do Problema
O artigo aborda o desafio de identificar assinaturas raras, além do Modelo Padrão (BSM), em dados de colisões de alta energia sem conhecimento prévio das características do sinal. Especificamente, os autores focam na busca pela produção simultânea de quatro quarks top ($t\bar{t}t\bar{t}$) no Grande Colisor de Hádrons (LHC). Este processo é difícil de isolar porque seu estado final (0–4 léptons, 4–12 jets, incluindo quatro jets $b$) assemelha-se fortemente a fundos complexos do Modelo Padrão (SM), como $t\bar{t}WW$, $t\bar{t}W$, $t\bar{t}Z$ e $t\bar{t}H$. Os autores propõem o uso de Grandes Modelos de Linguagem (LLMs) como detectores de anomalias não supervisionados para aprender a distribuição de eventos de fundo e sinalizar desvios que possam indicar nova física.

Metodologia
A abordagem proposta utiliza uma rede transformer leve, baseada em codificador, treinada via predição de token mascarado, uma técnica adaptada do processamento de linguagem natural (especificamente o BERT).

1. Conjunto de Dados e Pré-processamento:

   • O estudo utiliza dados simulados de colisões $pp$a$\sqrt{s} = 13$ TeV do desafio Dark Machines, gerados com MG5_aMC@NLO, hadronizados com Pythia 8 e processados através do Delphes 3.
   • Os eventos são representados como sequências de até 18 objetos de partículas (jets, léptons, fótons) mais a energia transversal ausente ($E_T^{\text{miss}}$) e seu ângulo azimutal ($\phi_{E_T^{\text{miss}}}$).
   • Processos de fundo ($t\bar{t}H, t\bar{t}W, t\bar{t}WW, t\bar{t}Z$) constituem o conjunto de treinamento, enquanto o $t\bar{t}t\bar{t}$ serve como o sinal para avaliação.

2. Estratégia de Tokenização:

   • Um componente crítico do método é a conversão de variáveis cinemáticas contínuas em tokens discretos.
   • Tipos de partículas são mapeados para 7 categorias predefinidas.
   • As variáveis cinemáticas ($p_T, \eta, \phi, E_T^{\text{miss}}, \phi_{E_T^{\text{miss}}}$) são agrupadas em bins. A configuração ideal divide $p_T, \eta$ e $E_T^{\text{miss}}$ em 4 bins (cada um contendo 25% dos dados de fundo) e $\phi$ e $\phi_{E_T^{\text{miss}}}$ em 4 bins de largura $\pi/4$.
   • Esses bins são combinados em um token inteiro único para cada partícula ($token_{part} \in [1, 448]$) e para os componentes da energia ausente ($token_{E_T^{\text{miss}}} \in [449, 452]$, $token_{\phi_{E_T^{\text{miss}}}} \in [453, 456]$).
   • Os eventos são preenchidos (padded) para um comprimento de sequência fixo de 18 partículas mais os tokens de energia.

3. Arquitetura do Modelo e Treinamento:

   • O modelo consiste em duas camadas de transformer com quatro cabeças de autoatenção cada, seguidas por uma projeção linear e uma camada softmax.
   • Treinamento: O modelo é treinado exclusivamente em eventos de fundo usando um objetivo de predição de token mascarado. Um token por evento é aleatoriamente mascarado, e o modelo aprende a reconstruí-lo usando a perda de Entropia Cruzada Categórica Esparsa (Sparse Categorical Cross-Entropy).
   • Inferência: Durante o teste, todos os tokens em um evento são mascarados e reconstruídos um a um. A pontuação média de reconstrução (perda) é calculada para cada evento.

Principais Contribuições

• Aplicação Inovadora: O artigo introduz o uso de arquiteturas do tipo LLM para detecção de anomalias não supervisionada em física de colisores, tratando eventos de partículas como sequências de tokens.
• Esquema de Tokenização: Propõe um esquema específico de agrupamento (binning) e codificação para transformar dados contínuos de física de partículas em um formato adequado para modelos baseados em transformer.
• Busca Independente de Modelo: O método opera sem conhecimento do sinal, baseando-se apenas no desempenho de reconstrução dos eventos de fundo para identificar anomalias.

Resultos

• Desempenho na Busca de Quatro Tops: Quando aplicado ao sinal $t\bar{t}t\bar{t}$, o modelo alcançou uma Área Sob a Curva da Característica de Operação do Receptor (ROC-AUC) de 0,67.
• Sobreposição de Distribuição: As distribuições de pontuação de reconstrução para eventos de fundo e de sinal mostraram uma área comum de 70,85%, indicando um grau de sobreposição, mas também a capacidade do modelo de distinguir entre as duas classes até certo ponto.
• Comparação: O método proposto foi comparado com métodos não supervisionados estabelecidos (DDD, DeepSVDD e DROCC) do desafio Dark Machines. Os resultados indicam que, embora a abordagem baseada em LLM não tenha superado as técnicas baseadas em DDD, ela demonstrou um desempenho superior ao DeepSVDD e DROCC, posicionando-se como uma técnica competitiva de detecção de anomalias não supervisionada.

Significância e Alegações
Os autores caracterizam os resultados como preliminares, mas promissores. Eles alegam que a abordagem captura com sucesso discrepâncias sutis nos dados de colisão e oferece uma representação flexível baseada em tokens para buscas independentes de modelo. O artigo sugere que, com a otimização adicional do esquema de tokenização e da arquitetura do modelo, este método pode se tornar um candidato viável para melhorar a sensibilidade a processos raros do Modelo Padrão e descobrir novas assinaturas de física além do Modelo Padrão em futuras análises de alta energia. O trabalho não pretende ter superado todos os métodos existentes, mas destaca o potencial de adaptar arquiteturas de transformer aos desafios estruturais específicos dos dados de física de partículas.