Event Tokenization and Masked-Token Prediction for Anomaly Detection at the Large Hadron Collider

Este artículo propone un nuevo método de detección de anomalías no supervisado para el Gran Colisionador de Hadrones que utiliza redes ligeras basadas en codificadores similares a los LLM entrenadas en la predicción de tokens enmascarados para identificar nuevas señales de física, tales como la producción de cuatro quarks top, mediante la detección de desviaciones en la reconstrucción de eventos de fondo sin conocimiento previo de las características de la señal.

Lo esencial

Imagina el Gran Colisionador de Hadrones (LHC) como un enorme simulador de choques de coches de alta velocidad. Cada segundo, estrella partículas entre sí, creando una explosión caótica de escombros. Los físicos buscan un tipo de choque muy específico y poco común—como encontrar un rasguño particular y inusual en un coche que solo ocurre si una fuerza secreta e invisible está en juego. Este es el "señal".

El problema es que la mayoría de los choques se ven muy similares entre sí. Estos son el "ruido de fondo". En este artículo, los autores intentan encontrar una aguja en un pajar sin saber exactamente qué aspecto tiene la aguja de antemano.

Así es como lo hicieron, usando un truco ingenioso tomado de cómo las computadoras aprenden a leer y escribir.

1. Convirtiendo la física en un lenguaje

Los autores se dieron cuenta de que los datos de estos choques de partículas podían tratarse como una oración en un lenguaje.

• Las "Palabras": En lugar de letras, las "palabras" (o tokens) son las partículas que salen disparadas del choque. Algunas son chorros de energía, otras son electrones, otras son muones.
• La "Oración": Un único evento de choque es una oración compuesta por unos 18 de estas "palabras", más algunos números extra que describen la energía faltante total (como una pieza faltante de un rompecabezas).

Para que esto funcionara para una computadora, tuvieron que traducir estas partículas físicas a un código que la máquina entienda. Crearon un sistema donde cada tipo de partícula y su velocidad/dirección recibe un número específico, convirtiendo un complejo evento físico en una lista simple de números, como [3, 1, 5, 2, ...].

2. El juego de "Completar los espacios en blanco"

El equipo utilizó un tipo de Inteligencia Artificial llamada Modelo de Lenguaje de Gran Escala (LLM)—la misma tecnología que impulsa a los chatbots. Sin embargo, no le enseñaron a escribir historias. En su lugar, le enseñaron a jugar al juego de "Completar los espacios en blanco" usando únicamente los choques de "fondo" (los comunes y aburridos).

• El Entrenamiento: Le mostraron a la IA miles de choques normales, pero ocultaron una "palabra" (partícula) en cada oración. La IA tenía que adivinar cuál era la partícula faltante basándose en el resto de la oración.
• El Objetivo: La IA aprendió la "gramática" de los choques de partículas normales. Aprendió, por ejemplo, que "si veo un jet pesado aquí, usualmente espero un tipo específico de electrón allá".

3. Detectando la anomalía

Una vez que la IA se convirtió en una experta en predecir los choques "normales", la probaron con nuevos datos, incluyendo los choques de la "señal" rara que estaban buscando.

• La Prueba: Ocultaron una partícula en un evento de choque y le pidieron a la IA que la adivinara.
• El Resultado: Cuando la IA miraba un choque normal, adivinaba correctamente la mayoría de las veces. Pero cuando miraba el extraño choque de "cuatro quarks top", se confundía. Debido a que este evento raro no seguía la "gramática" del fondo normal, las suposiciones de la IA eran erróneas.
• La Alarma: Cuanto más equivocada estaba la IA, más probable era que el evento fuera una anomalía (la señal que buscaban).

4. ¿Qué tan bien funcionó?

Los autores probaron este método en una búsqueda de la producción de "cuatro quarks top" (un evento muy raro donde se crean cuatro partículas pesadas a la vez).

• La Puntuación: Midieron qué tan bien podía la IA separar los choques "normales" de los "raros". Obtuvieron una puntuación (llamada ROC-AUC) de 0.67.
• La Comparación: Compararon su método con otras formas establecidas de encontrar anomalías.
  • No superó al mejor método existente (llamado DDD).
  • Sin embargo, lo hizo mejor que otros dos métodos comunes (DeepSVDD y DROCC).

La Conclusión

El artículo afirma que tratar los datos de la física de partículas como un lenguaje y usar una IA de "completar los espacios en blanco" es una nueva y prometedora forma de encontrar eventos de física raros y desconocidos. Aunque aún no es la solución perfecta, identificó con éxito diferencias sutiles en los datos que otros métodos pasaron por alto, lo que sugiere que este enfoque basado en el "lenguaje" podría ser una herramienta valiosa para futuras descubrimientos en el LHC.

Resumen técnico

Resumen Técnico: Tokenización de Eventos y Predicción de Tokens Enmascarados para la Detección de Anomalías en el Gran Colisionador de Hadrones

Planteamiento del Problema
El artículo aborda el desafío de identificar firmas raras, más allá del Modelo Estándar (BSM), en los datos de colisiones de alta energía sin conocimiento previo de las características de la señal. Específicamente, los autores se centran en la búsqueda de la producción simultánea de cuatro quarks top ($t\bar{t}t\bar{t}$) en el Gran Colisionador de Hadrones (LHC). Este proceso es difícil de aislar porque su estado final (0–4 leptones, 4–12 jets, incluyendo cuatro jets $b$) se asemeja estrechamente a fondos complejos del Modelo Estándar (SM) como $t\bar{t}WW$, $t\bar{t}W$, $t\bar{t}Z$ y $t\bar{t}H$. Los autores proponen el uso de Modelos de Lenguaje de Gran Escala (LLM) como detectores de anomalías no supervisados para aprender la distribución de los eventos de fondo y señalar desviaciones que puedan indicar nueva física.

Metodología
El enfoque propuesto utiliza una red transformer ligera basada en codificador (encoder), entrenada mediante la predicción de tokens enmascarados, una técnica adaptada del procesamiento de lenguaje natural (específicamente BERT).

1. Conjunto de Datos y Preprocesamiento:

   • El estudio utiliza datos simulados de colisiones $pp$a$\sqrt{s} = 13$ TeV del desafío Dark Machines, generados con MG5_aMC@NLO, hadronizados con Pythia 8 y procesados a través de Delphes 3.
   • Los eventos se representan como secuencias de hasta 18 objetos de partículas (jets, leptones, fotones) más la energía transversal faltante ($E_T^{\text{miss}}$) y su ángulo azimutal ($\phi_{E_T^{\text{miss}}}$).
   • Los procesos de fondo ($t\bar{t}H, t\bar{t}W, t\bar{t}WW, t\bar{t}Z$) constituyen el conjunto de entrenamiento, mientras que el $t\bar{t}t\bar{t}$ sirve como señal para la evaluación.

2. Estrategia de Tokenización:

   • Un componente crítico del método es la conversión de variables cinemáticas continuas en tokens discretos.
   • Los tipos de partículas se mapean a 7 categorías predefinidas.
   • Las variables cinemáticas ($p_T, \eta, \phi, E_T^{\text{miss}}, \phi_{E_T^{\text{miss}}}$) se agrupan en bins. La configuración óptima divide $p_T, \eta$ y $E_T^{\text{miss}}$ en 4 bins (cada uno conteniendo el 25% de los datos de fondo) y $\phi$ y $\phi_{E_T^{\text{miss}}}$ en 4 bins de anchura $\pi/4$.
   • Estos bins se combinan en un token entero único para cada partícula ($token_{part} \in [1, 448]$) y para los componentes de la energía faltante ($token_{E_T^{\text{miss}}} \in [449, 452]$, $token_{\phi_{E_T^{\text{miss}}}} \in [453, 456]$).
   • Los eventos se rellenan (padding) hasta una longitud de secuencia fija de 18 partículas más los tokens de energía.

3. Arquitectura del Modelo y Entrenamiento:

   • El modelo consiste en dos capas transformer con cuatro cabezales de autoatención (self-attention) cada una, seguidas de una proyección lineal y una capa softmax.
   • Entrenamiento: El modelo se entrena exclusivamente con eventos de fondo utilizando un objetivo de predicción de token enmascarado. Se enmascara aleatoriamente un token por evento, y el modelo aprende a reconstruirlo utilizando una pérdida de Entropía Cruzada Categórica Dispersa (Sparse Categorical Cross-Entropy).
   • Inferencia: Durante las pruebas, todos los tokens de un evento se enmascaran y se reconstruyen uno por uno. Se calcula el puntaje de reconstrucción promedio (pérdida) para cada evento.

Contribuciones Clave

• Aplicación Novedosa: El artículo introduce el uso de arquitecturas tipo LLM para la detección de anomalías no supervisada en física de colisionadores, tratando los eventos de partículas como secuencias de tokens.
• Esquema de Tokenización: Propone un esquema específico de agrupación (binning) y codificación para transformar los datos continuos de la física de partículas a un formato adecuado para modelos basados en transformers.
• Búsqueda Independiente del Modelo: El método opera sin conocimiento de la señal, basándose únicamente en el rendimiento de la reconstrucción de los eventos de fondo para identificar anomalías.

Resultados

• Rendimiento en la Búsqueda de Cuatro Top: Al aplicarse a la señal $t\bar{t}t\bar{t}$, el modelo logró un Área Bajo la Curva de la Característica Operativa del Receptor (ROC-AUC) de 0.67.
• Solapamiento de Distribución: Las distribuciones del puntaje de reconstrucción para los eventos de fondo y de señal mostraron un área común del 70.85%, lo que indica un grado de solapamiento pero también la capacidad del modelo para distinguir entre ambas clases hasta cierto punto.
• Comparación: El método propuesto se comparó con métodos no supervisados establecidos (DDD, DeepSVDD y DROCC) del desafío Dark Machines. Los resultados indican que, si bien el enfoque basado en LLM no superó a las técnicas basadas en DDD, demostró un rendimiento mejorado sobre DeepSVDD y DROCC, posicionándolo como una técnica de detección de anomalías no supervisada competitiva.

Significancia y Reivindicaciones
Los autores caracterizan los resultados como preliminares pero prometedores. Afirman que el enfoque captura con éxito discrepancias sutiles en los datos de colisionadores y ofrece una representación basada en tokens flexible para búsquedas independientes del modelo. El artículo sugiere que, con una mayor optimización del esquema de tokenización y la arquitectura del modelo, este método podría convertirse en un candidato viable para mejorar la sensibilidad a procesos raros del Modelo Estándar y descubrir nuevas firmas de física en futuras análisis de alta energía. El trabajo no pretende haber superado a todos los métodos existentes, sino que destaca el potencial de adaptar las arquitecturas transformer a los desafíos estructurales específicos de los datos de la física de partículas.