Transformer-Based Pulse Shape Discrimination in HPGe Detectors with Masked Autoencoder Pre-training

Este artículo demuestra que los modelos basados en transformadores, especialmente aquellos pre-entrenados con autoencoders enmascarados (MAE), superan a los métodos tradicionales basados en árboles de decisión para la discriminación de formas de pulso en detectores de germanio de alta pureza, logrando una mayor precisión y una mayor eficiencia en el uso de datos etiquetados.

Lo esencial

¡Hola! Imagina que este artículo es la historia de cómo un grupo de científicos aprendió a "escuchar" mejor los susurros del universo para encontrar algo increíblemente raro y valioso.

Aquí tienes la explicación de su trabajo, traducida a un lenguaje sencillo y con algunas analogías divertidas:

🌌 El Gran Objetivo: Buscar una Aguja en un Pajarraco Cósmico

Imagina que estás buscando una aguja específica en un pajarraco gigante. Esa "aguja" es un evento llamado doble desintegración beta sin neutrinos. Es un evento tan raro que podría ocurrir una vez cada billón de billones de años. Si lo encontramos, nos diría que los neutrinos son sus propias antipartículas (como un espejo que se mira a sí mismo), lo cual cambiaría nuestra comprensión del universo.

Para encontrarla, usan unos detectores de germanio súper puros (como cámaras de alta resolución) que están enterrados bajo tierra para evitar el ruido de la radiación normal.

🎧 El Problema: El "Ruido" vs. La "Música"

Cuando una partícula golpea el detector, genera una señal eléctrica, como un pequeño "golpe" o una onda.

• La señal buena (la aguja): Es una onda limpia y simple.
• El ruido de fondo (el pajarraco): Son millones de otras partículas (como rayos gamma o partículas alfa de la superficie) que generan ondas más complejas o "sucias".

El desafío es separar la señal buena del ruido. Antes, los científicos usaban reglas manuales: "Si la onda tiene esta forma, la aceptamos; si tiene aquel pico, la tiramos". Era como intentar identificar una canción solo mirando la altura de una sola nota. Funcionaba, pero perdían mucha información.

🤖 La Solución: Entrenar a un "Oído Musical" Inteligente

Los autores de este paper decidieron no usar reglas manuales, sino enseñar a una Inteligencia Artificial (IA) a escuchar la canción completa (la forma de onda entera) para distinguir la buena de la mala.

Usaron un tipo de IA muy potente llamada Transformer (la misma tecnología que usan los chatbots como yo, pero adaptada para señales físicas).

1. El Método Tradicional (El Árbitro Viejo)

Antes, usaban un método llamado GBDT (Árboles de Decisión). Imagina que es un árbitro de fútbol muy estricto que solo mira 12 estadísticas fijas: "¿Qué tan alto fue el pico?", "¿Cuánto tardó en caer?". Es bueno, pero ciego a la historia completa de la jugada.

2. El Nuevo Método (El Transformer)

El Transformer es como un músico virtuoso que escucha toda la melodía. No solo mira el pico, sino cómo empieza, cómo sube, cómo baja y cómo termina. Además, puede notar detalles muy sutiles que el árbitro viejo se pierde.

El resultado: El Transformer fue mucho mejor que el árbitro viejo. Logró separar la señal buena del ruido con mucha más precisión, especialmente en los casos más difíciles donde las señales se parecen mucho.

🎓 El Truco Maestro: El "Pre-Entrenamiento" (MAE)

Aquí viene la parte más genial. Entrenar a una IA para que sea experta requiere miles de ejemplos etiquetados (científicos diciéndole: "esto es bueno, esto es malo"). Pero conseguir esas etiquetas es caro y lento.

¿Qué hicieron? Usaron un truco llamado Autoencoder enmascarado (MAE).

• La analogía: Imagina que le das a un estudiante un libro de texto completo, pero le tapas la mitad de las páginas con un marcador.
• La tarea: El estudiante debe leer las páginas visibles y adivinar qué dice en las páginas tapadas.
• El efecto: Al hacer esto millones de veces con datos sin etiquetar (que hay muchísimos), el estudiante aprende la gramática, el vocabulario y la estructura del idioma (en este caso, la física de las ondas) sin necesidad de que nadie le diga "esto es una señal buena".

Luego, le muestran solo unas pocas páginas etiquetadas para que sepa qué buscar exactamente.

• Resultado: Gracias a este "pre-entrenamiento", la IA aprendió 2 a 4 veces más rápido y necesitó mucha menos información etiquetada para alcanzar el mismo nivel de experto. Es como si el estudiante hubiera leído todo el diccionario antes de empezar el examen final.

📉 ¿Qué más aprendieron?

• Energía: También les pidieron a la IA que calculara la energía de la partícula. Funcionó muy bien, aunque tendía a subestimarla un poquito (como un reloj que va 1 segundo lento), pero el método nuevo corrigió esto ligeramente mejor que el antiguo.
• Robustez: Funcionó bien en diferentes detectores, adaptándose a pequeñas variaciones como si fuera un músico que puede tocar en diferentes salas de conciertos sin perder el ritmo.

🚀 Conclusión: ¿Por qué importa esto?

Este trabajo es como darles a los cazadores de agujas un par de gafas de visión nocturna y un oído de superhéroe.

1. Más precisión: Pueden rechazar más ruido de fondo, lo que aumenta las posibilidades de encontrar el evento raro.
2. Menos trabajo: Pueden lograr los mismos resultados con menos datos etiquetados, ahorrando tiempo y dinero.
3. Futuro: Esto es crucial para el próximo gran experimento (LEGEND-1000), que será mucho más grande y necesitará filtrar cantidades masivas de datos.

En resumen: En lugar de usar reglas simples, usaron una IA que "escucha" la historia completa de la señal y que se entrenó jugando a "adivinar lo que falta" para volverse un experto ultra-rápido. ¡Una victoria para la física y la inteligencia artificial!

Resumen técnico

Aquí presento un resumen técnico detallado del artículo "Transformer-Based Pulse Shape Discrimination in HPGe Detectors with Masked Autoencoder Pre-training", estructurado según los puntos solicitados.

1. Problema y Contexto

La búsqueda de la **desintegración doble beta sin neutrinos ($0\nu\beta\beta$)** es fundamental para establecer la violación del número leptónico y determinar si los neutrinos son partículas de Majorana. Los detectores de **germanio de alta pureza (HPGe)** enriquecidos en$^{76}$Ge, como los utilizados en el Majorana Demonstrator (MJD) y el futuro programa LEGEND, son tecnologías líderes para esta búsqueda debido a su excelente resolución energética.

El desafío principal es la supresión de fondo. Dado que la señal esperada es extremadamente rara (vidas medias $\gtrsim 10^{26}$ años), es crucial distinguir con alta eficiencia entre eventos de interés (interacciones de un solo sitio, SSE) y eventos de fondo (interacciones de múltiples sitios, MSE, o eventos de superficie).

• Limitación de los métodos actuales: Las técnicas convencionales de discriminación de forma de pulso (PSD) comprimen las formas de onda completas en un pequeño conjunto de parámetros resumidos (como $A_{vs}E$, LQ, DCR). Aunque robustos, estos métodos descartan información valiosa contenida en la serie temporal completa.
• Desafío de los datos: El aprendizaje supervisado en este dominio es difícil debido a la falta de etiquetas de topología evento a evento. Las etiquetas de entrenamiento suelen depender de simulaciones o proxies definidos por el análisis, lo que puede introducir ruido o desajustes de dominio. Además, los conjuntos de datos etiquetados son limitados en comparación con la abundancia de datos de calibración no etiquetados.

2. Metodología

Los autores proponen un enfoque de aprendizaje profundo basado en transformadores que opera directamente sobre las formas de onda digitalizadas, evitando la extracción manual de características.

Arquitectura del Modelo

• Transformador Condicionado al Detector: Se utiliza un codificador de transformador (6 capas, 64 dimensiones de embedding, 8 cabezas de atención) que procesa las formas de onda directamente.
• Representación de Entrada: Las formas de onda crudas (3800 muestras) se dividen en ventanas de 10 pasos de tiempo. Se utiliza una representación dual: la señal de carga y su gradiente temporal (derivada), proyectados a un espacio de embedding compartido.
• Condicionamiento (FiLM): Para adaptarse a las variaciones entre los 26 detectores del conjunto de datos (diferencias geométricas y de impurezas), se emplea la modulación lineal a nivel de características (Feature-wise Linear Modulation - FiLM). Cada detector tiene un embedding aprendido que ajusta la escala y el desplazamiento de las representaciones internas.
• Salidas: El modelo tiene cabezas de predicción para:
  1. Clasificación PSD: Cuatro cabezas binarias independientes para las etiquetas de aceptación/rechazo (DCR, $A_{vs}E$ alta/baja, LQ).
  2. Regressión de Energía: Una cabeza lineal para predecir la energía calibrada.

Estrategias de Entrenamiento

Se comparan tres enfoques:

1. GBDT (Línea Base): Un árbol de decisión impulsado por gradiente (Gradient-Boosted Decision Tree) entrenado con 12 características geométricas manuales extraídas de las formas de onda.
2. Entrenamiento Supervisado desde Cero: Entrenamiento del transformador directamente con datos etiquetados.
3. Pre-entrenamiento con Autoencoder enmascarado (MAE) + Ajuste Fino (Fine-tuning):
   • Fase 1 (MAE): Se entrena el codificador en un gran volumen de formas de onda no etiquetadas. El modelo oculta aleatoriamente el 50% de las ventanas temporales y aprende a reconstruirlas. Esto fuerza al modelo a aprender representaciones transferibles de la física del detector (tiempos de recolección de carga, ruido, morfología del pulso).
   • Fase 2 (Ajuste Fino): El codificador pre-entrenado se inicializa en el modelo supervisado y se ajusta con los datos etiquetados para las tareas de PSD y regresión de energía.

3. Contribuciones Clave

1. Arquitectura de Transformador Condicionada: Desarrollo de un modelo que opera directamente sobre trazas de carga digitalizadas y sus gradientes, adaptándose a múltiples detectores sin necesidad de parámetros separados para cada uno.
2. Eficiencia de Muestra mediante MAE: Demostración de que el pre-entrenamiento auto-supervisado en datos no etiquetados reduce significativamente la cantidad de datos etiquetados necesarios para alcanzar un rendimiento dado (especialmente en regímenes de pocos datos).
3. Superioridad sobre Métodos Tradicionales: Benchmarking que demuestra que el modelado de formas de onda end-to-end supera a los métodos basados en características (GBDT), especialmente en las etiquetas de PSD más desafiantes.
4. Análisis de Regresión de Energía: Evaluación de la capacidad del modelo para predecir la energía, mostrando que el ajuste fino mejora ligeramente la distribución de residuos en comparación con el entrenamiento desde cero.

4. Resultados

Clasificación de PSD

• Rendimiento General: Los modelos basados en transformadores superaron consistentemente al GBDT en todas las métricas (AUROC y F1) para las cuatro etiquetas de PSD.
• Mejoras Específicas:
  • LQ (Late Charge): La mejora fue más notable. El AUROC pasó de 0.924 (GBDT) a 0.993 (Transformador ajustado fino).
  • DCR (Delayed Charge Recovery): El AUROC mejoró de 0.854 (GBDT) a 0.925 (ajustado fino).
  • Etiqueta Combinada (PSD-Pass): Para el evento que pasa las cuatro cortes simultáneamente, el transformador ajustado fino logró un AUROC de 0.9918 y un F1 de 0.9415, superando al GBDT (0.9598 y 0.8733 respectivamente).
• Impacto del Pre-entrenamiento: El ajuste fino (MAE) ofreció mejoras marginales pero consistentes sobre el entrenamiento desde cero, particularmente en las tareas más difíciles (DCR y LQ), mejorando el ordenamiento (ranking) y la calibración.

Eficiencia de Muestra (Datos Limitados)

• En regímenes de bajos datos (ej. 65k formas de onda), el pre-entrenamiento MAE permitió alcanzar un rendimiento comparable al de un modelo entrenado desde cero con 2 a 4 veces más datos.
  • Ejemplo: Para la etiqueta "Low AvsE" con solo 2 épocas de entrenamiento, el modelo ajustado fino con 65k datos alcanzó un AUROC de 0.880, comparable al modelo desde cero con 260k datos (0.881).

Regresión de Energía

• Ambos modelos mostraron una ligera tendencia a subestimar la energía (~0.8%).
• El modelo ajustado fino mostró una distribución de residuos ligeramente más estrecha ($\sigma = 0.0407$) en comparación con el entrenamiento desde cero ($\sigma = 0.0424$), indicando una mejor concordancia con la energía calibrada.

Reconstrucción (Anexo)

• El análisis de reconstrucción del MAE confirmó que el modelo aprende representaciones robustas de la morfología general de los pulsos. Aunque tuvo dificultades para reconstruir detalles finos de eventos raros (como estructuras de doble pico en gradientes), capturó eficazmente la física general del detector, validando su utilidad como inicialización para tareas supervisadas.

5. Significado e Implicaciones

• Para la Física de Partículas: Este trabajo valida que el modelado directo de formas de onda con transformadores es superior a los métodos tradicionales basados en características para la discriminación de fondo en experimentos de $0\nu\beta\beta$.
• Eficiencia Operativa: La capacidad de reducir la dependencia de datos etiquetados mediante pre-entrenamiento auto-supervisado es crucial para experimentos futuros como LEGEND-1000, donde la generación de etiquetas de alta calidad puede ser costosa o limitada por restricciones sistemáticas.
• Transferibilidad: La metodología es aplicable a otros detectores HPGe y tecnologías de detección donde existen abundantes datos de calibración no etiquetados.
• Próximos Pasos: Los autores señalan que, aunque los resultados son prometedores, el siguiente paso crítico es traducir estas mejoras en clasificación a una ganancia cuantificada en la sensibilidad a la vida media, considerando la eficiencia de señal, la aceptación de fondo y las incertidumbres sistemáticas en la región de interés ($Q_{\beta\beta}$).

En resumen, el artículo establece un nuevo estado del arte en el análisis de formas de onda para detectores HPGe, demostrando que la combinación de arquitecturas de transformadores y pre-entrenamiento auto-supervisado ofrece una vía robusta y eficiente para mejorar la sensibilidad de las búsquedas de física más allá del modelo estándar.