Transformer-Based Pulse Shape Discrimination in HPGe Detectors with Masked Autoencoder Pre-training

Este artigo demonstra que modelos baseados em transformadores, especialmente quando pré-treinados com autoencoders mascarados (MAE), superam os métodos tradicionais baseados em árvores de decisão (GBDT) na discriminação de formas de pulso em detectores de germânio de alta pureza, oferecendo maior precisão e eficiência com menos dados rotulados.

O essencial

Imagine que você é um detetive tentando encontrar uma agulha num palheiro, mas o palheiro é um universo inteiro cheio de ruídos e a agulha é um evento extremamente raro da física (como o decaimento duplo-beta sem neutrinos).

Este artigo científico trata de como usar a inteligência artificial moderna para identificar essa "agulha" em meio ao "palheiro" de dados de detectores de germânio.

Aqui está a explicação simplificada, usando analogias do dia a dia:

1. O Cenário: O Detector e o Problema

Os cientistas usam detectores de Germânio de Alta Pureza (HPGe). Pense neles como microfones super sensíveis que "ouvem" a energia de partículas. Quando uma partícula bate no detector, ela cria um sinal elétrico, uma espécie de "onda" ou "pulso".

• O Problema: A maioria desses pulsos é "ruído" (partículas comuns, radiação de fundo). O que eles querem é um tipo muito específico de pulso (o evento raro).
• O Método Antigo: Antigamente, os cientistas olhavam para o pulso e tiravam apenas algumas medidas rápidas (como a altura máxima e o tempo de subida). Era como tentar descrever uma música apenas dizendo "ela é alta e dura 3 minutos". Isso funcionava, mas você perdia muita informação (o ritmo, a melodia, os detalhes sutis).

2. A Solução: O "Cantor" (Transformers)

Os autores deste trabalho trouxeram uma nova tecnologia chamada Transformer (a mesma tecnologia que faz o ChatGPT funcionar).

• A Analogia: Em vez de tirar apenas algumas medidas, o Transformer lê o sinal inteiro, como se estivesse lendo uma partitura completa ou ouvindo a música inteira. Ele consegue ver padrões complexos e conexões entre o início, o meio e o fim do pulso que o método antigo ignorava.
• O Resultado: O "Cantor" (Transformer) consegue distinguir o evento raro do ruído muito melhor do que o método antigo (que usava árvores de decisão, chamadas de GBDT). Ele é mais preciso, especialmente nos casos mais difíceis onde o ruído se parece muito com o sinal real.

3. O Truque de Mestre: O "Estudante de Música" (Pré-treinamento MAE)

Aqui está a parte mais criativa e importante do artigo. Treinar uma IA do zero exige muitos dados rotulados (saber exatamente qual pulso é o "bom" e qual é o "ruído"). Mas, na física, rotular dados é caro e demorado (exige especialistas humanos).

• A Analogia do "Músico Cego": Imagine que você quer ensinar um músico a tocar uma música difícil.

  1. Método Antigo: Você dá a ele a partitura completa e diz "toca isso". Ele precisa aprender tudo do zero.
  2. O Novo Método (MAE): Você pega a partitura, rasga metade das páginas e esconde. Você diz ao músico: "Veja o que sobrou e tente adivinhar o que está nas páginas rasgadas".
  • O músico (a IA) é forçado a entender a estrutura da música, a harmonia e o ritmo para conseguir preencher os buracos.
  • Depois de praticar muito com essa "partitura rasgada" (dados sem rótulos, que são abundantes), o músico já entende a teoria musical profundamente.
  • Quando você finalmente mostra a partitura completa e diz "agora toque a música específica que queremos", ele aprende em segundos o que antes levaria horas.

• Na Prática: Os cientistas usaram milhares de ondas de dados "sem rótulo" para treinar o modelo a reconstruir partes faltantes. Depois, com poucos dados rotulados, o modelo foi "ajustado" (fine-tuning) para a tarefa final.

• O Ganho: Eles conseguiram o mesmo desempenho usando 2 a 4 vezes menos dados rotulados. É como aprender a dirigir com metade das horas de aula.

4. Os Resultados

• Precisão: O novo modelo (Transformer) superou os métodos antigos em todas as tarefas de classificação.
• Eficiência: O método de "preencher buracos" (MAE) permitiu que o modelo aprendesse muito rápido, mesmo com poucos exemplos rotulados. Isso é crucial para experimentos futuros que ainda não têm muitos dados.
• Energia: O modelo também conseguiu estimar a energia das partículas com um pouco mais de precisão, reduzindo pequenos erros.

Resumo Final

Este trabalho mostra que, em vez de tentar resumir a complexidade dos sinais de física em poucas medidas simples, podemos usar IAs modernas que "ouvem" o sinal inteiro. E, usando um truque inteligente de aprendizado (tentar adivinhar partes faltantes de dados), conseguimos treinar essas IAs de forma muito mais eficiente, economizando tempo e dados preciosos para a busca por novos fenômenos físicos.

É como passar de um detetive que só olha a altura de uma pessoa para um detetive que analisa a voz, o passo e a postura completa, e que, além disso, aprendeu a observar o mundo olhando para fotos borradas antes de ver as fotos nítidas.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Transformer-Based Pulse Shape Discrimination in HPGe Detectors with Masked Autoencoder Pre-training", apresentado em português:

Título: Discriminação de Forma de Pulso Baseada em Transformers em Detectores HPGe com Pré-treinamento de Autoencoder Mascarado

1. Problema e Contexto

A busca pelo decaimento duplo-beta sem neutrinos ($0\nu\beta\beta$) em isótopos como o$^{76}\text{Ge}$ exige a supressão agressiva de fundos e uma classificação de eventos altamente eficiente. Os detectores de Germânio de Alta Pureza (HPGe), utilizados em experimentos como o Majorana Demonstrator (MJD) e o futuro LEGEND, geram formas de onda digitais complexas.

• Desafio Atual: As abordagens convencionais de Discriminação de Forma de Pulso (PSD) comprimem cada forma de onda em um pequeno conjunto de parâmetros resumidos (como amplitude máxima, tempo de subida, etc.). Essa compressão pode descartar informações relevantes contidas na série temporal completa, limitando a capacidade de separação entre eventos de sinal (single-site) e eventos de fundo (multi-site, superficiais, etc.).
• Limitação de Dados: O treinamento supervisionado direto é dificultado pela falta de rótulos de topologia evento-a-evento. Os rótulos disponíveis são frequentemente proxies definidos pela análise ou baseados em simulações, que podem introduzir ruído. Além disso, dados rotulados de alta qualidade são escassos em comparação com a abundância de dados de calibração não rotulados.

2. Metodologia

Os autores propõem e avaliam modelos baseados em Transformers que operam diretamente nas formas de onda digitalizadas, comparando duas estratégias de treinamento:

• Arquitetura do Modelo:

  • Entrada: As formas de onda brutas (3.800 amostras) são divididas em janelas de 10 passos de tempo. O modelo utiliza uma representação dual: a própria forma de onda (carga) e seu gradiente (derivada temporal, atuando como proxy de corrente).
  • Condicionamento do Detector: Para adaptar o modelo a diferentes detectores (26 no total) com características distintas, utiliza-se o mecanismo FiLM (Feature-wise Linear Modulation). Cada detector possui um embedding aprendido que ajusta os parâmetros de escala e deslocamento das representações internas.
  • Estrutura: Um codificador Transformer com 6 camadas, 8 cabeças de atenção e dimensão de embedding de 64.

• Estratégias de Treinamento:

  1. Aprendizado Supervisionado do Zero (From Scratch): Treinamento direto nas formas de onda rotuladas para classificar quatro cortes de PSD (DCR, AvsE de baixo, AvsE de alto, LQ) e regressão de energia.
  2. Pré-treinamento com Autoencoder Mascarado (MAE) + Fine-tuning:
     • Fase 1 (Pré-treinamento): O modelo é treinado em uma grande quantidade de formas de onda não rotuladas. 50% das janelas temporais são mascaradas aleatoriamente, e o modelo aprende a reconstruir o conteúdo ausente. Isso força o codificador a aprender representações gerais da física do detector (escalas de tempo de coleta de carga, ruído, morfologia de pulso).
     • Fase 2 (Fine-tuning): O codificador pré-treinado é ajustado (fine-tuned) nos dados rotulados para as tarefas de classificação e regressão.

• Baseline: Um classificador baseado em Gradient-Boosted Decision Trees (GBDT) que utiliza 12 características geométricas manuais (hand-crafted features) extraídas das formas de onda, representando o estado da arte tradicional.

3. Contribuições Principais

1. Arquitetura Detector-Conditioned: Desenvolvimento de um Transformer que opera diretamente em traços de carga digitalizados e seus gradientes, evitando a compressão manual de características e permitindo adaptação entre diferentes detectores.
2. Eficiência de Amostra via MAE: Demonstração de que o pré-treinamento auto-supervisionado em dados não rotulados melhora significativamente a eficiência de amostragem, reduzindo a necessidade de dados rotulados em fatores de 2 a 4 em regimes de baixa rotulagem.
3. Benchmarking Abrangente: Comparação sistemática contra um baseline GBDT robusto, mostrando que a modelagem direta de formas de onda supera métodos baseados em características, especialmente nos alvos de PSD mais desafiadores.
4. Análise de Regressão de Energia: Estudo do impacto do pré-treinamento na precisão da energia, observando uma leve redução na distribuição de resíduos.

4. Resultados

• Classificação PSD:
  • Os modelos Transformer superaram consistentemente o baseline GBDT em todas as métricas (AUROC e F1-score).
  • Os maiores ganhos ocorreram nos cortes mais difíceis: LQ (Late Charge) e DCR (Delayed Charge Recovery). Por exemplo, para o corte LQ, o AUROC do Transformer ajustado (fine-tuned) foi de 0,993, contra 0,924 do GBDT.
  • Para a definição combinada de "PSD-pass" (passar em todos os quatro cortes), o Transformer ajustado alcançou um AUROC de 0,9918 e um F1-score de 0,9415, superando significativamente o GBDT (0,9598 e 0,8733, respectivamente).
• Eficiência de Dados (Low-Label Regimes):
  • O pré-treinamento MAE permitiu que modelos com poucos dados rotulados (ex: 65k eventos) alcançassem desempenho comparável a modelos treinados do zero com quatro vezes mais dados (260k eventos).
  • Em cenários com poucos épocas de treinamento (2-5 épocas), o fine-tuning mostrou vantagens dramáticas sobre o treinamento do zero.
• Regressão de Energia:
  • Ambos os modelos (do zero e fine-tuned) apresentaram uma leve subestimação comum de energia (~0,8%).
  • O modelo fine-tuned apresentou uma distribuição de resíduos ligeiramente mais estreita ($\sigma = 0,0407$) comparado ao treinado do zero ($\sigma = 0,0424$), indicando melhor concordância com os rótulos calibrados.
• Reconstrução (Appendix): A análise de reconstrução do MAE confirmou que o modelo aprende características estruturais robustas, conseguindo reconstruir com alta fidelidade a morfologia geral do pulso, mesmo em eventos complexos, embora tenha dificuldade em recuperar detalhes finos de eventos raros específicos sem a informação mascarada.

5. Significado e Conclusão

Este trabalho valida a aplicação de Transformers e aprendizado auto-supervisionado na física de detectores de partículas.

• Impacto Imediato: A abordagem oferece uma ferramenta mais poderosa para a análise atual do LEGEND-200 e futuras análises do LEGEND-1000, permitindo uma rejeição de fundo mais eficiente sem depender exclusivamente de características manuais.
• Eficiência Operacional: A capacidade de reduzir a dependência de grandes conjuntos de dados rotulados é crucial para experimentos onde a anotação de dados é cara ou limitada por restrições sistemáticas.
• Futuro: Embora os ganhos de classificação sejam claros, os autores ressaltam que a tradução desses resultados para uma melhoria quantificada na sensibilidade à meia-vida da $0\nu\beta\beta$requer estudos adicionais de eficiência de sinal e aceitação de fundo na região de interesse ($Q_{\beta\beta}$). O trabalho abre caminho para estudos de robustez entre diferentes detectores e condições operacionais.

Em resumo, a combinação de modelagem direta de formas de onda via Transformers com pré-treinamento MAE representa um avanço significativo na discriminação de eventos em detectores HPGe, superando métodos tradicionais e otimizando o uso de dados rotulados.