Optimised neural networks for online processing of ATLAS calorimeter data on FPGAs

Este artigo apresenta um estudo sobre a otimização de várias arquiteturas de redes neurais (Dense, CNN e Dense+RNN) com procedimentos Bayesianos e Regressão Evidencial Profunda para rodar em FPGAs de calorímetros do ATLAS, alcançando uma resolução de energia superior e uma estimativa de incerteza precisa em comparação aos métodos atuais sob condições de alto pile-up esperadas para o HL-LHC.

O essencial

Imagine o detector ATLAS no Grande Colisor de Hádrons (LHC) como um microfone gigante e ultra-sensível ouvindo o universo. A cada 25 nanossegundos, dois feixes de prótons colidem, criando uma sinfonia caótica de partículas. O "microfone" (especificamente o calorímetro de argônio líquido) tenta medir a energia dessas partículas ouvindo os "pulsos" elétricos que elas criam.

No entanto, há um problema: a orquestra está ficando mais alta e mais lotada. No futuro upgrade (chamado de HL-LHC), haverá tantas colisões acontecendo ao mesmo tempo (um fenômeno chamado "pile-up") que os sinais se sobreporão como uma pilha bagunçada de fones de ouvido emaranhados. O método atual para desenredar esses sinais (chamado de "Filtragem Ótima") é como tentar ouvir um único violino em um concerto de rock usando um ouvido muito velho e lento — ele se confunde e perde o volume real do som.

Este artigo apresenta uma nova solução: ensinar o cérebro do detector a pensar como uma IA moderna.

Aqui está a divisão do que eles fizeram, usando analogias simples:

1. O Desafio: Um Cérebro Pequeno e Rápido

O detector não possui um supercomputador para processar dados. Ele tem que tomar decisões instantaneamente, exatamente onde os dados são coletados, usando chips especializados chamados FPGAs (Field-Programmable Gate Arrays). Pense nesses FPGAs como calculadoras minúsculas e ultra-rápidas que possuem regras muito rígidas:

• Velocidade: Eles devem decidir a energia de uma partícula em menos tempo do que o necessário para um beija-flor bater as asas (125 nanossegundos).
• Tamanho: Eles têm muito pouco espaço de memória. Você não pode instalar um programa de software massivo e pesado neles.

2. A Solução: Novas "Receitas" de Redes Neurais

Os pesquisadores tentaram ensinar essas calculadoras minúsculas a reconhecer os sinais bagunçados usando Redes Neurais (modelos de IA). Eles testaram quatro diferentes "receitas" (arquiteturas) para ver qual delas conseguiria desenredar o ruído melhor sem quebrar os limites de velocidade ou tamanho:

• A RNN (Rede Neural Recorrente): Imagine uma pessoa lendo uma história palavra por palavra, lembrando da palavra anterior para entender a atual. Isso é bom para sequências, mas neste ambiente lotado, ela ficou grande e lenta demais.
• A CNN (Rede Neural Convolucional): Imagine olhar para um padrão através de uma janela deslizante, como uma câmera de segurança escaneando um corredor. Ela olha para um pedaço do sinal de cada vez para encontrar formas. Isso funcionou muito bem.
• A Rede Densa (Dense Network): Imagine uma equipe de especialistas onde todos falam com todos para resolver um quebra-cabeça. Isso também funcionou muito bem.
• O Híbrido "Dense + RNN": Uma mistura dos dois, tentando obter o melhor de ambos os mundos.

3. O Processo de Ajuste: A "Busca Inteligente"

Os pesquisadores não apenas adivinharam qual receita seria a melhor. Eles usaram um processo de Otimização Bayesiana.

• A Analogia: Imagine que você está tentando encontrar a temperatura perfeita para assar um bolo, mas só tem algumas tentativas antes que o forno quebre. Você não adivinha aleatoriamente; você usa um assistente inteligente que diz: "Ok, tentamos 180°C e ficou muito seco. Vamos tentar 190°C, mas talvez com um pouco menos de farinha".
• Eles usaram esse "assistente inteligente" para equilibrar dois objetivos concorrentes: Precisão (acertar a energia) vs. Tamanho (manter o código pequeno o suficiente para o chip). Eles encontraram um "ponto ideal" onde a IA era pequena o suficiente para caber, mas inteligente o suficiente para superar o método antigo.

4. Os Resultados: Uma Imagem Mais Clara

Quando testaram esses novos modelos de IA contra o antigo método de "Filtragem Ótima":

• Melhor Precisão: Os novos modelos de IA (Dense e CNN) conseguiram medir a energia com uma precisão de cerca de 80 MeV (uma unidade de energia muito pequena). O método antigo e a RNN foram menos precisos (cerca de 90 MeV).
• Sem Subestimar: O método antigo tendia a "abaixar o volume" nos sinais, pensando que a energia era menor do que realmente era. Os novos modelos de IA acertaram o volume.
• Eficiência: Os modelos vencedores eram minúsculos (usando menos de 500 "operações matemáticas"), provando que podiam caber no hardware.

5. O Recurso Bônus: "O Quão Certo Você Está?"

Normalmente, a IA fornece uma resposta, mas não um índice de confiança. É como um aplicativo de previsão do tempo dizendo "Vai chover" sem dizer se é uma chance de 50% ou de 99%.

• Os pesquisadores adicionaram uma técnica especial chamada Regressão Evidencial Profunda (Deep Evidential Regression).
• A Analogia: Isso é como dar à IA um "medidor de confiança". Agora, quando a IA diz: "Esta partícula tem 50 GeV de energia", ela também pode dizer: "Estou 95% seguro disso", ou "Estou um pouco incerto sobre isso porque o ruído foi estranho".
• Eles descobriram que esse medidor de confiança era preciso. Ele não tornou a IA mais lenta ou maior, mas deu aos cientistas uma maneira de saber quais medições eram confiáveis.

Resumo

O artigo mostra que, ao usar modelos de IA pequenos e inteligentes (especificamente redes Dense e CNN) ajustados com um método de "busca inteligente", o detector ATLAS pode ser atualizado para lidar com o caos das futuras colisões de alta energia. Esses novos modelos são mais rápidos, mais precisos e podem até dizer aos cientistas o quão confiantes eles devem estar, tudo isso enquanto cabem dentro dos próprios chips rápidos do detector.

Resumo técnico

Resumo Técnico: Redes Neurais Otimizadas para o Processamento de Dados de Calorímetros ATLAS Online

Definição do Problema
O Grande Colisor de Hádrons de Alta Luminosidade (HL-LHC) introduzirá um empilhamento de sinais (pile-up) extremo, com até 200 colisões simultâneas de protão-protão por cruzamento de pacotes (bunch crossing). Este ambiente degrada o desempenho do atual algoritmo de Filtragem Ótima (OF) utilizado nos calorímetros de Argão Líquido (LAr) do ATLAS, particularmente na reconstrução de energia quando os pulsos se sobrepõem. O upgrade da Fase-II da eletrónica de leitura LAr introduz novo hardware baseado em FPGAs INTEL Agilex 7. Estas FPGAs oferecem maior poder de processamento, mas impõem restrições rigorosas de latência (abaixo de 125 ns) e de tamanho de rede (limitado a aproximadamente 500 operações de multiplicação-acumulação, ou MACs, por célula) para a reconstrução de energia online. O desafio consiste em desenvolver arquiteturas de redes neurais (NN) que superem o algoritmo OF em resolução de energia sob alto pile-up, respeitando simultaneamente estas severas restrições de hardware e fornecendo estimativas de incerteza fiáveis por evento.

Metodologia
O estudo avalia quatro arquiteturas de redes neurais concebadas para prever a energia transversal depositada numa célula do calorímetro utilizando amostras de pulsos digitalizadas como entrada. Os dados de entrada incluem amostras de pré-depósito (para contabilizar distorções de pulso de colisões anteriores) e amostras de pós-depósito (para capturar a forma do pulso do depósito de energia alvo).

1. Arquiteturas Avaliadas:

   • Rede Neural Recorrente (RNN): Processa as amostras sequencialmente. Embora seja eficiente para dados de séries temporais, as RNNs padrão requerem dimensões internas elevadas para capturar dependências de longo alcance, excedendo frequentemente os limites de recursos das FPGAs para sequências longas.
   • Rede Neural Convolucional (CNN): Utiliza filtros 1D e 2D deslizantes sobre as amostras de entrada. Aproveita o compartilhamento de pesos e reutiliza computações de cruzamentos de pacotes anteriores para reduzir a latência.
   • Dense+RNN: Uma abordagem híbrida onde uma camada densa processa as amostras de pré-depósito para inicializar uma sequência RNN para as amostras de pós-depósito, visando equilibrar as vantagens da RNN com o custo computacional reduzido.
   • Staged Dense (Densas em Estágios): Uma arquitetura multiestágio que utiliza apenas camadas densas. As amostras de pré-depósito são processadas num primeiro estágio para corrigir distorções, que são depois combinadas com as amostras de pós-depósito num segundo estágio. Isto permite o pré-cálculo do primeiro estágio, minimizando a latência.

2. Estratégia de Otimização:
   Foi empregado um procedimento de otimização bayesiana para ajustar hiperparâmetros (ex.: número de amostras de pré/pós-depósito, dimensões de camada, tamanhos de núcleo), sendo que a função objetivo equilibrou a resolução de energia com o tamanho da rede (contagem de MACs), aplicando penalizações para arquiteturas que excedessem 500 MACs e penalizações severas além dos 850 MACs para garantir a viabilidade da FPGA.

3. Estimativa de Incerteza:
   Para abordar a necessidade de incertezas de energia por evento sem o custo computacional das Redes Neurais Bayesianas (que requerem amostragem), os autores implementaram a Regressão Evidencial Profunda (DER). Esta técnica modifica a camada final da rede Dense para produzir os parâmetros de uma distribuição Normal-Inversa-Gamma, permitindo a inferência tanto da energia prevista como das suas incertezas associadas aleatórias (ruído de dados) e epistémicas (incerteza do modelo).

4. Simulação e Treino:
   As redes foram treinadas e testadas em dados simulados utilizando o toolkit AREUS, simulando um cenário de pile-up de pior caso ($\langle\mu\rangle = 200$) com eventos de espalhamento duro variando de 0 a 130 GeV. Um conjunto de dados de 13 milhões de eventos foi utilizado para a avaliação final para minimizar flutuações estatísticas.

Resultos Principais

• Resolução de Energia: As arquiteturas otimizadas Dense, CNN e Dense+RNN atingiram uma resolução de energia transversal de aproximadamente 80 MeV. Isto supera tanto o algoritmo OF atual como a arquitetura RNN (que atingiu ~90 MeV).
• Precisão da Escala de Energia: Ao contrário do algoritmo OF e das RNNs padrão, que subestimam sistematicamente a energia (o OF ignora o pile-up dentro do tempo, e as RNNs falham em capturar dependências de longo alcance com entradas limitadas), as redes Dense, CNN e Dense+RNN reproduzem com precisão a escala de energia em todo o intervalo dinâmico.
• Viabilidade de Hardware: Todas as arquiteturas bem-sucedidas (Dense, CNN, Dense+RNN) foram otimizadas para utilizar menos de 500 unidades MAC, tornando-as adequadas para implementação nas FPGAs Agilex 7 dentro das estritas restrições de latência.
• Desempenho da Incerteza: A implementação da DER adicionou um overhead computacional mínimo. A incerteza prevista ($\delta_{pred}$) revelou-se consistente, em média, com a diferença real entre a energia verdadeira e a prevista. A distribuição de pull $(E_{pred} - E_{true})/\delta_{pred}$ apresentou um desvio padrão de 0.75, indicando uma ligeira sobrestimação da incerteza, mas uma fiabilidade global. A análise mostrou que a incerteza epistémica domina, sugerindo potencial para melhorias com conjuntos de dados maiores ou arquiteturas refinadas.

Significado e Alegações
O artigo afirma demonstrar que algoritmos modernos de aprendizagem automática podem ser integrados com sucesso na cadeia de leitura online dos calorímetros LAr do ATLAS. A principal significância reside no equilíbrio bem-sucedido entre resolução e restrições de hardware:

• O estudo prova que as arquiteturas Dense e CNN podem melhorar a resolução de energia em aproximadamente 8% face ao método legado OF, mantendo-se dentro dos limites de MAC das FPGAs da Fase-II.
• Estabelece que as amostras de pré-depósito são críticas para capturar as distorções de pulso, tornando as abordagens puras de RNN menos competitivas devido à sua intensidade de recursos para sequências longas.
• Introduz um método prático para a estimativa de incerteza por evento via Regressão Evidencial Profunda, que não aumenta significativamente os custos de inferência. Esta capacidade é apresentada como um passo para a melhoria da seleção de energia de células em algoritmos de agrupamento (clustering), permitindo uma reconstrução mais precisa de objetos físicos como eletrões e fotões em ambientes de alto pile-up.

Os autores concluem que estas redes otimizadas são bem adequadas para o deployment em FPGA e representam um caminho viável para o upgrade da Fase-II do ATLAS, oferecendo um desempenho superior aos algoritmos atuais sem comprometer os rigorosos requisitos de latência e recursos dos sistemas de trigger e leitura.