A real-time demonstrator of track reconstruction with FPGAs at LHCb

Este artigo apresenta um demonstrador baseado em FPGA em tempo real para reconstrução de trajetórias a 30 MHz no detector VELO do LHCb, detalhando sua arquitetura, distribuição de dados e sincronização com constantes de alinhamento enquanto processa dados ao vivo durante as operações da Run 3 do LHCb.

O essencial

Imagine o Grande Colisor de Hádrons (LHC) como uma estação de trem massiva e de alta velocidade, onde as partículas são os passageiros. A cada segundo, 30 milhões de "pacotes" dessas partículas colidem entre si, criando uma explosão caótica de dados. O experimento LHCb é como uma câmera gigante tentando tirar uma foto de cada colisão individual para descobrir o que aconteceu.

O problema? Há dados demais. Se você tentasse salvar cada foto, seu disco rígido encheria instantaneamente e o computador travaria. Normalmente, um "porteiro" (um programa de computador) fica na porta e descarta a maioria das fotos, mantendo apenas as interessantes. Mas, à medida que a estação de trem fica mais movimentada (mais colisões), o porteiro precisa trabalhar mais rápido e com mais inteligência.

Este artigo descreve um novo "porteiro" super-rápido, construído usando chips de computador especiais chamados FPGAs. Eis como funciona, explicado de forma simples:

1. A "Retina Artificial" (O Olho Inteligente)

A equipe construiu um sistema que chamam de "Retina Artificial". Pense nisso como uma grade de segurança gigante e de alta tecnologia.

• A Grade: Imagine um tabuleiro de xadrez onde cada quadrado é um trabalhador minúsculo e independente.
• A Função: Cada trabalhador é designado para um "padrão" específico de trajetória de partícula (uma trilha).
• O Processo: Quando uma partícula atinge um sensor, ela envia um sinal (um "acerto"). O sistema não procura apenas um padrão; verifica se aquele acerto se encaixa em muitos padrões diferentes ao mesmo tempo.
• O Resultado: Se um acerto se encaixa bem em um padrão, aquele trabalhador fica "excitado" (como uma lâmpada acendendo). Se trabalhadores suficientes para um padrão específico ficarem excitados, o sistema diz: "Aha! Encontramos uma trilha!"

2. O Sistema de Tráfego (A Rede de Distribuição)

A parte mais difícil é levar os dados dos sensores até os trabalhadores certos.

• O Problema: Um único acerto de partícula pode se encaixar em vários padrões diferentes, o que significa que precisa ser copiado e enviado para múltiplos trabalhadores. Isso cria um engarrafamento.
• A Solução: A equipe construiu um sistema de "rodovias" personalizado feito de cabos ópticos (dados na velocidade da luz). Eles projetaram uma máquina de classificação inteligente (um comutador) que organiza o tráfego.
• A Otimização: Em vez de enviar dados aleatoriamente, eles organizaram os trabalhadores de modo que padrões semelhantes fiquem agrupados. Isso é como organizar uma biblioteca para que livros sobre o mesmo tópico estejam na mesma prateleira, tornando muito mais rápido encontrar o que você precisa. Isso impediu que o sistema ficasse entupido.

3. O Teste de Estrada (O Demonstrador)

A equipe construiu um protótipo (um "demonstrador") para testar essa ideia.

• A Configuração: Eles usaram 8 placas de computador poderosas conectadas por cabos de fibra óptica, todas cabendo dentro de um único rack de servidor.
• O Alvo: Eles focaram em uma parte específica do detector chamada VELO (Localizador de Vértice), que é como a "porta da frente" do experimento, onde as colisões acontecem primeiro. Eles cobriram cerca de 1/4 dessa área.
• A Simulação: Primeiro, eles alimentaram o sistema com dados falsos que imitam as colisões reais do LHC. O sistema funcionou por 10 dias seguidos sem travar, processando dados a uma taxa de 19 milhões de eventos por segundo. Isso é incrivelmente rápido! (O objetivo é 30 milhões, mas eles estão muito perto).

4. O Teste no Mundo Real (Dados ao Vivo)

O teste real foi usar o sistema em dados ao vivo enquanto o LHC estava realmente executando experimentos de física.

• O Desafio: Os dados reais são bagunçados e mudam constantemente. O sistema também precisava usar as "constantes de alinhamento" mais atualizadas (pense nelas como as coordenadas de mapa mais recentes) para saber exatamente onde os sensores estavam.
• O Resultado: Eles construíram uma ponte especial para alimentar dados ao vivo do sistema de monitoramento do experimento em seu protótipo. O sistema funcionou sem problemas durante as corridas de física reais em julho e setembro.
• O Desfecho: As trilhas que o protótipo encontrou pareciam exatamente com as trilhas encontradas pelo software padrão, mais lento. Isso provou que o sistema funciona no mundo real sem quebrar nada.

A Conclusão

Este artigo mostra que um novo tipo de hardware (FPGAs) organizado em um padrão de "Retina" pode atuar como um filtro super-rápido para dados de física de partículas. Ele processou com sucesso dados em tempo real do LHC, lidando com milhões de colisões por segundo sem ficar sobrecarregado.

A equipe conclui que essa tecnologia está pronta para a próxima grande atualização do LHC (Run 4). Ao transferir esse trabalho pesado para esses chips rápidos, eles podem poupar a energia dos computadores principais para outras tarefas, permitindo que o experimento lide com ainda mais colisões no futuro.

Resumo técnico

Resumo Técnico: Um Demonstrador em Tempo Real de Reconstrução de Trajetórias com FPGAs no LHCb

Enunciação do Problema
Os experimentos de Física de Altas Energias (HEP) enfrentam desafios crescentes de fluxo de dados e complexidade, enquanto a Lei de Moore apresenta sinais de desaceleração. O experimento LHCb, especificamente para sua Corrida 3 e para a futura "Atualização II" (que aumentará a luminosidade por um fator de 5 a 10), requer arquiteturas de computação heterogênea avançadas para processar dados em tempo real na taxa completa de colisões do LHC (30 MHz). Os gatilhos de alto nível (HLT) tradicionais baseados em CPU/GPU podem ter dificuldades com o volume imenso de dados e com a necessidade de processamento de latência zero, sem multiplexação temporal ou bufferização excessiva. O desafio é desenvolver uma solução de processamento paralelo e escalável capaz de reconstruir trajetórias em tempo real diretamente a partir da leitura do detector.

Metodologia
Os autores apresentam um demonstrador baseado na arquitetura "Retina Artificial" (Retina), um processador de rastreamento personalizado altamente paralelizado implementado em Arrays de Portas Programáveis em Campo (FPGAs).

• Abordagem Algorítmica: A arquitetura Retina discretiza o espaço de parâmetros da trajetória em uma matriz de células ($M \times N$). Cada célula representa uma trajetória de referência e contém um motor computacional que calcula um "nível de excitação" com base na compatibilidade dos impactos (hits) do detector entrantes com essa trajetória de referência. Isso imita uma transformada de Hough. Os impactos contribuem para o acumulador com um peso determinado pela sua distância do "receptor" da trajetória (interseção com a camada do detector), utilizando uma distribuição Gaussiana. Máximos locais no mapa de excitação são identificados por Unidades de Processamento de Trajetórias (TPUs) para estimar os parâmetros candidatos das trajetórias.
• Implementação de Hardware: O demonstrador utiliza oito placas FPGA Stratix 10 hospedadas via PCIe (Bittware 520N) alojadas em um único servidor, interconectadas por uma rede óptica rápida. O sistema está integrado à instalação LHCb Coprocessor TestBed, permitindo processar dados ao vivo de forma oportunista durante as corridas de física, sem interferir no sistema padrão de Aquisição de Dados (DAQ).
• Rede de Distribuição: Um componente central é a rede de distribuição personalizada construída a partir de divisores modulares (2s), combinadores (2m) e despachadores (2d, 4d, 8d). Esta rede roteia os impactos da leitura do DAQ para as células FPGA relevantes. Para evitar congestionamento da rede causado pela multiplicação de impactos (onde um impacto pode contribuir para múltiplas trajetórias), os autores implementaram uma estratégia de otimização. Isso envolve ordenar as TPUs para emparelhar aquelas com os impactos mais comuns, adiando assim a duplicação de impactos para as camadas mais próximas das TPUs. Adicionalmente, o Pós-Comutador foi modificado para uma configuração de despachador 8x16 para limitar a ocupação da linha.
• Processamento de Dados: O sistema foi testado em dois modos:
  1. Dados Simulados: Eventos gerados na luminosidade nominal da Corrida 3 ($2 \times 10^{33} \text{ cm}^{-2}\text{s}^{-1}$) foram carregados em memórias RAM internas.
  2. Dados ao Vivo: Uma cadeia de dados personalizada foi desenvolvida para alimentar dados reais de colisões do LHCb, vindos da fazenda de monitoramento, para o demonstrador. Esta cadeia incluiu um "Verificador de Alinhamento" (AlignmentChecker) para buscar constantes de alinhamento em tempo real do Banco de Dados de Condições e um "Decodificador de Transformação" (DecodeTransform) para converter coordenadas locais do sensor para o sistema global do LHCb.

Principais Contribuições

• Demonstrador Protótipo: Construção de um demonstrador substancial cobrindo 16 dos 38 módulos do VELO (Localizador de Vértice) (especificamente o quadrante a jusante do lado direito), representando uma parte significativa do detector real.
• Rede de Distribuição Otimizada: Desenvolvimento de um algoritmo de ordenação específico para a rede de comutação que minimiza os fatores de multiplicação de impactos nas camadas intermediárias, melhorando significativamente a vazão.
• Integração em Tempo Real: Integração bem-sucedida do sistema baseado em FPGA com o ambiente DAQ ao vivo do LHCb, demonstrando a capacidade de processar dados reais de colisões com constantes de alinhamento atualizadas em tempo real.
• Sincronização: Implementação de um mecanismo para sincronizar a reconstrução de trajetórias com as constantes de alinhamento do detector mais atualizadas, um requisito crítico para análises de física precisas.

Resultados

• Vazão: O sistema alcançou uma taxa de eventos de 19,0 MHz ao processar dados simulados na luminosidade nominal da Corrida 3. Isso representa uma melhoria massiva em relação a uma configuração de comutação não otimizada, que rendeu apenas 170 kHz nas mesmas condições.
• Confiabilidade: O sistema operou sem interrupções por 10 dias com dados simulados e funcionou suavemente por aproximadamente 60 dias durante a coleta de dados ao vivo (meados de julho e setembro), sem travamentos ou comportamentos anômalos.
• Precisão: As trajetórias reconstruídas pelo demonstrador mostraram concordância qualitativa com a reconstrução padrão de software do LHCb (HLT2) em termos da distribuição bidimensional dos parâmetros da trajetória (espaço $u-v$). A consistência ao nível de bits foi confirmada injetando periodicamente pacotes de dados simulados no fluxo de dados ao vivo, que corresponderam à saída de um emulador de bits em C++.
• Limitações: A taxa alcançada de 19,0 MHz está atualmente um fator de 1,58 abaixo da taxa média de cruzamento de feixes alvo do LHC de 30 MHz. Os autores observam que a lógica final de seleção (cortes de aceitação, eliminação de clones) ainda não foi implementada neste demonstrador.

Significado e Alegações
O artigo alega que a tecnologia Retina atingiu um nível de maturidade adequado para aplicações do mundo real em futuros experimentos de HEP. A demonstração bem-sucedida do processamento de dados ao vivo do LHCb em altas taxas, combinada com a identificação de otimizações específicas de firmware e arquitetura (como aumentos adicionais na frequência do clock e melhorias na cadeia lógica), sugere que a taxa alvo de 30 MHz está ao alcance usando a geração atual de hardware.

Consequentemente, a colaboração LHCb submeteu uma proposta ao comitê científico do LHC para implementar uma primeira aplicação física da arquitetura Retina na Corrida 4. Esta aplicação visa descarregar partes da reconstrução de rastreamento para FPGAs operando transparentemente no nível de leitura, economizando assim poder de computação do HLT1. O trabalho valida a viabilidade de usar arquiteturas de "Retina Artificial" baseadas em FPGA para lidar com as taxas de dados extremas antecipadas em futuras corridas de alta luminosidade.