A converged architecture for processing 32 Tbps of physics data in real-time at the LHCb experiment

Imagine uma câmera gigante de alta velocidade que não tira fotos de pores do sol ou de filhotes, mas sim dos menores blocos de construção do universo colidindo. Este é o mundo da física de partículas, onde cientistas usam máquinas massivas chamadas colisores para disparar partículas umas contra as outras bilhões de vezes por segundo. Quando essas partículas colidem, elas criam uma explosão caótica de novas partículas, como quebrar um vaso para ver o que há dentro. O objetivo é vislumbrar algo raro e novo escondido nos escombros. Mas aqui está o problema: a câmera é tão rápida e as colisões são tão frequentes que ela produz uma montanha de dados — tanto que preencheria milhões de discos rígidos a cada segundo. Se os cientistas tentassem salvar cada pedaço de dado, seus computadores derreteriam e seu armazenamento acabaria instantaneamente.

Para resolver isso, os físicos usam um "filtro" ou um "gatilho" (trigger). Pense nisso como um segurança em um clube exclusivo. O segurança tem que decidir em uma fração de segundo quais colisões são interessantes o suficiente para manter e quais são apenas ruído de fundo entediante para descartar. Durante décadas, esses seguranças foram uma mistura de hardware especializado e software de computador. Mas, à medida que as máquinas ficavam mais rápidas, os antigos seguranças não consegravam acompanhar. Eles eram muito lentos e rígidos, muitas vezes descartando eventos interessantes apenas porque não pareciam o que o hardware esperava. A grande questão tornou-se: Como construir um filtro que seja rápido o suficiente para lidar com um fluxo de dados, inteligente o suficiente para olhar para o quadro geral e flexível o suficiente para mudar de ideia sobre a hora?

Este artigo conta a história de como o experimento LHCb no Grande Colisor de Hádrons (LHC) resolveu esse problema com um upgrade massivo. A equipe construiu um novo sistema que atua como uma fábrica altamente eficiente e integrada. Em vez de usar um processo lento de várias etapas com diferentes equipes lidando com diferentes partes do trabalho, eles criaram uma "arquitetura convergida". Isso significa que eles combinaram a coleta de dados, a classificação e a filtragem em um único processo simplificado rodando em poderosas placas de vídeo (GPUs), geralmente encontradas em computadores de jogos. Eles conseguiram processar impressionantes 32 terabits de dados por segundo em tempo real. Isso é a maior taxa de dados já manipulada por software em qualquer experimento de física. Ao remover os antigos filtros de hardware rígidos e substituí-los por um sistema de software inteligente e flexível, eles não apenas acompanharam a velocidade, mas na verdade melhoraram a qualidade da ciência que podem realizar, garantindo que nenhum evento raro e emocionante escape pelas frestas.

O Problema: Um Dilúvio de Dados

O Grande Colisor de Hádrons (LHC) esmaga partículas umas contra as outras bilhões de vezes por segundo. Cada vez que elas colidem, chama-se "evento". No passado, o experimento LHCb usava um sistema de filtro de duas etapas. Primeiro, um "gatilho de baixo nível", feito de eletrônicos especializados e customizados, escaneava rapidamente os dados e descartava a maioria das colisões entediantes. Apenas aquelas que pareciam promissoras seriam passadas para um "gatilho de alto nível" (software) para um olhar mais profundo.

No entanto, esse sistema antigo tinha uma falha. Como o filtro de hardware olhava apenas para alguns sensores específicos, às vezes perdia eventos interessantes que aconteciam em outras partes do detector. Além disso, era difícil mudar as regras depois que o hardware era construído. A equipe do LHCb decidiu eliminar todo o primeiro filtro baseado em hardware. Isso significava que seu sistema teria que lidar com 40 vezes mais dados do que antes. Eles precisavam processar um fluxo de dados brutos de 32 terabits por segundo (Tbps) e filtrá-lo para os eventos mais interessantes em tempo real. Se falhassem, os dados seriam perdidos para sempre.

A Solução: Uma Fábrica Convergida

A equipe construiu um novo sistema usando 164 servidores (computadores) que atuam como uma única máquina massiva. Veja como eles fizeram funcionar:

1. A Rodovia "Zero-Copy"
Normalmente, quando os dados se movem de uma placa de rede para a memória de um computador e, depois, para um processador, eles precisam ser copiados várias vezes. Isso é como mover uma caixa de um caminhão para um armazém, depois para uma prateleira e, finalmente, para uma vitrine. Isso leva tempo e energia. A equipe do LHCb usou uma técnica "zero-copy". Imagine uma esteira rolante que corre diretamente do caminhão, passa pelo armazém e vai direto para a vitrine sem nunca parar para ser movida manualmente. Isso permitiu que eles movessem dados incrivelmente rápido sem atrasar o computador.

2. A Potência das GPUs
Em vez de usar processadores de computador padrão (CPUs) para o trabalho pesado, eles usaram Unidades de Processamento Gráfico (GPUs). Esses são os chips encontrados em computadores de videogame, projetados para lidar com milhares de tarefas simultaneamente. A equipe percebeu que reconstruir os caminhos das partículas é muito parecido com renderizar uma cena complexa de um videogame 3D. Ao colocar todo o processo de filtragem nas GPUs, eles puderam processar milhares de colisões simultaneamente.

3. Agendamento Mais Inteligente
Um desafio era que nem todas as colisões têm o mesmo tamanho ou complexidade. Algumas são rápidas de analisar; outras levam mais tempo. Se o sistema tentasse processá-las uma por uma, ele ficaria travado esperando. A equipe desenvolveu um "agendador" inteligente que agrupa eventos em lotes. É como um chef preparando uma refeição: em vez de cozinhar um prato de cada vez, eles preparam todos os vegetais, depois picam toda a carne, e então cozinham tudo junto. Isso mantém as GPUs ocupadas e eficientes. Eles também usaram um "agendador de múltiplos eventos" que olha para o lote inteiro e decide a melhor ordem para executar as etapas, garantindo que os cálculos mais caros sejam feitos apenas nos eventos que realmente precisam deles.

4. A Rede
Para conectar todos os 164 servidores, eles construíram uma rede customizada usando InfiniBand, uma tecnologia frequentemente usada em supercomputadores. Eles projetaram a rede para que cada servidor pudesse falar com todos os outros de forma eficiente, evitando congestionamentos (um problema conhecido como "incast"). Isso permitiu que eles montassem as peças de cada colisão vindas de diferentes partes do detector e as enviassem para as GPUs para filtragem sem quaisquer gargalos.

Os Resultados: Quebrando Recordes

A equipe testou seu sistema e descobriu que ele funcionou exatamente como planejado.

• Velocidade: Eles processaram com sucesso os 32 Tbps totais de dados recebidos em tempo real.
• Filtragem: O sistema aplicou um filtro que reduziu os dados em um fator de 30:1. Isso significa que, para cada 30 colisões, apenas 1 foi mantida para estudo posterior.
• Escalabilidade: Quando testaram o sistema com mais servidores, ele escalou perfeitamente. O sistema pôde lidar com a taxa de projeto total do LHC, que é de 30 milhões de colisões por segundo.
• Eficiência: O sistema utilizou 164 servidores equipados com 328 GPUs (duas por servidor). A potência de computação total era massiva, mas o design era eficiente o suficiente para que não precisassem de milhares de máquinas como no passado.

O artigo confirma que este sistema é capaz de processar a maior taxa de dados via software já alcançada no campo da física. Provou-se que é possível remover os antigos e rígidos filtros de hardware e substituí-los por um sistema baseado em software, que é mais rápido e inteligente.

Por Que Isso Importa

Isso não é apenas sobre lidar com mais dados; é sobre ver mais do universo. Ao remover o filtro de hardware, o experimento LHCb pode agora observar o detector inteiro em busca de eventos interessantes, não apenas as partes que o antigo hardware estava programado para vigiar. Isso significa que eles podem encontrar partículas raras ou novas físicas que anteriormente eram invisíveis. O sucesso desta "arquitetura convergida" estabelece um novo padrão para como futuros experimentos de física de partículas serão construídos, mostrando que, com a mistura certa de tecnologia comercial e software inteligente, podemos expandir os limites do que é possível na ciência.