GPU-Accelerated Simulation of 3D Diamond Sensors Using the TeRABIT Infrastructure

Este artigo apresenta um framework de simulação distribuído acelerado por GPU que aproveita a infraestrutura TeRABIT para resolver eficientemente uma nova equação diferencial parcial de terceira ordem para modelar a formação de sinais em sensores de diamante 3D, permitindo assim estudos rápidos de cenários hipotéticos sobre a geometria do sensor.

O essencial

Imagine que você está tentando ouvir um sussurro em um corredor muito longo e barulhento. O sussurro é um sinal minúsculo de uma partícula de radiação atingindo um sensor de diamante. O corredor é o próprio diamante, e as paredes são revestidas com "fios" especiais de carbono (eletrodos) que levam o som até o seu ouvido (o computador).

O problema é que esses fios de carbono não são perfeitos; são um pouco como tubos velhos e enferrujados. Quando o sinal viaja por eles, ele fica atrasado e distorcido, muito parecido com como um som ecoa e se desvanece em um túnel longo. Isso torna difícil saber exatamente quando o sussurro começou, o que é crucial para experimentos de física de alta velocidade.

É assim que os pesquisadores deste artigo resolveram o problema de descobrir exatamente como esse sinal se comporta, usando uma combinação de matemática superinteligente e computadores super-rápidos.

1. A Maneira Antiga: Tentar Mapear um Labirinto com uma Lanterna

Anteriormente, os cientistas tentavam simular como esses sinais se movem através do diamante. Era como tentar mapear um labirinto gigante e tridimensional caminhando por ele, passo a passo, com uma lanterna.

• O Gargalo: A matemática necessária para prever como o sinal se torce e vira pelos "tubos enferrujados" era incrivelmente pesada. Levava a um supercomputador uma semana inteira para simular apenas uma versão do sensor.
• A Limitação: Como levava tanto tempo, eles não podiam testar muitos designs diferentes. Ficaram presos a uma única forma, incapazes de perguntar: "E se fizéssemos os fios mais finos?" ou "E se o diamante fosse mais curto?"

2. A Nova Ferramenta: O Super-Expresso "TeRABIT"

Os autores construíram um novo motor de simulação chamado WeightingTide. Pense nisso como substituir a lanterna lenta e passo a passo por uma frota de drones de alta velocidade que podem sobrevoar todo o labirinto de uma só vez.

• O Impulso da GPU: Eles moveram a matemática pesada para as GPUs (os chips poderosos geralmente encontrados em computadores de videogame). Em vez de um cérebro fazendo os cálculos, eles usaram milhares de cérebros minúsculos trabalhando simultaneamente. Isso transformou um trabalho de uma semana em algumas horas.
• A Rede "TeRABIT": Para lidar com ainda mais trabalho, eles não usaram apenas um computador. Eles conectaram computadores em cidades diferentes (Florença, Bolonha e Pádua) usando um protocolo de internet especial chamado InterLink. Imagine uma corrida de revezamento onde corredores em cidades diferentes passam o bastão instantaneamente. Se um computador está ocupado, o trabalho é imediatamente transferido para outro próximo. Eles armazenaram os dados em um "armário em nuvem" central (armazenamento S3) para que todos pudessem pegar o que precisavam sem entupir as estradas locais.

3. O Jogo "E Se?": Projetando o Sensor Perfeito

Com esse novo sistema rápido, a equipe finalmente pôde jogar um jogo de "E se?". Eles testaram milhares de formas diferentes para o sensor de diamante para ver qual daria o sinal mais claro e rápido.

Eles se concentraram em duas partes principais do sensor:

• Os Fios de "Bias" (A Fonte de Alimentação): Eles se perguntaram se tornar esses fios mais finos ajudaria.
  • A Surpresa: Eles descobriram que tornar esses fios mais finos na verdade não alterava muito o tempo. Era como perceber que apertar o cabo de uma porta não impede o rangido; o rangido vem das dobradiças em outro lugar.
• Os Fios de "Leitura" (O Caminho do Sinal): Eles testaram tornar o diamante mais fino, o que encurta o caminho que o sinal tem que percorrer.
  • A Descoberta: Isso ajudou! Encurtar o caminho que o sinal percorre reduziu o atraso. É como encurtar um corredor longo; o sussurro chega ao seu ouvido mais rápido e com mais clareza.

4. O Resultado: Uma Imagem Mais Nítida

Combinando essas descobertas, a equipe propôs um novo design:

1. Faça os fios de "leitura" mais curtos (usando um diamante mais fino).
2. Faça os fios de "bias" o mais finos possível (para economizar dinheiro e reduzir o risco de quebrar o diamante durante a fabricação), já que seu tamanho não prejudica o tempo.

A Conclusão:
Este novo método de simulação é como fazer uma atualização de um cartógrafo manual e lento para um sistema de GPS em tempo real. Permitiu que os cientistas testassem designs rapidamente e encontrassem uma maneira de melhorar a precisão de tempo do sensor em cerca de 10%. Isso os aproxima do objetivo final: detectar partículas com uma resolução de tempo tão rápida que é melhor do que 100 picossegundos (isso é 100 trilionésimos de segundo!).

Eles não inventaram um novo sensor hoje, mas construíram o "túnel de vento" que permite aos engenheiros projetar o melhor sensor possível para o futuro.

Resumo técnico

Resumo Técnico: Simulação Acelerada por GPU de Sensores de Diamante 3D Utilizando a Infraestrutura TeRABIT

Declaração do Problema
Detectores de diamante com eletrodos ortogonais à superfície, criados via grafitação induzida por laser, oferecem potencial significativo para Física de Altas Energias, Medicina Nuclear e dosimetria devido à sua resistência à radiação e capacidades de temporização rápida. Avanços recentes na grafitação permitiram resoluções temporais inferiores a 100 ps. No entanto, simular com precisão a formação de sinal nesses dispositivos permanece um grande desafio computacional. O processo de formação de sinal envolve uma interação complexa de flutuações na deposição de energia, transporte de portadores, propagação de sinal e eletrônica de leitura.

Métodos de simulação padrão baseados no teorema de Ramo–Shockley são insuficientes porque não levam em conta os efeitos de impedância dos eletrodos resistivos, que dominam a resolução temporal nessas estruturas 3D. Embora uma extensão do teorema por Riegler incorpore esses efeitos por meio de uma função de correlação quadridimensional, $\vec{H}(\vec{x}, t)$, o cálculo numérico dessa função é computacionalmente dispendioso. Tentativas anteriores usando métodos pseudo-espectrais em Python (com extensões em C) e COMSOL MultiPhysics® eram ou muito lentas para otimização geométrica sistemática ou limitadas por restrições de memória que impediam a computação distribuída em grades de Computação de Alto Desempenho (HTC).

Metodologia
Os autores desenvolveram um novo framework de simulação que aborda esses gargalos por meio de três inovações técnicas principais:

1. Fluxo de Trabalho de Micro-passos Orquestrado: A simulação é estruturada como um fluxo de trabalho em Grafo Acíclico Direcionado (DAG) orquestrado pelo Snakemake. Este fluxo divide o processo em seis etapas distintas:

   • Compilação de geometria (OpenSCAD para STL).
   • Cálculo de campo eletrostático (resolução da equação de Laplace).
   • Cálculo da função de correlação (resolução de uma equação diferencial parcial de terceira ordem derivada das leis de Maxwell em uma aproximação quase-estática).
   • Simulação de trajetória de portadores (usando Garfield++).
   • Cálculo de corrente induzida (convolução de velocidade e função de correlação).
   • Simulação de eletrônica e DAQ.
     Formatos de dados intermediários são otimizados para desempenho, incluindo o uso do Apache Arrow para reduzir tamanhos de arquivo em ~80% e sobrecarga de desserialização.

2. Aceleração por GPU (WeightingTide): Etapas críticas para desempenho, especificamente o cálculo do campo eletrostático e da função de correlação $\vec{H}(\vec{x}, t)$, foram portadas para GPUs usando a biblioteca CuPy.

   • Eletrostática: Um método pseudo-espectral iterativo resolve a equação de Laplace usando FFTs 3D e kernels CUDA personalizados. Kernels personalizados foram empregados para multiplicar representações espectrais pelo momento quadrado do vetor de onda, reduzindo pela metade a memória GPU necessária em comparação com uma implementação puramente em Python.
   • Função de Correlação: Um kernel CUDA personalizado calcula a tensão definida por cargas pontuais nas fronteiras, impondo condições de contorno copiando blocos reescalados de soluções fundamentais. Esta etapa, que dominava o tempo de execução da CPU, alcançou uma aceleração de 100× em GPUs.
   • Convolução: A convolução das velocidades dos portadores com a função de correlação foi descarregada para a GPU. A função de correlação foi carregada na memória de textura da GPU para aproveitar a interpolação linear acelerada por hardware ao longo das trajetórias dos portadores.

3. Computação Distribuída via TeRABIT e InterLink: Para permitir varreduras sistemáticas de parâmetros, o fluxo de trabalho foi distribuído entre recursos de computação heterogêneos. O sistema utiliza os "Bubbles" HPC do TeRABIT (especificamente o site de Pádua com GPUs H200) e os recursos HTC do INFN-CNAF (nós apenas CPU).

   • O fluxo de trabalho Snakemake interage com um cluster Kubernetes gerenciado pelo Kueue.
   • O projeto InterLink define nós virtuais que executam cargas de trabalho contêinerizadas (gerenciadas via Apptainer e CVMFS) em sites remotos (CNAF e Pádua) em vez de nós físicos locais.
   • A troca de dados entre sites geograficamente distantes é tratada via armazenamento centralizado compatível com S3 (Deuxfleurs Garage), embora a largura de banda de transferência de dados seja notada como o principal gargalo na execução paralela.

Contribuições Principais

• Inovação Algorítmica: O desenvolvimento de um solver usando soluções fundamentais para impor condições de contorno e métodos espectrais para estender a solução ao volume do detector de diamante, resolvendo a EDP de terceira ordem necessária para potenciais de ponderação dependentes do tempo.
• Porting de Software: A migração bem-sucedida de etapas de simulação críticas para desempenho para GPUs, reduzindo o tempo para obtenção de insights para uma única geometria de aproximadamente uma semana para algumas horas.
• Integração de Infraestrutura: A demonstração de um modelo de computação distribuída que integra perfeitamente recursos HTC (CNAF) e HPC (TeRABIT Pádua) via protocolo InterLink e Kubernetes, permitindo a orquestração de fluxos de trabalho científicos complexos e multi-etapas entre sites.
• Desenvolvimento de Pacote: A criação do pacote Python WeightingTide, que encapsula os métodos acelerados por GPU baseados em CuPy para cálculos eletrostáticos e de função de correlação.

Resultados
Utilizando a nova arquitetura de simulação, os autores realizaram estudos paramétricos sistemáticos em detectores de diamante 3D com eletrodos grafitados, focando em duas variáveis geométricas: diâmetro do eletrodo de polarização e espessura do volume de diamante.

• Diâmetro do Eletrodo de Polarização: Contrariando expectativas iniciais de que a resistência do eletrodo ditaria linearmente a resolução temporal, o estudo encontrou que a resolução temporal é amplamente independente do diâmetro do eletrodo de polarização (variado de 6 a 14 $\mu$m). Os autores atribuem isso à geometria 3D, onde a contribuição dos eletrodos de polarização para a evolução da função de correlação é negligenciável em comparação com os eletrodos de leitura. Isso sugere que os eletrodos de polarização podem ser fabricados com diâmetros muito pequenos para minimizar riscos de dano durante a grafitação sem comprometer o desempenho de temporização.
• Espessura do Volume: O estudo confirmou que a resolução temporal melhora à medida que a espessura do volume de diamante diminui. Isso é consistente com a descoberta de que a propagação de sinal ao longo do eletrodo de leitura é o fator dominante que limita o tempo. Eletrodos de leitura mais curtos (volume mais fino) melhoram diretamente o desempenho de temporização.
• Proposta de Otimização: Com base nessas descobertas, os autores propõem uma nova geometria de sensor (Fig. 7) com eletrodos de leitura encurtados e diâmetros de eletrodo de polarização minimizados. Esta configuração é projetada para melhorar a resolução temporal em aproximadamente 10% enquanto mantém a viabilidade de fabricação.

Significado e Perspectivas
O artigo afirma que este trabalho permite estudos de "e se" sobre a geometria do sensor que anteriormente eram computacionalmente proibitivos. Ao reduzir o tempo para obtenção de insights de semanas para horas e permitir execução distribuída, o framework permite a otimização sistemática de parâmetros do detector.

Os autores concluem que, embora ganhos incrementais (~10%) possam ser alcançados através da otimização geométrica (especificamente reduzindo o comprimento do eletrodo de leitura), a estratégia mais eficaz para melhoria adicional de desempenho permanece a melhoria da condutividade das colunas grafitadas. Os resultados indicam que os detectores de diamante 3D estão rapidamente se aproximando dos limites fundamentais impostos pela eletrônica de leitura. A integração bem-sucedida da aceleração por GPU com recursos distribuídos HPC/HTC via infraestrutura TeRABIT fornece um caminho robusto para o futuro design e otimização de detectores.