astroCAMP: A Community Benchmark and Co-Design Framework for Sustainable SKA-Scale Radio Imaging

Resumo Técnico: astroCAMP

Enunciação do Problema
O Square Kilometre Array (SKA) representa uma mudança de paradigma na radioastronomia, onde a capacidade científica é cada vez mais limitada por restrições de computação e não pela coleta de fótons. Os Processadores de Dados Científicos (SDPs) do SKA devem sustentar cargas de trabalho de imageamento em escala de petaflops (16–72 PFLOP/s) dentro de limites rígidos de energia no nível do site (1–5 MW), localizados em redes intensivas em carbono na África do Sul e na Austrália. As pipelines atuais de interferometria radioelétrica sofrem de uma "lacuna de utilização" fundamental, alcançando tipicamente apenas 4–14% do desempenho máximo do hardware devido a limitações de largura de banda de memória, gargalos de E/S e padrões de acesso irregulares. Essa ineficiência leva ao consumo excessivo de energia, altos custos operacionais e emissões significativas de carbono. Além disso, o campo carece de métricas padronizadas entre camadas, tolerâncias de fidelidade no nível de levantamentos e benchmarks reproduzíveis, o que dificulta o co-design fundamentado de hardware e software e impede que os pesquisadores quantifiquem as compensações entre fidelidade científica e eficiência.

Metodologia
Os autores introduzem o astroCAMP, um framework de benchmarking e co-design reproduzível projetado para avaliar e otimizar pipelines de imageamento em escala do SKA. A metodologia é estruturada em torno de três etapas não sobrepostas:

1. Perfilamento e Medições: Os benchmarks são executados em condições controladas usando Unidades de Distribuição de Energia (PDUs) no nível de rack e telemetria da plataforma (por exemplo, RAPL, NVML) para medir tempo até a solução, energia até a solução e carbono até a solução.
2. Avaliação de Métricas de Co-Design: Um conjunto unificado de métricas entre camadas é montado para cada configuração. Esse conjunto abrange desempenho, energia, carbono, custo econômico, comportamento do sistema e fidelidade científica.
3. Loop de Co-Design e Otimização Multiobjetivo: Vetores de métricas são alimentados em um loop de Exploração do Espaço de Projeto (DSE) para resolver um problema de otimização multiobjetivo. O objetivo é identificar regiões operacionais Pareto-ótimas que minimizem tempo, energia, carbono e custo, enquanto aderem a restrições de qualidade científica e limites de energia.

O framework utiliza a ferramenta PREESM para DSE e depende de conjuntos de dados padronizados gerados via simulador OSKAR, representando configurações do SKA-Low.

Principais Contribuições
O artigo apresenta quatro contribuições principais:

1. Conjunto Unificado de Métricas: Um conjunto de mais de 12 métricas mensuráveis cobrindo desempenho, utilização, comportamento de memória/movimento de dados, sustentabilidade (carbono até a solução), economia (custo por trabalho) e fidelidade científica (RMS, PSNR, SSIM). Isso permite comparação consistente entre CPUs, GPUs, FPGAs e ASICs.
2. Conjunto de Benchmarks Padronizado: O lançamento de conjuntos de dados abertos de visibilidade do SKA-Low, imagens sujas de referência e scripts de reprodutibilidade (astroCAMP-data-v1.0) para permitir avaliação entre plataformas e exploração sistemática das compensações hardware-algoritmo.
3. Formulação de Co-Design Multiobjetivo: Um problema de otimização formal que vincula parâmetros algorítmicos e arquitetônicos a restrições de tempo, energia, carbono, custo e qualidade científica. Define um esquema de espaço de projeto estável ($x = (a, h, s)$) que acomoda futuras inovações algorítmicas e arquitetônicas.
4. Fluxo de Trabalho Reproduzível de Exploração do Espaço de Projeto: Uma demonstração de como derivar regiões operacionais Pareto-ótimas usando o framework, ilustrada através da exploração heterogênea CPU–FPGA.

Resultados Experimentais
Os autores avaliaram a pipeline WSClean com o kernel Image Domain Gridding (IDG) em uma CPU AMD EPYC 9334 e uma GPU NVIDIA H100. As principais descobertas incluem:

• Gargalos de Orquestração: Apesar de kernels eficientes durante fases ativas, o desempenho ponta a ponta é dominado por orquestração, sincronização e sobrecargas seriadas. A utilização da GPU é intermitente, e a escalabilidade forte da CPU colapsa após 16 threads (alcançando apenas ~17,6% da escalabilidade ideal em 64 threads) devido a E/S serial e manipulação de metadados em bibliotecas como libcasa_tables.
• Hierarquia de Energia: A energia estática (potência ociosa) representa 80–85% do consumo total de energia, indicando subutilização persistente do hardware. A energia dinâmica é apenas ~15% do total, sugerindo que o ajuste de eficiência apenas no hardware tem impacto limitado, a menos que a utilização do software seja melhorada.
• Eficiência Dependente da Localização: Embora a taxa de transferência permaneça constante, a eficiência de carbono e custo varia significativamente com base na localização. A Austrália Ocidental (menor intensidade de carbono da rede) oferece melhor eficiência de carbono, enquanto a África do Sul (menor preço da eletricidade) oferece melhor eficiência de custo.
• Limites de Escala: Escalar ingenuamente parâmetros de imageamento (passos de tempo e canais) aumenta os custos operacionais e as pegadas de carbono de forma superlinear, sem entregar ganhos proporcionais de throughput científico.
• Fronteiras de Pareto: Usando o PREESM em uma plataforma CPU-FPGA, os autores geraram com sucesso fronteiras de Pareto para latência vs. energia e latência vs. ocupação de recursos, demonstrando a capacidade do framework de orientar decisões de projeto.

Significado e Alegações
O artigo argumenta que fechar a lacuna de eficiência no imageamento do SKA exige mais do que ajustes incrementais; demanda um co-design holístico através de algoritmos, estruturas de dados e hardware. O significado do astroCAMP reside em sua capacidade de:

• Fornecer a primeira metodologia ponta a ponta para avaliar rigorosamente pipelines em escala do SKA com eficiência de carbono como um objetivo de primeira classe.
• Deslocar o foco da otimização isolada de kernels para a orquestração em nível de sistema e eficiência de movimento de dados.
• Permitir a identificação de pontos operacionais Pareto-ótimos onde a fidelidade científica é trocada por desempenho, economia de energia e carbono sem comprometer a descoberta.

Os autores concluem com um apelo à comunidade do SKA para definir métricas e limites de fidelidade quantificáveis no nível de levantamentos. Eles postulam que, sem essas tolerâncias padronizadas, os esforços de otimização correm o risco de se tornar uma "busca cega por eficiência" que obscurece o equilíbrio crítico entre retorno científico e consumo de recursos. O framework serve como base para estabelecer um processo comunitário, de código aberto, para benchmarking e co-design na era do SKA.