The LCLStream Ecosystem for Multi-Institutional Dataset Exploration

O LCLStream é um novo framework de streaming de dados de ponta a ponta que combina microserviços em nuvem com modelos de computação de alto desempenho (HPC) para fornecer uma infraestrutura flexível, segura e de alta velocidade voltada para o treinamento de IA e a análise de dados científicos complexos.

O essencial

O "Streaming de Ciência": Como levar dados de super-experimentos para supercomputadores em tempo real

Imagine que você é um chef de cozinha em um restaurante ultra-moderno. Você está preparando um prato extremamente complexo que exige ingredientes que chegam frescos, a cada segundo, de uma fazenda que fica a centenas de quilômetros de distância.

Se você esperar o caminhão chegar com todos os ingredientes para só então começar a cozinhar, o prato vai demorar horas e os ingredientes podem estragar. Para o prato ser perfeito, você precisa que os ingredientes cheguem em um "fluxo contínuo" (como um streaming de vídeo da Netflix) enquanto você já está com a panela no fogo.

O problema que os cientistas enfrentam:
Nos grandes laboratórios de raios-X (como o LCLS nos EUA), os experimentos geram uma quantidade de dados tão gigantesca que é como se uma mangueira de incêndio estivesse despejando informações o tempo todo. O problema é que o "fogão" (o supercomputador que analisa esses dados) geralmente fica em outro lugar, longe do laboratório. Antigamente, os cientistas tinham que esperar o experimento acabar, salvar tudo em "caixas" (discos rígidos) e depois levar essas caixas até o supercomputador. Isso é lento e impede que eles ajustem o experimento enquanto ele acontece.

A solução: O Ecossistema LCLStream
Os pesquisadores criaram o LCLStream, que funciona como uma "esteira rolante inteligente e ultraveloz" que conecta o laboratório diretamente ao supercomputador.

Para entender como isso funciona, imagine que o sistema é composto por quatro partes principais:

1. O Pedido (A API): É como o garçom. O cientista não precisa ir até a fazenda; ele apenas faz um pedido digital: "Ei, mande-me apenas os dados de temperatura e as imagens de luz agora!". O sistema entende exatamente o que ele quer.
2. O Filtro Inteligente (LCLStreamer): Imagine que, em vez de enviar um caminhão cheio de terra e pedras junto com as cenouras, você tem um filtro na saída da fazenda que já limpa e corta as cenouras antes de enviá-las. O LCLStreamer faz isso: ele pega os dados brutos, limpa o que não presta e já os prepara no formato que o cientista precisa, economizando tempo e "espaço na estrada".
3. O Amortecedor (NNG-Stream): Às vezes, a fazenda envia muita coisa de uma vez, ou a estrada fica congestionada. O NNG-Stream funciona como um grande reservatório ou uma caixa d'água. Se vier um "jorro" de dados, ele segura um pouco e libera de forma constante, para que o supercomputador não receba um impacto que o faça travar.
4. O Segurança (Certified): Como estamos enviando dados valiosos por uma "estrada pública" (a internet), precisamos de segurança. O sistema usa um esquema de "crachás digitais" (certificados) para garantir que apenas pessoas autorizadas possam pedir ou receber esses dados.

Por que isso é revolucionário?

• Inteligência Artificial em tempo real: Agora, os cientistas podem treinar robôs (IA) enquanto o experimento acontece. O robô "vê" os dados chegando e aprende na hora.
• Ajuste de precisão: Se o cientista perceber que o experimento não está saindo como o esperado, ele pode mudar as configurações do laser enquanto os dados ainda estão fluindo, como um piloto de Fórmula 1 ajustando o carro enquanto corre a 300 km/h.
• Velocidade absurda: Eles conseguiram fazer com que os dados cheguem ao supercomputador apenas alguns segundos depois de terem sido criados no laboratório.

Em resumo:
O LCLStream transformou a ciência de um processo de "tirar uma foto, levar para casa e olhar depois" em um processo de "assistir a um filme ao vivo e interagir com ele enquanto ele passa". É a ponte digital que permite que a descoberta científica aconteça na velocidade da luz.

Resumo técnico

Resumo Técnico: Ecossistema LCLStream para Exploração de Conjuntos de Dados Multi-Institucionais

1. O Problema

A ciência de raios-X moderna, particularmente em instalações como o Linac Coherent Light Sources (LCLS), gera volumes massivos de dados em taxas extremamente altas (gigabytes por segundo, com projeções para terabytes). Atualmente, existe um "gargalo" entre a coleta de dados no experimento e a análise em supercomputadores (HPC).

Os principais desafios identificados são:

• Latência na análise: A análise de dados costuma ser feita offline, o que impede o ajuste em tempo real das condições experimentais (automação/direcionamento de experimentos).
• Isolamento de dados: As bibliotecas de acesso aos dados (como psana) são restritas ao ambiente local da instalação por razões de segurança e infraestrutura.
• Complexidade de integração: Acoplar fontes de dados on-line a centros de HPC exige a convergência de ontologias de dados, APIs seguras, sistemas de fila de tarefas e protocolos de transmissão de alta largura de banda.

2. Metodologia

Os autores propuseram o LCLStream, um framework de streaming de dados de ponta a ponta baseado em uma arquitetura de microsserviços. Em vez de um programa monolítico, o ecossistema é composto por componentes modulares que combinam modelos de execução de HPC com flexibilidade de serviços em nuvem.

A arquitetura baseia-se nos seguintes componentes principais:

• LCLStreamer: Um motor de redução e formatação de dados que utiliza paralelismo MPI para extrair eventos brutos, aplicar calibrações e converter os dados para formatos customizados (como HDF5 ou streams de rede).
• LCLStream-API: Uma interface RESTful (HTTPS) que permite que usuários remotos solicitem conjuntos de dados específicos via consultas JSON.
• NNG-Stream: Um buffer de mensagens de alta performance que utiliza a biblioteca nanomsg para suavizar o fluxo de dados entre produtores (no local do experimento) e consumidores (no HPC), gerenciando picos de tráfego.
• Psi-k & Psik-API: Um sistema de gerenciamento de jobs de HPC que permite submeter tarefas de análise via API, abstraindo a complexidade de diferentes gerenciadores de tarefas (como SLURM).
• Certified: Um framework de segurança que utiliza infraestrutura de chaves públicas (PKI) baseada em certificados x.509 para garantir autenticação mútua e criptografia entre todos os microsserviços.

3. Principais Contribuições

• Arquitetura de Streaming Híbrida: Integração bem-sucedida de modelos de execução de lote (batch) de HPC com a flexibilidade de APIs web.
• Abstração de Pipeline de Dados: O LCLStreamer permite que cientistas configurem pipelines de processamento (extração $\rightarrow$ processamento $\rightarrow$ serialização $\rightarrow$ transmissão) através de arquivos de configuração, sem necessidade de reescrever código.
• Segurança de Microsserviços: Implementação de um modelo de confiança baseado em assinaturas digitais que permite a comunicação segura entre múltiplas instituições sem depender de um controlador de nuvem centralizado.
• Interoperabilidade: Capacidade de alimentar aplicações diversas, desde treinamento de modelos de IA (como o MAXIE) até análise de estrutura cristalina (CrystFEL).

4. Resultados

O framework foi testado em diversos cenários científicos reais:

• IA e Machine Learning (MAXIE/PeakNet): Demonstrou a capacidade de alimentar o treinamento de autoencoders com conjuntos de dados de 286 TB, reduzindo o tempo de espera para acesso aos dados.
• Análise de Tempo de Voo de Elétrons (TMO-prefex): Validou a automação da redução de dados em altas taxas de repetição (até 1 MHz), permitindo a criação de histogramas para análise espectroscópica quase em tempo real.
• Cristalografia (CrystFEL): Alcançou uma latência de apenas 15 a 25 segundos entre a coleta de dados no experimento e o processamento no HPC (OLCF), permitindo que os pesquisadores ajustem o experimento durante o uso do feixe.
• Desempenho de Rede: Testes mostraram latências de ida e volta (round-trip) de aproximadamente 33-36 ms entre as instalações, com taxas de transferência de dados atingindo entre 1 a 4 GB/s.

5. Significância

O LCLStream representa um avanço crítico para a Infraestrutura de Pesquisa Integrada (IRI) do Departamento de Energia dos EUA (DOE). Ele resolve o problema da "co-programação" (co-scheduling) de tempo de feixe, largura de banda de rede e recursos de computação. Ao fornecer um canal de dados de alta velocidade, seguro e modular, o framework permite que a próxima geração de experimentos de raios-X utilize inteligência artificial e análise distribuída para acelerar descobertas científicas de forma autônoma e em tempo real.