The IAEA Fusion Data Lake Project -- Accelerating AI and Big Data Applications through Open Science and FAIR Data

Este relatório apresenta o projeto IAEA Fusion Data Lake, uma iniciativa global que visa acelerar a aplicação de IA na fusão nuclear através da criação de uma infraestrutura de dados moderna, interoperável e baseada nos princípios FAIR, integrando catálogos de dados experimentais de dispositivos de fusão ao redor do mundo.

O essencial

Imagine que a energia de fusão nuclear é como tentar construir o "Santo Graal" da energia: uma fonte limpa e infinita, como uma pequena estrela dentro de uma máquina. O problema é que, para fazer isso funcionar, cientistas de todo o mundo estão fazendo experimentos complexos, mas cada um está guardando seus dados em cofres diferentes, com chaves diferentes e idiomas diferentes.

O artigo que você enviou descreve um projeto incrível da IAEA (Agência Internacional de Energia Atômica) chamado Fusion Data Lake (Lago de Dados de Fusão). Eles estão tentando resolver esse problema de comunicação.

Aqui está a explicação, traduzida para uma linguagem simples e cheia de analogias:

1. O Problema: A Torre de Babel dos Cientistas

Atualmente, cientistas no Reino Unido, Japão, EUA, China e outros lugares estão criando "gêmeos digitais" e usando Inteligência Artificial (IA) para prever como controlar o plasma (o combustível da fusão). Mas a IA precisa de muitos dados de muitas máquinas diferentes para aprender de verdade.

O problema é que os dados estão espalhados. É como se você quisesse ensinar um aluno a cozinhar o melhor prato do mundo, mas ele só tivesse acesso às receitas de uma única cozinha, enquanto as melhores técnicas estivessem trancadas em cozinhas de outros países, sem tradução.

2. A Solução: O "Lago de Dados" (Fusion Data Lake)

A IAEA decidiu construir um Lago de Dados. Pense nisso como um grande shopping center digital ou uma biblioteca universal onde todos podem deixar e pegar informações.

O objetivo não é apenas juntar os dados, mas torná-los FAIR (um conceito que significa que os dados devem ser Fáceis de encontrar, Acessíveis, Interoperáveis e Reusáveis). É como transformar uma pilha de livros soltos em uma biblioteca organizada, com um catálogo que você pode procurar pelo celular.

3. Como Funciona a Máquina (A Arquitetura)

Para construir esse lago, eles usaram uma "receita" moderna de tecnologia:

• O Catálogo: É como o índice de um livro gigante. Você digita o que quer (ex: "dados do tokamak MAST") e ele te diz onde está.
• A Federação: Em vez de copiar e colar tudo para um único lugar (o que daria muito trabalho), o sistema cria um "ponto único de acesso". É como se você tivesse um cartão de membro que funciona em todos os bancos do mundo; você não precisa ir até o banco, o sistema busca o dinheiro onde ele está.
• O Armazenamento: Eles usam tecnologias de nuvem (como a Microsoft Azure e Snowflake) para guardar os dados de forma segura e rápida.

4. A Prova de Conceito: Os 3 Passos da Escada

O projeto está sendo construído em três fases, como se estivessem testando um novo tipo de avião:

• Fase 1 (O Primeiro Voo): Eles conectaram os dados de uma máquina britânica (MAST). Funcionou! O sistema conseguiu "conversar" com o banco de dados deles e mostrar os dados na tela.
• Fase 2 (Aumentando a Capacidade): Agora, eles estão adicionando dados de máquinas do Japão (LHD) e dos EUA (Alcator C-Mod). O desafio aqui foi mostrar que o sistema aguenta dados de lugares muito diferentes, com formatos diferentes, e ainda assim entendê-los todos da mesma forma.
• Fase 3 (A Grande Estreia): A próxima etapa é trazer dados da China (HL-2A) e melhorar o "site" e os "aplicativos" para que qualquer cientista possa entrar, testar e usar a ferramenta antes de lançá-la oficialmente para o mundo todo.

5. As Regras do Jogo (Governança de Dados)

Como lidar com dados sensíveis de países diferentes? Eles criaram um conjunto de regras, como se fosse um contrato de clube:

• Termos de Serviço: Se você sobe um dado, você garante que tem permissão. Se você baixa um dado, você promete usar e citar a fonte corretamente (como dar crédito ao autor de uma música).
• Níveis de Acesso (A Segurança):
  1. Público: Qualquer um pode ver (como uma vitrine de loja).
  2. Interno: Apenas quem tem um cartão de membro da IAEA (como um funcionário de um escritório).
  3. Restrito: Apenas quem tem um cartão de um país ou instituição específica (como um clube exclusivo).
  4. Fechado: Apenas para pessoas escolhidas a dedo pelo dono dos dados (como um cofre bancário).

Conclusão: Por que isso importa?

O projeto Fusion Data Lake é como construir a estrada de ferro global para a ciência da fusão. Antes, os cientistas tinham que construir trilhos individuais para cada país. Agora, eles estão criando uma rede unificada.

Isso permite que a Inteligência Artificial aprenda com a experiência de todos os experimentos do mundo ao mesmo tempo. O resultado? Acelerar a descoberta de como fazer a energia de fusão funcionar de verdade, trazendo energia limpa e infinita para o futuro mais rápido do que jamais imaginamos.

Em resumo: Eles estão transformando dados soltos e confusos em um tesouro organizado que a inteligência artificial pode usar para salvar o planeta.

Resumo técnico

Resumo Técnico: Projeto Fusion Data Lake da AIEA

1. Problema e Contexto

O avanço da energia de fusão nuclear está sendo acelerado pela Inteligência Artificial (IA) e pelo Big Data, com aplicações que vão desde modelos substitutos (surrogate models) e gêmeos digitais até a análise de logs experimentais usando Grandes Modelos de Linguagem (LLMs). No entanto, o desenvolvimento de modelos de IA robustos e agnósticos à máquina (capazes de generalizar para futuros dispositivos de fusão) enfrenta uma barreira crítica: a falta de infraestrutura de dados moderna e conjuntos de dados ricos em metadados.

Atualmente, muitas instituições (como a UKAEA e o NIFS no Japão) estão construindo suas próprias infraestruturas, mas a fragmentação impede a colaboração global. O problema central é a necessidade de uma plataforma que permita o compartilhamento e a integração de dados multimáquina de forma padronizada, seguindo os princípios FAIR (Findable, Accessible, Interoperable, Reusable), com interfaces amigáveis para humanos e APIs programáveis para pipelines de análise.

2. Metodologia e Arquitetura da Plataforma

O projeto, parte do Coordinate Research Project (CRP) "IAEA AI for Fusion", desenvolveu uma infraestrutura de dados baseada em três objetivos de serviço principais:

1. Catálogo de Dados: Um catálogo central consultável de experimentos e sinais de diagnóstico globais.
2. Federação de Dados: Um ponto de acesso único a uma rede descentralizada de repositórios experimentais e de simulação.
3. Armazenamento Centralizado: Armazenamento temporário (curto a médio prazo) para dados não federados.

Stack Tecnológico e Arquitetura:
A plataforma foi construída sobre a pilha tecnológica corporativa da AIEA, utilizando:

• Computação e Banco de Dados: Snowflake para pipelines de dados em Python e servidores SQL.
• Armazenamento e DevOps: Microsoft Azure para armazenamento e Azure DevOps para CI/CD.
• Desenvolvimento Web: C# e .NET.
• Pipeline de Dados: Utiliza uma abordagem ETL (Extract, Transform, Load) dentro de uma estrutura de Medallion (Bronze, Prata, Ouro). Foi desenvolvido um pipeline de ingestão orientado a metadados, onde arquivos de configuração gerenciam a transformação dos dados e o mapeamento para o modelo de dados, permitindo reutilização e fácil manutenção.

Modelo de Dados:
Foi criado o Minimal Metadata Model (MMM), um modelo de alto nível categorizado em três tabelas ("core", "icf" para fusão por confinamento inercial, e "mcf" para fusão por confinamento magnético). A ontologia está sendo desenvolvida em alinhamento com o ITER IMAS Data Dictionary para garantir interoperabilidade.

3. Contribuições Chave

• Infraestrutura Global Unificada: A AIEA utiliza sua posição única para facilitar a colaboração entre 22 instituições de 11 países, criando uma ponte entre a comunidade científica, a indústria e a academia.
• Padronização e Interoperabilidade: O desenvolvimento de um modelo de dados comum e pipelines de ingestão flexíveis que podem acomodar diferentes formatos de dados de diversas máquinas de fusão.
• Estratégia de Governança de Dados: Criação de uma estratégia provisória robusta para regular o acesso, privacidade e atribuição de dados em um ambiente internacional.
• Prova de Conceito (PoC) Escalonável: Demonstração prática da viabilidade técnica através de três fases de desenvolvimento.

4. Resultados e Evolução (Fases I, II e III)

O projeto evoluiu através de três fases de Prova de Conceito:

• Fase I (Federação): Implementou a plataforma inicial no Snowflake e um aplicativo web simples. Demonstrou o conceito de federação ao sincronizar o Fusion Data Lake com o catálogo de dados do MAST (UKAEA), permitindo que usuários baixassem dados do MAST sem que os dados passassem fisicamente pela infraestrutura do FDL.
• Fase II (Escalabilidade): Expandiu a plataforma para incluir dados do Large Helical Device (LHD) (Japão) e do Alcator C-Mod (MIT, EUA). A escalabilidade foi provada ao integrar três conjuntos de dados distintos (MAST, LHD, C-Mod) em um único modelo de dados, utilizando padrões de ingestão únicos (API REST, Azure Blob Storage, ferramentas PSFC como disruption-py e MDS Plus).
• Fase III (Pré-lançamento): Em andamento, foca na expansão para incluir o catálogo do HL-2A (China) e no amadurecimento das interfaces front-end (API e Web) para permitir testes de acesso antecipado em conformidade com os Termos de Serviço.

5. Governança e Estratégia de Acesso

O projeto estabeleceu uma estrutura de governança provisória essencial para operações internacionais:

• Termos de Serviço (ToS): Cobrem uploads (requerendo autoridade de compartilhamento e licenciamento), downloads (uso restrito às licenças) e atribuição/citação obrigatória.
• Níveis de Acesso e Privacidade:
  1. Público: Acesso sem login.
  2. Interno: Acesso com conta IAEA NUCLEUS.
  3. Restrito: Acesso para instituições pré-aprovadas (possível autenticação via OpenAthens).
  4. Fechado: Acesso apenas para usuários individualmente aprovados pelo proprietário dos dados.

6. Significado e Conclusão

O Projeto Fusion Data Lake representa um marco fundamental para a comunidade de fusão nuclear. Ao fornecer uma plataforma moderna, inclusiva e programável, ele resolve o gargalo de dados que limita o treinamento de modelos de IA. A capacidade de integrar dados heterogêneos de múltiplas máquinas sob princípios FAIR permite o desenvolvimento de modelos de aprendizado de máquina que podem generalizar para futuros reatores de fusão (como o ITER e o DEMO). A evolução bem-sucedida das fases de PoC demonstra que a infraestrutura técnica e a governança são escaláveis, preparando o terreno para um lançamento prévio que acelerará a descoberta científica e o desenvolvimento de tecnologias de fusão em todo o mundo.