The IAEA Fusion Data Lake Project -- Accelerating AI and Big Data Applications through Open Science and FAIR Data

이 논문은 IAEA 가 추진하는 '융합 데이터 호수 (Fusion Data Lake)' 프로젝트를 통해 FAIR 데이터 원칙에 기반한 현대적 데이터 인프라를 구축하고, 국제적 데이터 카탈로그·저장소·연계 체계를 구현하여 인공지능과 빅데이터 기반의 핵융합 연구 가속화를 도모하는 기술 아키텍처, 데이터 모델, 거버넌스 전략 및 현재 진행 중인 개념 증명 (PoC) 결과를 제시합니다.

핵심

이 논문은 **국제원자력기구 **(IAEA)가 전 세계 핵융합 연구자들을 위해 만든 거대한 **'데이터 공유 플랫폼 **(퓨전 데이터 레이크)에 대한 이야기입니다.

핵융합 (태양처럼 에너지를 만드는 기술) 을 개발하려면 엄청난 양의 실험 데이터가 필요한데, 지금처럼 각 기관이 데이터를 따로 보관하면 AI 가 배우기 어렵습니다. 이 프로젝트는 마치 전 세계의 핵융합 실험실 데이터를 하나로 모아서, 누구나 쉽게 찾아보고 AI 가 학습할 수 있게 만드는 '디지털 도서관'을 짓는 작업이라고 생각하시면 됩니다.

주요 내용을 일상적인 비유로 설명해 드릴게요.

1. 왜 필요한가요? (문제 상황)

지금까지 핵융합 연구는 각 나라나 기관 (영국, 일본, 미국 등) 이 실험 데이터를 자기네 금고에 따로 보관하고 있었습니다.

• 비유: 각자 맛있는 레시피를 가지고 있는데, 서로 주고받지 않고 혼자만 요리하는 상황입니다.
• 결과: 인공지능 (AI) 이 "어떤 조건에서 가장 잘 작동할까?"를 배우려면 모든 레시피를 한눈에 봐야 하는데, 지금처럼 흩어져 있으면 AI 가 배울 수 없습니다.

2. 이 프로젝트가 하는 일 (해결책)

IAEA 는 전 세계의 데이터를 하나로 모으는 **'데이터 레이크 **(Data Lake)를 만들고 있습니다.

• 비유: 전 세계의 다양한 요리 재료와 레시피를 한곳에 모아놓은 **거대한 '스마트 슈퍼마켓'**을 짓는 것과 같습니다.
  • 데이터 카탈로그: 슈퍼마켓의 '검색창'입니다. "어떤 실험 데이터가 있나?"라고 검색하면 바로 찾을 수 있습니다.
  • 데이터 페더레이션: 물건을 직접 옮기지 않고도, 각 나라의 창고에 있는 물건을 바로 주문할 수 있게 해주는 연결 시스템입니다.
  • 중앙 저장소: 아직 다른 곳으로 옮기기 전, 잠시 보관해두는 중계 창고입니다.

3. 어떻게 만들었나요? (기술적 배경)

이 플랫폼은 최신 클라우드 기술 (마이크로소프트 애저, 스노우플레이크 등) 을 사용해서 지었습니다.

• 비유: 단순히 책장을 쌓아두는 게 아니라, **자동화 로봇 **(ETL 파이프라인)이 데이터를 정리하고 분류해서 책장에 꽂아주는 시스템입니다.
• 중요한 점: 데이터가 들어올 때마다 사람 손으로 일일이 정리할 필요 없이, 미리 정해진 규칙 (설정 파일) 대로 로봇이 알아서 정리해 줍니다. 그래서 새로운 데이터가 들어와도 관리하기 쉽습니다.

4. 현재 진행 상황 (3 단계 증명)

이 프로젝트는 3 단계로 나누어 시험적으로 운영하고 있습니다.

• **1 단계 **(시범) 영국의 'MAST' 실험 데이터를 연결해 보았습니다. 데이터를 직접 옮기지 않고도 영국 데이터베이스에서 바로 다운로드할 수 있음을 증명했습니다.
• **2 단계 **(확장) 일본의 'LHD'와 미국의 '알카토르 C-Mod' 데이터를 추가했습니다. 서로 다른 나라, 서로 다른 시스템의 데이터를 하나의 규칙으로 통일해서 잘 연결되는지 확인 중입니다.
• **3 단계 **(완성) 중국의 'HL-2A' 데이터도 추가하고, 웹사이트와 앱 기능을 더 다듬어 일반 연구자들이 실제로 써볼 수 있도록 준비 중입니다.

5. 규칙은 어떻게 지키나요? (데이터 거버넌스)

누구나 자유롭게 쓸 수 있지만, 저작권과 보안은 철저히 지키는 **규칙 **(Terms of Service)을 만들고 있습니다.

• 비유: 도서관처럼 접근 권한을 4 단계로 나눕니다.
  1. 공개: 누구나 로그인 없이 볼 수 있는 책.
  2. 내부: IAEA 회원이면 누구나 볼 수 있는 책.
  3. 제한: 특정 기관 소속 회원만 볼 수 있는 책.
  4. 비밀: 주인이 직접 허락한 사람만 볼 수 있는 책.
• 또한, 데이터를 가져가서 쓸 때는 출처를 꼭 밝히도록 (인용) 하고, 데이터 제공자의 권리를 존중하는 규칙을 세웠습니다.

6. 결론

이 프로젝트는 전 세계 핵융합 연구자들이 서로의 데이터를 공유하고, AI 가 그 데이터를 학습해서 핵융합 발전 속도를 획기적으로 높일 수 있는 '인프라'를 만드는 것입니다.

지금까지의 시험 운영을 통해 서로 다른 시스템끼리도 잘 연결된다는 것을 증명했고, 앞으로는 더 많은 기관이 참여하여 전 세계가 함께 핵융합 에너지를 실현하는 데 기여할 것입니다.

---

한 줄 요약:

"각자 따로 놀던 전 세계 핵융합 실험 데이터를 하나로 모아, AI 가 쉽게 배우고 연구자들이 자유롭게 쓸 수 있는 **'글로벌 데이터 도서관'**을 짓는 프로젝트입니다."

기술 요약

IAEA 핵융합 데이터 레이크 (FDL) 프로젝트 기술 요약

1. 문제 정의 (Problem)

핵융합 에너지 개발을 가속화하기 위해 인공지능 (AI) 과 빅데이터 기술의 활용이 급증하고 있습니다. 특히 신경망을 활용한 대리 모델 (surrogate models), 디지털 트윈, 대규모 언어 모델 (LLM) 을 통한 실험 로그 분석 등은 시나리오 설계, 플라즈마 제어, 물리 통찰력 확보에 필수적입니다. 그러나 이러한 AI/ML 활동의 확장을 저해하는 주요 병목 현상은 현대적인 데이터 플랫폼과 메타데이터가 풍부한 데이터셋의 부재입니다.

• 많은 기관들이 자체 인프라를 구축하고 있지만, 전 세계적으로 분산된 핵융합 실험 데이터의 통합 접근성이 부족합니다.
• 향후 차세대 핵융합 장치에 적용 가능한 '기계 중립적 (machine-agnostic)' 모델을 개발하려면 다양한 장치 (다중 머신) 의 데이터를 표준화된 형식으로 통합할 수 있는 인프라가 필요합니다.

2. 방법론 및 아키텍처 (Methodology & Architecture)

IAEA 는 'AI for Fusion' 조정 연구 프로젝트 (CRP) 의 일환으로 전 세계 핵융합 과학계, 산업계, 학계를 연결하는 **핵융합 데이터 레이크 (Fusion Data Lake, FDL)**를 구축하고 있습니다. 이 프로젝트는 FAIR(검색 가능, 접근 가능, 상호 운용 가능, 재사용 가능) 데이터 원칙을 준수하며, 인간 친화적 인터페이스와 프로그래밍 가능한 API 를 제공합니다.

A. 플랫폼 아키텍처 및 기술 스택
FDL 은 IAEA 의 엔터프라이즈 기술 스택을 기반으로 구축되었으며, 다음과 같은 세 가지 주요 서비스 목표를 달성합니다:

1. 데이터 카탈로그: 전 세계 장치의 실험 및 진단 신호를 검색 가능한 중앙 카탈로그로 제공.
2. 데이터 페더레이션 (Federation): 분산된 연구소들의 리포지토리를 단일 접근점으로 연결하여 데이터 접근 장벽 완화.
3. 중앙 집중식 저장소: 페더레이션되지 않은 데이터에 대한 단기/중기 저장소 제공.

• 기술 스택:
  • 데이터 처리 및 DB: Snowflake (Python 데이터 파이프라인 및 SQL 서버).
  • 저장소 및 CI/CD: Microsoft Azure (스토리지) 및 Azure DevOps.
  • 웹 애플리케이션: C# 및 .Net.
  • 아키텍처 패턴: 현대적인 메달리온 (Medallion) 구조를 적용한 ETL(추출, 변환, 로드) 파이프라인.
  • 메타데이터 관리: 구성 파일을 기반으로 한 메타데이터 주도 (metadata-driven) 인제션 파이프라인을 사용하여 새로운 데이터 소스 통합 시 유지보수 노력 최소화.

B. 데이터 모델

• 최소 메타데이터 모델 (Minimal Metadata Model): 'core', 'icf(관성 핵융합)', 'mcf(자기 핵융합)' 세 가지 테이블로 구성된 간소화된 메타데이터 모델.
• 온톨로지: ITER IMAS 데이터 사전과 호환되도록 개발 중이며, FDL 채택을 용이하게 함.

3. 주요 기여 및 증명 개념 (PoC) 단계 (Key Contributions & Results)

프로젝트는 3 단계의 증명 개념 (Proof of Concept, PoC) 을 통해 플랫폼의 확장성과 기능을 검증하고 있습니다.

• Phase I (데이터 페더레이션 개념 증명):
  • UKAEA 의 MAST 데이터 카탈로그 (MAST-001 실험 로그) 를 REST API 를 통해 연동.
  • FDL 사용자가 플랫폼을 통해 MAST 데이터를 다운로드할 수 있도록 하되, 실제 데이터는 MAST 인프라를 통해 직접 전송되도록 하여 페더레이션 개념을 입증함.
• Phase II (확장성 증명):
  • 일본의 LHD(대형 헬리칼 장치) 와 미국의 Alcator C-Mod(MIT) 데이터를 추가.
  • 다양한 인제션 패턴 통합: LHD 는 Azure Blob Storage 를 통해, Alcator C-Mod 는 PSFC 도구 (disruption-py, MDS Plus) 를 통해 각각 다른 방식으로 수집되지만, 모두 FDL 의 단일 데이터 모델로 변환되어 Snowflake 에 통합됨.
  • 서로 다른 3 개 기관의 데이터를 단일 모델로 통합하여 플랫폼의 확장성을 입증함.
• Phase III (현재 진행 중/준비):
  • 중국의 HL-2A 데이터 카탈로그 추가.
  • API 및 웹 애플리케이션 인터페이스를 성숙화하여 사전 출시 (Pre-release) 단계 진입 준비.

4. 데이터 거버넌스 전략 (Data Governance Strategy)

국제적 데이터 공유를 위해 투명한 거버넌스 체계를 마련 중입니다.

• 이용 약관 (Terms of Service, ToS):
  • 업로드: 데이터 소유권 및 라이선스 명시 의무.
  • 다운로드: 데이터 라이선스 및 플랫폼 ToS 준수.
  • 인용: 데이터 및 플랫폼에 대한 적절한 인용 및 감사 의무.
• 접근 권한 및 프라이버시 레벨:
  1. Public: 로그인 없이 공개.
  2. Internal: IAEA NUCLEUS 계정 보유자 접근 가능.
  3. Restricted: 사전 승인된 기관의 NUCLEUS 계정 보유자만 접근 (OpenAthens 인증 등).
  4. Closed: 데이터 소유자가 개별 승인한 사용자만 접근 가능.

5. 의의 및 결론 (Significance & Conclusion)

• 글로벌 협력의 허브: IAEA 의 고유한 지위를 활용하여 전 세계 핵융합 커뮤니티를 연결하는 최초의 포괄적인 현대 데이터 플랫폼을 구축합니다.
• AI/ML 인프라의 기반: 메타데이터가 풍부한 다중 머신 데이터셋을 제공함으로써, 차세대 핵융합 장치에 적용 가능한 AI 기반 모델 개발의 토대를 마련합니다.
• 표준화 및 상호 운용성: ITER IMAS 등 기존 표준과의 호환성을 고려하여 데이터의 상호 운용성을 높이고, 다양한 기관의 이기종 데이터를 통합하는 기술적·거버넌스적 역량을 입증했습니다.

이 프로젝트는 단순한 데이터 저장소를 넘어, 핵융합 연구의 디지털 전환을 주도하고 AI 기반 과학 발견을 가속화하는 핵심 인프라로 자리매김할 것으로 기대됩니다.