⚛️ high-energy experiments

Data Preservation in High Energy Physics: Global Report 2026

2026년 고에너지 물리학 데이터 보존에 관한 글로벌 보고서는 레거시 데이터 복구와 AI 기반 자동화 통합의 상당한 진전을 강조하는 한편, 오픈 사이언스와 FAIR 데이터 원칙의 장기적 지속 가능성을 보장하기 위한 지속적인 자금 지원과 제도적 지원의 절실한 필요성을 역설한다.

원저자: Matthew Bellis, Jamie Boyd, Daniel Britzger, Andy Buckley, Chris Burr, Micheal Buchar, Gang Chen, Andrew Chisholm, Jiri Chudoba, Michael Davis, Cristinel Diaconu, David Dobrigkeit Chinellato, Marcus E

게시일 2026-07-09

📖 4 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Matthew Bellis, Jamie Boyd, Daniel Britzger, Andy Buckley, Chris Burr, Micheal Buchar, Gang Chen, Andrew Chisholm, Jiri Chudoba, Michael Davis, Cristinel Diaconu, David Dobrigkeit Chinellato, Marcus Ebert, Apranik Fatehi, Dillon S. Fitzgerald, Jose Benito Gonzalez Lopez, Richard William Gran, Giovanni Guerrieri, Martin Habedank, Hao Hu, David Horvat, Luka Lambrecht, Clemens Lange, Kati Lassila-Perini, Jerome Lauret, Jean-Yves Le Meur, Dietrich Liko, Panna Liptak, Zach Marshall, Thomas McCauley, Cameron Duncan McClymont, Wesley Middelbos, Micha Moskovic, Piet Nogga, Ryunosuke O'Neil, Stefano Piano, Alan Price, Tomasz Procter, Fazhi Qi, Diana Rand, Hossein Rashidi, Emily Rensch, Pablo Saiz, Ulrich Schwickerath, Tibor Šimko, Andrii Verbytskyi, Dirk Zerwas, Zhengde Zhang, Graham Wilson

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

고에너지 물리학의 세계를 우주의 근본적인 구성 요소를 연구하기 위해 세워진 거대한 글로벌 도서관이라고 상상해 보십시오. 수십 년 동안 과학자들은 (LEP, LHC 및 기타 실험처럼) 엄청난 양의 데이터를 생성하는 거대한 실험들을 수행해 왔으며, 이는 입자들이 어떻게 충돌하고 행동하는지를 설명하는 수조 개의 디지털 "페이지"입니다.

**"고에너지 물리학의 데이터 보존: 2026 글로벌 보고서"**라는 제목의 이 보고서는 이 도서관이 얼마나 잘 유지되고 있는지에 대한 상태 점검입니다. 이것은 단순히 책을 선반에 꽂아두는 문제가 아닙니다. 20년 혹은 50년 후에도 새로운 과학자가 도서관에 들어와 잊혀진 언어로 쓰인 책을 집어 들었을 때, 그 이야기를 여전히 이해하고, 기술된 실험을 실행하며, 오래된 이야기들을 바탕으로 새로운 장을 써 내려갈 수 있도록 만드는 일입니다.

다음은 일상적인 비유를 사용하여 이 논문의 핵심 내용을 정리한 것입니다.

1. "타임캡슐" 문제: 오래된 데이터를 살아있게 유지하기

보고서는 과학자들이 수십 년 전 종료된 실험(1990년대의 LEP 충돌기 등)에서 데이터를 성공적으로 발굴하고 있음을 강조합니다.

비유: 1990년의 먼지 쌓인 손글씨 레시피 북을 발견했다고 상상해 보십시오. 재료는 아무도 말하지 않는 언어로 적혀 있고, 조리 도구는 구식이 되었습니다.
성과: 논문은 과학자들이 이러한 오래된 레시피를 성공적으로 "번역"했음을 보여줍니다. 그들은 데이터를 현대적인 형식으로 변환하고(손글씨 노트를 디지털 PDF로 바꾸는 것처럼), 현대적인 "조리 도구"(AI 및 머신러닝)를 사용하여 오래된 데이터를 재분석했습니다.
결과: 그들은 이 오래된 데이터를 사용하는 현대적 기법이 실험이 처음 진행될 때보다 오히려 결과를 더 좋게 만든다는 것을 발견했습니다. 예를 들어, 그들은 오래된 데이터를 사용하여 특정 유형의 입자 제트(particle jets)를 이전보다 훨씬 더 정확하게 식별해 냈습니다.

2. "도서관" 대 "창고" (오픈 데이터)

CERN(유럽의 거대 연구소)은 데이터를 몇 년 후에 대중에게 공개한다는 정책을 가지고 있습니다.

비유: 연구소를 도서관이라고 생각해 보십시오. 어떤 책들은 "핫(Hot)"합니다(데스크 위에 있어 쉽게 가져갈 수 있음). 반면 어떤 책들은 "콜드(Cold)"합니다(자주 대출되지는 않지만 안전하게 보관되어야 하므로 깊숙하고 온도가 조절되는 지하실에 저장됨).
혁신: 보고서는 자기 테이프(거대하고 하이테크한 VHS 테이프 같은)를 사용하는 새로운 "콜드 스토리지" 시스템을 설명합니다. 이를 통해 방대한 양의 데이터(5페타바이트 이상, 즉 500만 개의 DVD와 맞먹는 양)를 저렴하게 저장할 수 있습니다.
주의점: 만약 "콜드" 책을 원한다면 요청을 해야 하며, 지하실에서 꺼내 데스크로 가져오는 데 며칠이 걸릴 수 있습니다. 하지만 이는 비용을 절감하고 데이터가 유실되지 않도록 보장합니다.

3. "기계 속의 유령" (소프트웨어 보존)

데이터는 그것을 만들어낸 소프트웨어 없이는 무용지물입니다.

비유: 비디오 파일은 가지고 있지만, 그 파일을 재생하는 데 필요한 소프트웨어가 더 이상 존재하지 않는 1995년형 컴퓨터에서만 작동한다고 상상해 보십시오.
해결책: 보고서는 이러한 "유령" 컴퓨터들을 어떻게 생존시키고 있는지 상세히 설명합니다. 그들은 옛 운영 체제를 시뮬레이션하는 "가상 머신(Virtual Machines, 디지털 타임머신)"을 사용합니다. 이를 통해 과학자들은 20년 전의 동일한 소프트웨어를 현대적인 노트북에서 실행하여, 데이터가 의도된 그대로 정확하게 읽히고 분석될 수 있도록 합니다.

4. "AI 사서" (신기술)

보고서는 이 도서관을 관리하는 데 도움을 주기 위해 인공지능(AI)을 사용하는 것에 대해 매우 고무되어 있습니다.

비유: 인간 사서가 모든 책을 일일이 읽으며 내용을 찾는 대신, 수천 권의 과학 논문을 몇 초 만에 읽을 수 있는 AI 사서를 구축하는 것입니다.
활용:
- 데이터 찾기: AI는 출판된 논문을 읽고 "이 저자는 2017년 가동 시 500기가바이트의 데이터를 사용했다"라고 자동으로 알려줄 수 있습니다. 이는 데이터가 실제로 어떻게 사용되는지 추적하는 데 도움이 됩니다.
- 코드 작성: AI는 새로운 실험을 위한 "레시피"(분석 워크플로우) 작성을 돕도록 학습되어 인간의 실수를 줄여줍니다.
- 역사와 대화하기: 그들은 수십 년간의 기술 노트와 매뉴얼을 검색하여 오래된 실험에 관한 질문에 답할 수 있는 "챗봇"(Siri나 Alexa의 특수 버전 같은)을 구축하고 있습니다. 이는 신진 과학자들이 빠르게 업무를 익히는 데 도움을 줍니다.

5. "인적 요소" (지식 상실의 위험)

보고서는 우리가 데이터를 저장하는 데는 능숙하지만, 그것을 사용하는 지식을 잃어버릴 위험이 있다고 경고합니다.

비유: 차를 50년 동안 차고에 보관할 수는 있지만, 엔진을 고칠 줄 아는 원래의 정비사가 은퇴하거나 사망하고 매뉴얼마저 분실된다면, 그 차는 그저 무거운 금속 덩어리에 불과합니다.
과제: 이 실험들을 구축했던 많은 전문가들이 은퇴하고 있습니다. 보고서는 우리가 그들의 "암묵적 지식"(그들이 글로 적지는 않았지만 알고 있는 것들)을 그들이 떠나기 전에 반드시 포착해야 한다고 강조합니다. 그들은 AI를 사용하여 전문가들을 인터뷰하고 그들의 기억을 검색 가능한 데이터베이스로 전환하고 있습니다.

6. "글로벌 협력"

이것은 단 하나의 연구소에서만 일어나는 일이 아닙니다.

비유: 이는 한 도서관이 불타더라도 다른 도서관에 책이 안전하게 보관되도록 보장하기 위해 협력하는 글로벌 도서관 연합과 같습니다.
조치: 서로 다른 국가와 연구소들(유럽, 미국, 중국 등)은 서로 다른 위치에 데이터 백업본을 만들고 있습니다. 또한, 미국의 도서관에 있는 책을 번역 문제 없이 중국의 사서가 읽을 수 있도록 공통된 "언어"(표준)를 합의하고 있습니다.

요약

이 논서는 데이터 보존이 잘 이루어지고 있지만, 이는 시간과의 싸움이라고 주장합니다.

성공: 우리는 오래된 데이터를 성공적으로 부활시키고, 현대적 AI를 사용하여 분석하며, 미래를 위해 저렴하게 저장할 수 있습니다.
과제: 전문가들이 은퇴하기 전에 그들의 "인적 지식"을 구하기 위해 신속하게 움직여야 하며, 이 "도서관"을 영원히 열어두기 위한 충분한 예산과 저장 공간을 확보해야 합니다.

궁극적인 목표는 이 거대한 실험들로부터 얻은 독보적인 데이터가 단순한 디지털 무덤이 아니라, 미래 세대를 위한 살아있는 자원으로 남도록 하는 것입니다.

기술 요약: DPHEP-2026-01 – 고에너지 물리학의 데이터 보존: 2026 글로벌 보고서

문제 제기
고에너지 물리학(HEP) 커뮤니티는 레거시 실험들이 운영을 종료하고 새로운 시설들이 전례 없는 규모의 데이터를 생성함에 따라, 실험 데이터의 장기적인 과학적 사용성을 유지하는 데 있어 중대한 과제에 직면해 있다. 핵심 문제는 단순한 비트 수준의 저장을 넘어, 재현성을 보장하고 미래의 재해석을 가능하게 하기 위해 소프트웨어 환경, 교정 조건, 문서화 및 암묵적 지식을 포함한 전체 "분석 체인(analysis chain)"을 보존하는 것까지 확장된다. 확인된 주요 이슈로는 레거시 소프트웨어 스택(예: FORTRAN77, ZEBRA, X11)의 급격한 노후화, 노후화된 실험을 위한 활성 컴퓨팅 자원 유지의 높은 비용, 레거시 시스템의 하드웨어 결함으로 인한 데이터 손실 위험, 그리고 현대적인 AI/ML 기법과 아카이브된 데이터셋 간의 통합 어려움 등이 있다. 또한, 데이터 볼륨이 5 PB를 초과함에 따라 접근성을 저해하지 않으면서도 비용 효율적인 콜드 스토리지(cold storage) 솔션을 필요로 하는 등, 오픈 데이터 정책과 저장 지속 가능성 사이의 균형을 맞추는 것이 필요하다.

방법론
본 보고서는 5차 DPHEP 워크숍(2026년 3월)의 기여 내용을 종합하며, 광범위한 실험적 및 기술적 접근 방식을 다룬다:

레거시 데이터 부활 및 현대화: 여러 실험(ALEPH, DELPHI, OPAL, BABAR, H1)은 레거시와 현대적 프레임워크 사이의 가교 역할을 하는 전략을 채택하고 있다. 여기에는 레거시 데이터 형식(예: ZEBRA banks)을 EDM4HEP 및 Key4hep와 같은 현대적 표준으로 변환하는 작업과, 현대적 운영 체제에서 레거시 소프트웨어 스택을 실행하기 위해 컨테이너화된 환경(CVMFS, VM)을 활용하는 것이 포함된다.
오픈 데이터 및 재분석 파이프라인: 실험들은 계층화된 데이터 공개 전략을 구현하고 있다. ATLAS와 CMS는 교육 및 연구를 위해 경량 형식(PHYSLITE)과 이벤트 생성기(HEPMC)를 활용한다. LHCb는 거대한 내부 아카이브로부터 분석 준비가 된 데이터셋을 온디맨드 방식으로 생산할 수 있는 "Ntupling Service"를 개발하여, 페타바이트 단위의 로우(raw) 데이터를 직접 공개할 필요성을 피했다. MINERvA는 커뮤니티 활용을 위해 플랫(flat) ROOT 트리와 소프트웨어 프레임워크를 공개했다.
인프라 및 스토리지: CERN Open Data 포털은 5 PB를 초과하는 데이터를 관리하기 위해 CERN Tape Archive(CTA)와 File Transfer Service(FTS)를 사용하는 콜드 스토리지 아키텍처를 구현하여, 디스크 성능과 테이프 비용 사이의 균형을 맞추고 있다. CERN Preserve Platform은 다양한 저장소로부터 다양한 디지털 콘텐츠(학위 논문, 문서, 코드)를 수집하고 보존하기 위해 OAIS 준수 파이프라인(Archivematica)을 활용한다.
AI 및 자동화: 보고서는 데이터 큐레이션 및 분석에 AI를 통합하는 내용을 상세히 다룬다. 여기에는 학술 논문에서 데이터셋 메타데이터를 추출하기 위한 대규모 언어 모델(LLM) 활용, 데이터 생애 주기 관리 및 메타데이터 완성을 자동화하기 위한 AI 에이전트(DORA), 그리고 재현 가능한 분석에서의 오류를 줄이기 위한 AI 지원 워크플로우 작성(REANA)이 포함된다.
지식 보존: BNL의 "SciBot"과 같은 접근 방식은 분절된 기관 지식(로그북, 기술 노트)을 자연어로 검색 가능하게 만드는 Retrieval-Augmented Generation(RAG)을 활용하면서도 데이터 주권을 유지한다.

주요 기여

레거시 데이터의 과학적 가치 입증:
- ALEPH: 1994년 데이터를 딥러닝 기반 제트 맛 태거(ParticleTransformer)로 재분석한 결과, 기존 알고리즘 대비 b-제트 태깅의 배경 저지 성능이 10배(one-order-of-magnitude) 향상되었다.
- OPAL: 현대적 도구(CVMFS, GEANT3)를 사용하여 26년 된 데이터를 성공적으로 재처리함으로써 복사 뉴트리노 계수의 계통 불확실성을 개선하였다.
- 버블 챔버(Bubble Chamber): 1960년대 CERN 2m 버블 챔버에서 촬영된 사진 필름을 디지털화하여, 보존된 기술 문서만을 바탕으로 입자 궤적과 불변 질량(예: $K^0_S$ )을 유용한 정밀도로 재구성할 수 있음을 보여주는 타당성 조사를 수행하였다.
기술적 전환:
- 형식 변환: "Amphitrite" 프로젝트는 DELPHI 레거시 데이터를 EDM4HEP로 변환하여 현대적인 ROOT RDataFrame 및 Python 도구의 사용을 가능하게 한다.
- 도구의 진화: BABAR 분석가들은 레거시 Tcl/ROOT 워크플로우에서 현대적인 Python 도구(Awkward, Uproot, Scikit-learn)로 성공적으로 전환하였으며, 이를 통해 플랫 ntuple을 분석하여 학부생들이 레거시 물리 탐색(예: 바리온 수 위반)에 기여할 수 있도록 하였다.
- 생성기 벤치마킹: k4GeneratorsConfig 패키지는 미래의 전자-양전자 충돌기를 위한 몬테카를로 생성기를 구성하고 벤치마킹하는 통합된 자동화 접근 방식을 제공하여 재현성을 보장한다.
인프라 및 정책 발전:
- 콜드 스토리지: CERN Open Data 포털은 약 1.8 PB의 데이터를 테이프 기반 콜드 스토리지로 성공적으로 이동시켰으며, 140건 이상의 공공 스테이징 요청을 처리함으로써 자동화된 테이프 스테이징의 생존 가능성을 입증했다.
- 데이터 보존 정책: ATLAS와 CMS는 특정 데이터 형식(PHYSLITE)과 분석 객체를 공개하는 정책을 정교화했으며, LHCb의 Ntupling Service는 전체 로우 데이터셋을 공개하지 않고도 Run 2 데이터에 대한 개방형 접근을 제공하는 확장 가능한 모델을 제시한다.
- 전체론적 보존: 브룩헤이븐 국립 연구소(BNL)의 DAPP 프로그램은 집중적인 재처리 후 기능적 보존으로 이어지는 2단계 전략을 설명하며, AI(SciBot)를 통합하여 "인적 전문성"의 격차를 해결한다.
표준 및 프레임워크:
- EOSC EDEN: 다양한 과학 분야 전반에 걸쳐 디지털 보존 관행을 정렬하기 위해 핵심 보존 프로세스(CPP)와 공유 서비스를 정의한다.
- REANA: Dask 워크플로우에 대한 지원을 강화하고 AI 지원 분석 작성을 촉진하여, 보존된 데이터의 재해석을 위한 재사용을 용이하게 한다.

결과

출판 성장: LEP 오픈 데이터를 인용하는 출판물이 크게 증가하였으며, DELPHI와 OPAL은 2025~2026년에 새로운 데이터 접근 정책과 데이터셋을 공개하였다.
성능 향상: ALEPH 데이터에 적용된 현대적 AI 기술은 동일한 배경율에서 b-태깅의 신호 효율을 두 배로 높였다.
시스템 안정성: BABAR LTDA 시스템은 노후된 하드웨어에도 불구하고 중복성을 통해 운영 상태를 유지하고 있으나, 영구적인 공공 아카이브로의 전환이 필요하다고 판단된다.
채택 지표: ATLAS Open Data 포털은 6개 대륙에서 사용되고 있으며, 교육 자료에 대해 높은 만족도(4.9/5)를 기록하고 있다. CERN Open Data 포털은 5 PB 이상의 데이터를 호스팅하며, 1.8 PB가 성공적으로 콜드 스토리지로 마이그레이션되었다.
AI 통합: LLM 기반의 데이터셋 사용 사례 추출은 높은 정확도와 낮은 비용($10로 15개 논문 처리)을 달erm았다. 또한 DORA 프레임워크는 페타바이트 규모에서 FAIR 준수 및 AI 준비가 된 데이터셋을 생성할 수 있음을 입증했다.

의의
본 논문은 데이터 보존이 새로운 발견, 교육 및 학제 간 혁신을 위해 필수적인 역동적인 과정이라고 주장한다. 그 의의는 다음과 같다:

레거시 데이터는 여전히 가치 있는 자원이다: 현대적 분석 기법은 수십 년 된 실험(예: LEP, 버블 챔버)으로부터 측정의 정밀도를 획기적으로 향상시킬 수 있다.
지속 가능성은 혁신을 요구한다: 단순한 저장을 넘어 "기능적 보존"(분석 능력의 보존)으로 나아가는 것이 중요하다. 이는 현대적 형식(EDM4HEP) 채택, 워크플로우 자동화(REANA, DORA), 그리고 비용 관리를 위한 콜드 스토리지 활용을 포함한다.
오픈 사이언스가 성숙하고 있다: FAIR 원칙, 오픈 데이터 정책, 그리고 데이터뿐만 아니라 분석 프레임워크를 함께 공개하는 방향으로의 전환은 비전문가와 학생을 포함한 더 넓은 커뮤니티 참여를 가능하게 한다.
AI는 변혁적인 도구이다: AI는 단순히 분석을 위한 도구가 아니라, 데이터 큐레이션, 메타데이터 추출 및 지식 보존에 통합되어 레거시 시스템과 미래의 요구 사이의 간극을 메우는 데 중요한 역할을 하고 있다.

보고서는 자금 지원, 기관 지원, 레거시 소프트웨어의 복잡성 등의 과제가 남아 있음에도 불구하고, DPHEP 협력체의 다중 실험, 다중 사이트 접근 방식이 고유한 HEP 데이터셋의 지속적인 접근성과 유용성을 보장하기 위한 견고한 프레임워크를 제공한다고 결-론짓는다. LEP 데이터의 성공적인 부활과 확장 가능한 오픈 데이터 서비스의 구현은 고에너지 물리학에서 데이터 보존의 장기적 생존 가능성에 대한 실증적 사례(proof-of-concept) 역할을 한다.