FAST-HEP: Compiling Declarative Analysis Workflows for High-Energy Physics and Beyond

거대 강입자 충돌기(LHC)와 같은 기계 내부에서 일어나는 입자들의 거대하고 정적이며 충돌적인 현상 속에서, 과학자들은 우리 우주를 지배하는 근본적인 규칙들을 찾아 헤매고 있습니다. 이러한 규칙을 찾기 위해 그들은 수십억 개의 사건 속에 숨겨진 희귀한 패턴을 찾으며 산더미 같은 데이터를 걸러내야 합니다. 이 과정은 단 한 번의 실험이 아니라, 그것을 만들어내는 데 사용된 특정 컴퓨터 프로그램이나 소프트웨어 도구보다 더 오래 지속될 수도 있는 수십 년에 걸친 장기적인 과학적 여정입니다. 과제는 단순히 분석을 한 번 실행하는 것이 아니라, 기반이 되는 기술이 변하고, 참여한 사람들이 떠나고, 데이터 형식이 진화하더라도 몇 년 후에 동일한 과학적 질문을 던지고 답할 수 있도록 보장하는 것입니다. 만약 데이터를 어떻게 처리했는지에 대한 지침이 유실되거나 이해하기 너무 복und하게 얽혀버린다면, 과학적 결과는 검증하거나 재구축하는 것이 불가능한 블랙박스가 되고 맙니다.

이러한 장기적인 과학적 생존 문제를 해결하기 위해, 브리스톨 대학교의 루크 크레츠코(Luke Kreczko)가 개발한 'Flow'라는 워크플로 엔진을 중심으로 한 FAST-HEP 시스템이 개발되었습니다. 이 시스템은 과학적 분석을 경직된 컴퓨터 명령의 집합이 아니라, 과학자가 달성하고자 하는 바를 특정 코드와 분리하여 명확하게 서술한 글로 취급합니다. '무엇(what)'을 '어떻게(how)'와 분리함으로써, 연구자는 이러한 기술들을 다양한 컴퓨터에서 실행할 수 있고 코드를 다시 작성할 필요 없이 다양한 소프트웨어 도구로 컴파일할 수 있는 보편적인 계획을 만들어냈습니다. 이러한 접근 방식은 과학적 의도가 투명하고 재현 가능하도록 보장하며, 고에너지 물리학의 복잡한 기계 장치들이 실험에 의존하는 구조를 깨뜨리지 않고도 진화할 수 있게 합니다.

수십 년 동안 물리학자들은 데이터를 분석할 때, 컴퓨터에게 데이터를 하나씩 확인하며 단계별로 어떻게 움직여야 하는지 정확히 알려주는 방식인 명령형(imperative) 코드를 작성해 왔습니다. 이는 당장은 잘 작동하지만, 과학적 아이디지를 당시 사용된 특정 프로그래밍 언어 및 라이브러리와 밀접하게 결합시킵니다. 해당 라이브러리가 변경되거나 코드를 작성한 연구자가 떠나면, 분석은 이해하기 어려워지거나 실행이 불가능해지는 경우가 많습니다. 새로운 Flow 시스템은 선언적(declarative) 언어를 도입함으로써 이러한 역학 관계를 변화시킵니다. 이 모델에서 과학자는 단순히 자신이 필요한 데이터, 수행하고자 하는 작업, 그리고 기대하는 결과를 설명할 뿐, 밑바탕이 되는 메커니즘에 대해서는 걱정하지 않습니다. 이것은 마치 재료와 최종 요리를 나열한 레시피를 쓰는 것과 같으며, 구체적인 조리 도구와 기술은 나중에 셰프가 결정하도록 남겨두는 것과 같습니다.

이 시스템의 핵심은 과학자의 설명과 컴퓨터의 실행 사이를 연결하는 번역가 역할을 하는 컴파일러입니다. 과학자가 워크플로를 제출하면, 시스템은 이를 즉시 실행하지 않습니다. 대신, 먼저 설명을 정규화하여 데이터가 어디에 있는지, 어떤 보정을 적용해야 하는지, 그리고 다양한 시나리오를 어떻게 처리할지와 같은 흩어져 있는 모든 정보 조각들을 하나의 완전한 문서로 모읍니다. 그런 다음, 모든 데이터가 소스에서 최종 결과까지 어떻게 흐르는지를 보여주는 논리적 그래프, 즉 입력과 출력을 명확한 의존성 선으로 연결하는 지도를 구축합니다. 이 지도를 통해 시스템은 본격적인 컴퓨팅을 시작하기 전에 오류를 점검하여, 필요한 데이터가 존재하는지 그리고 각 단계가 서로 논리적으로 맞는지 확인할 수 있습니다 있습니다.

지도가 구축되고 검증되면, 시스템은 백엔드에 독립적인 실행 계획을 생성합니다. 이 계획은 수행할 작업에 대한 상세한 지침이지만, 어떤 컴퓨터나 소프트웨어 라이브러리가 그 일을 할지는 지정하지 않습니다. 이러한 분리는 매우 중요한데, 이는 동일한 과학적 계획을 핵심 로직의 변경 없이 노트북, 로컬 클러스터 또는 거대한 분산 네트워크에서 실행할 수 있음을 의미하기 때문입니다. 또한 시스템은 특정 측정값이 약간 달라질 경우 결과가 어떻게 변하는지 테스트하기 위해, 전체를 다시 쓰는 대신 영향을 받는 부분만을 확장하여 변형을 처리할 수 있습니다. 이를 통해 과학적 시나리오를 탐색하고 불확실성이 최종 답변에 어떤 영향을 미치는지 이해하는 것이 더 쉬워집니다.

또한 이 시스템은 결과가 어떻게 생성되었는지에 대한 기록인 계보(provenance)에 세심한 주의를 기울입니다. 워크플로가 실행될 때마다 시스템은 최종 출력물을 특정 버전의 소프트웨어, 사용된 정확한 데이터 파일, 그리고 실행된 컴퓨터 환경과 연결하는 상세한 요약본을 생성합니다. 이는 모든 과학적 결과에 대해 영구적이고 추적 가능한 이력을 만들어냅니다. 만약 과학자가 몇 년 후 결과 검증이 필요하다면, 기억이나 흩어진 메모에 의존해 과정을 재구성하는 대신, 이 기록을 보고 정확히 어떤 일이 일어났는지 확인할 수 있습니다. 이러한 수준의 상세함은 워크플로를 블랙박스에서 모든 단계가 가시적이고 책임 소재가 분명한 투명한 프로세스로 탈바꿈시킵니다.

Flow의 개발은 기존 시스템이 새로운 기술에 적응하는 데 어려움을 겪었던 실제 경험들에 의해 추진되었습니다. 연구자는 단순히 다른 스타일의 코드를 작성하는 것만으로는 충분하지 않다는 것을 발견했습니다. 근본적인 소프트웨어 아키텍처 자체가 각 부분을 쉽게 교체할 수 있도록 설계되어야 했습니다. 과거에는 단 하나의 라이브러리를 바꾸는 것만으로도 서로 너무 밀접하게 연결되어 있었기 때문에 프레임워크의 큰 부분을 다시 작성해야 했습니다. Flow는 데이터 소스부터 출력 형식에 이르기까지 모든 구성 요소를 명확하게 정의된 계약을 통해 연결되는 교체 가능한 모듈로 취급함으로써 이 문제를 해결합니다. 이는 더 빠르고 효율적인 새로운 도구가 등장했을 때, 과학적 분석 자체를 방해하지 않고도 이를 시스템에 끼워 넣을 수 있음을 의미합니다.

이 접근 방식은 이미 CMS 검출기와 LUX-ZEPLIN 실험을 포함한 주요 실험의 실제 분석들에서 테스트되었습니다. 결과는 간결한 선언적 설명이 서로 다른 데이터 구조와 실험 전반에 걸쳐 복잡한 계산을 성공적으로 안내할 수 있음을 보여줍니다. 시스템은 과학적 의도와 구현을 성공적으로 분리하여, 주변의 소프트웨어 생태계가 진화하더라도 분석이 안정적으로 유지될 수 있게 합니다. 워크플로를 명시적이고 검사 가능하게 만듦으로써, 시스템은 과학자들이 코드의 모든 세부 사항을 기억해야 하는 부담을 줄여주고 장기적인 보존을 위한 견고한 토대를 제공합니다.

이 연구의 궁극적인 목표는 과학적 분석이 시간이 지나도 지속 가능하도록 보장하는 것입니다. 데이터 양이 증가하고 컴퓨팅 자원이 점점 다양해지는 분야에서, 결과를 보존하고 재현하는 능력은 필수적입니다. Flow는 워크플로를 생성하는 데 사용된 도구와 독립적으로 컴파일, 분석 및 실행될 수 있는 '일급 객체(first-class object)'로 만듦으로써 이를 수행하는 방법을 제공합니다. 이를 통해 과학계는 과거의 작업을 이해하고 반복할 수 있는 능력을 잃지 않으면서도, 소프트웨어와 하드웨어를 발전시킬 수 있습니다. 이 시스템은 단순히 분석을 실행하는 것이 아니라 과정 전체를 문서화하여, 원시 데이터에서 과학적 발견에 이르는 경로가 미래 세대에게도 명확하고 접근 가능한 상태로 남도록 합니다.

이 프로젝트의 성공은 과학적 소프트웨어를 구축하는 방식의 변화에 달려 있습니다. 워크플로를 한 번 실행되고 잊혀지는 임시 스크립트로 보는 대신, 연구자는 이를 컴파일되고 검증될 수 있는 프로그램으로 취급합니다. 이러한 관점은 이전에는 달성하기 어려웠던 수준의 투명성과 유연성을 가능하게 합니다. 시스템은 모든 결정, 모든 의존성, 그리고 모든 변형을 기록하여 과학적 과정의 완전한 그림을 그려냅니다. 이는 즉각적인 디버깅과 검증에 도움이 될 뿐만 아니라, 원래의 연구자가 떠난 후에도 결과를 검증하는 데 사용될 수 있는 지속적인 기록을 구축합니다.

결국, 이 논문에서 제시된 작업은 과학적 컴퓨팅을 생각하는 새로운 방식을 제안합니다. 분석에서 코드가 가장 중요한 부분이라는 생각에서 벗어나, 과학적 설명의 명확성에 초점을 맞춥니다. 과학적 설명과 그것을 실행하는 기계를 분리함으로써, 시스템은 과학 자체가 우선순위로 남을 수 있도록 보장합니다. 이를 통해 도구와 기술이 변화하고 개선되더라도 연구의 무결성을 위협하지 않게 됩니다. 그 결과, 과거의 성과를 존중하면서도 미래에 적응할 수 있는, 더욱 견고하고 투명하며 지속 가능한 과학적 발견의 접근 방식을 만들어냈습니다.