CELEBI: Towards Reproducible and FAIR Physics Analysis

고에너지 물리학의 세계에서 과학자들은 단순히 망원경이나 현미경을 통해 답을 찾는 것이 아니다. 대신, 그들은 입자들을 서로 충돌시켜 데이터의 폭풍을 만들어내는 거대하고 복잡한 기계들을 구축하며, 이 데이터는 분류되고, 측정되고, 이해되어야 한다. 이 과정은 단일한 사건이 아니라 길고 구불구불한 발견의 여정이다. 연구자는 가공되지 않은 데이터를 가져와 일련의 컴퓨터 프로그램에 실행시키며, 어떤 정보 조각을 유지하고 어떤 것을 버릴지 결정한다. 그들은 설정을 조정하고, 다른 이론들을 테스트하며, 몇 달 또는 몇 년에 걸쳐 그들의 방법을 다듬는다. 최종 결과물은 과학적 발견이지만, 그 발견은 그곳에 도달하기 위해 팀이 거친 특정한 경로와 불가분하게 연결되어 있다. 만약 코드가 변경되거나, 파라미터가 미세하게 조정된다면, 결과도 바뀔 수 있다. 이 분야의 위대한 과제는 단순히 답을 얻는 것이 아니라, 그 답이 정확히 어떻게 발견되었는지를 기억하는 것이다. 진행된 단계에 대한 명확한 기록이 없다면, 작년의 결과는 오늘 재현하는 것이 불가능해질 수 있으며, 이는 과학계가 그 작업을 검증하거나 그 위에 새로운 연구를 쌓아 올리지 못하게 만든다.

이것이 바로 베이징 대학교의 연구자인 자오밍루이(Mingrui Zhao)가 '첼레비(Celebi)'라고 불리는 새로운 시스템으로 해결하고자 했던 문제이다. 논문에서 자오는 현대 물리학의 분석이 어떻게 지속적으로 진화하는지 설명한다. 데이터 세트가 커지고 소프트웨어 업데이트가 도착함에 따라, 이전 결과가 생성되었던 당시의 조건을 파악하는 것이 어려워질 수 있다. 코드가 끊임없이 다시 작성되는 복잡한 계산 작업을 수행하는 팀을 상상해 보라. 내부 검토 중에 제시된 결과가 근본적인 규칙이 바뀌었기 때문에 현재 버전의 분석과 더 이상 일치하지 않을 수도 있다. 동일한 프로젝트의 서로 다른 변형들을 다루는 많은 사람들이 협업하는 대규모 협력단에서는 이러한 혼란이 압도적일 수 있다. 연구자는 기존의 도구들이 데이터의 흐름을 관리하거나 최종 파일을 저장할 수는 있지만, 특정 결과와 그것을 만들어낸 분석의 정확한 상태 사이에 지속적이고 깨지지 않는 연결 고리를 유지하는 데는 어려움이 있다는 것을 발견했다.

이를 해결하기 위해, 자오는 첼레비를 분석을 하나의 유동적인 문서가 아니라 구조화되고 재사용 가능한 부분들의 집합체로 취급하는 프레임워크로 설계했다. 이 시스템은 코드, 설정값, 의존성(dependencies)과 같은 경량 지침을 생성된 무거운 데이터 산출물로부터 분리한다. 또한 이 지침들을 모든 요소가 서로 무엇에 의존하는지 알고 있는 명확한 워크플로우로 조직한다. 핵심적인 혁신은 시스템이 변화를 처리하는 방식에 있다. 작업 중인 분석이 진화함에 따라, 첼레비는 특정 순간을 '인프레션(impression, 인상)'이라고 부르며 보존한다. 인프레션은 특정 시점의 분석을 포착한 동결된 스냅샷으로, 결과를 생성하는 데 사용된 코드, 파라미터, 그리고 모든 의존성의 정확한 상태를 담고 있다. 이 인프레션들은 불변(immutable)하며, 즉 한 번 저장되면 수정할 수 없다. 결과가 생성되면, 해당 결과는 그것을 만든 특정 인프레션과 영구적으로 결합된다. 이는 메인 분석이 백 번 업데이트되더라도, 원래의 결과는 처음 생성되었을 당시의 정확한 조건에 묶여 있음을 의미한다.

이러한 조직화의 실질적인 효과는 과학자들이 자신의 작업 내역을 잃어버리지 않고 작업을 수정할 수 있게 해주는 시스템이다. 구성 요소들이 모듈식이기 때문에, 연구자는 전체 프로젝트를 다시 작성할 필요 없이 데이터 필터링에 사용되는 방법과 같은 분석의 한 부분만을 변경할 수 있다. 시스템은 해당 변경으로 인해 영향을 받는 하위 작업들을 자동으로 추적한다. 만약 과학자가 다른 가정이 결과에 어떤 영향을 미치는지 테스트하는 것과 같은 계통적 변형(systematic variation)을 실행하고 싶다면, 변경이 필요한 특정 섹션만을 수정하면서 변경되지 않은 분석의 나머지 부분들을 재사용함으로써 이를 수행할 수 있다. 이는 중복을 줄이고 다양한 구성 간의 차이를 명확하게 만든다. 또한 이 시스템은 보존된 상태들을 제어된 방식으로 재실행하는 것을 지원한다. 만약 팀이 오래된 결과를 검증해야 한다면, 필요한 입력값과 소프트웨어 환경이 여전히 가용하다는 전제하에 보존된 인프레션을 다시 실행할 수 있으며, 이를 통해 새로운 실행이 과거의 것과 진정한 재현임을 보장할 수 있다.

이러한 접근 방식은 물리학 팀 내에서의 협업과 검토가 이루어지는 방식을 근본적으로 변화시킨다. 전형적인 프로젝트에서 여러 협력자는 서로 다른 구성을 작업하고 있을 수 있으며, 결과물은 다양한 파일과 개인 디렉토리에 흩어져 있을 수 있다. 첼레비는 모든 자료, 문서 및 의존성을 구조화된 저장소로 조직함으로써 이 문제에 질서를 가져온다. 협력자는 전체 분석을 처음부터 다시 재구성할 필요 없이, 특정 구성 요소와 그 로컬 문서, 그리고 그 의존성의 정확한 상태를 함께 살펴볼 수 있다. 이는 새로운 팀원이 작업을 이해하는 것을 용이하게 하고, 검토자가 결과 뒤에 숨겨진 논리를 확인하는 것을 쉽게 만든다. 검토자가 변경을 요청하면, 팀은 분석을 업데이트하고 새로운 인프레션을 생성하여 기존의 것을 새 것과 함께 유지할 수 있다. 이를 통해 개정 사항 간의 직접적인 비교가 가능해지며, 무엇이 변했고 그것이 결과에 어떤 영향을 미쳤는지 명확히 보여줄 수 있다. 이 시스템은 본질적으로 모든 결과가 그 출처로 추적될 수 있는 투명한 연구 타임라인을 구축한다.

이 연구의 궁극적인 목표는 물리학 분석을 더욱 FAIR(Findable, Accessible, Interoperable, Reusable - 찾을 수 있고, 접근 가능하며, 상호 운용 가능하고, 재사용 가능한)하게 만드는 것이다. 현재 과학적 결과물을 재사용하려면 최종 데이터뿐만 아니라 그것을 만드는 데 사용된 코드와 설정에 대한 깊은 이해가 필요하지만, 이는 종종 소실되거나 묻혀버린다. 결과를 식별 가능한 분석 상태와 결합함으로써, 첼레비는 이러한 자료들을 찾고 재사용하기 위한 토대를 제공한다. 시스템의 구조화된 특성은 컴퓨터가 분석 로직을 해석할 수 있게 하여, 서로 다른 연구 인프라들이 함께 작동하는 데 도움을 줄 수 있다. 비록 이 논문이 첼레비가 과학적 보존의 모든 문제를 해결한다고 주장하는 것은 아니지만, 이 시스템은 원시 데이터를 넘어 과학적 지식을 생성하는 계산 과정까지 이러한 원칙을 확장하기 위한 실질적인 기초를 제안한다. 이 시스템은 수동적인 장부 기록이나 사후적인 역사 재구성에 의존하는 대신, 매일매일 발생하는 작업의 기원(provenance)을 포착한다. 이를 통해 발견으로 가는 경로가 발견 그 자체만큼이나 명확하고 접근 가능하도록 보장한다.