Containing the Reproducibility Gap: Automated Repository-Level Containerization for Scholarly Jupyter Notebooks

1. 문제 제기 (Problem Statement)

• 재현성 격차 (Reproducibility Gap): 계산 과학 분야에서 연구 결과의 신뢰성을 보장하기 위해서는 독립적인 연구자가 동일한 데이터와 코드로 동일한 결과를 재현할 수 있어야 합니다. 그러나 실제 Jupyter 노트북 (학술 논문과 함께 공개되는 계산적 산물) 은 환경 변화 (Environment Drift), 문서화되지 않은 의존성, 암묵적인 실행 가정 등으로 인해 재실행 시 실패하는 경우가 많습니다.
• 기존 접근법의 한계:
  • 기존 연구들은 대규모 실패 진단에 초점을 맞추거나, Binder 와 같은 인터랙티브 서비스를 제공하지만, 이는 수동 설정이 필요하거나 확장성이 부족합니다.
  • 대부분의 노트북은 저장소 (Repository) 수준이 아닌 노트북 단위에서 관리되며, 체계적인 자동화된 재현성 평가 인프라가 부재합니다.
• 핵심 문제: 공개된 Jupyter 노트북의 실행 환경을 자동으로 복원하고, 대규모로 체계적으로 평가할 수 있는 자동화 파이프라인의 부재.

2. 방법론 (Methodology)

저자들은 재현성을 공학적 문제로 접근하여, 웹 기반 학술 저장소 (GitHub) 에 있는 Jupyter 노트북을 대상으로 저장소 수준 (Repository-Level) 의 자동화된 컨테이너화 파이프라인을 설계하고 구현했습니다.

2.1 시스템 아키텍처 및 4 단계 프로세스

시스템은 Bash 기반의 모듈형 파이프라인으로 구성되며, 다음 4 단계를 거칩니다.

1. 저장소 발견 및 검증 (Repository Discovery):
   • PubMed Central (PMC) 에 인용된 GitHub 저장소를 자동으로 크롤링합니다.
   • 접근 가능한 공개 저장소만 선별하고, 저장소 ID, 노트북 ID, 실행 ID 를 사용하여 추적 가능한 관계형 데이터베이스를 구축합니다.
2. 자율적 환경 추론 및 복원 (Autonomous Environment Inference & Reconstruction):
   • 명시적 의존성: requirements.txt, setup.py 등 존재하는 파일 파싱.
   • 암시적 의존성 (핵심 기여): 모든 노트북의 import 문장을 정적 분석하여 문서화되지 않은 패키지 의존성을 추출합니다.
   • 컨테이너 생성: 추출된 의존성을 기반으로 Dockerfile 을 자동 생성하고, python:3.10-slim 베이스 이미지를 사용하여 격리된 실행 환경을 구성합니다.
3. 격리된 컨테이너 실행 (Isolated Execution):
   • 이전 실행 잔여물을 완전히 제거한 'Clean-room' 환경에서 Docker 컨테이너를 실행합니다.
   • jupyter nbconvert --execute를 사용하여 모든 노트북을 실행하며, 오류가 발생하더라도 부분 결과를 캡처하여 실패 원인을 구체적으로 분석합니다.
4. 비교적 재현성 평가 및 보고 (Comparative Reproducibility Assessment):
   • 원본 노트북과 컨테이너 실행 결과물을 nbdime 을 사용하여 셀 (Cell) 단위에서 비교합니다.
   • 재현성 점수 (Reproducibility Score): 동일한 셀 수 / 전체 코드 셀 수 비율을 계산하여 정량화합니다.
   • 실패 유형 (의존성, 데이터, 논리 오류 등) 을 분류하고 구조화된 로그를 생성합니다.

3. 주요 기여 (Key Contributions)

1. 자동화된 엔드 - 투 - 엔드 재현성 파이프라인: 웹 호스팅된 학술 저장소를 크롤링하고, 정적 의존성 추론을 통해 컨테이너 환경을 합성하며, 격리된 상태에서 실행하는 종단 간 시스템을 구현했습니다.
2. 저장소 수준의 환경 복원: 단순히 노트북 단위가 아닌, 저장소 전체의 의존성 (명시적 + 암시적) 을 통합하여 컨테이너화하는 인프라 수준의 접근법을 정형화했습니다.
3. 대규모 실증 평가: PubMed Central 에 인용된 116 개의 GitHub 저장소 (443 개 노트북) 를 대상으로 대규모 평가를 수행하여 실행 강건성 개선과 재현성 결과의 정량적 증거를 제시했습니다.
4. 구조화된 실패 및 드리프트 분석: 재현성 실패를 4 가지 범주 (환경 해결, 지속적 오류, 재현성 드리프트, 컨테이너 유발 회귀) 로 세분화하고, 실패의 근본 원인을 공학적으로 분석했습니다.

4. 실험 결과 (Results)

• 데이터셋: 116 개 저장소, 443 개 Jupyter 노트북 (Python 기반).
• 실행 강건성 향상:
  • 컨테이너화 이전의 베이스라인 (Conda 환경 기반) 대비 의존성 관련 실패가 66.7% (64/96 개 저장소) 감소했습니다.
  • 명시적 requirements.txt 가 없는 저장소에서도 자동화된 환경 제공을 통해 71.5% 의 성공적인 실행률을 달성했습니다.
• 재현성 격차 (Reproducibility Gap) 의 존재:
  • 실행은 성공했더라도, 53.7% (238 개) 의 노트북은 출력 결과의 충실도 (Output Fidelity) 가 낮았습니다 (재현성 점수 0.0~0.2).
  • **완벽한 비트 단위 일치 (Perfect Score 1.0)**를 보인 노트북은 **3.4% (15 개)**에 불과했습니다.
• 실패 원인 분석:
  • 지속적 오류: 컨테이너화 후에도 남아있는 오류는 주로 누락된 내부 모듈, 데이터 파일 경로 오류 (FileNotFoundError), 외부 인증 의존성 등이었습니다.
  • 비결정성 (Non-determinism): 전체 노트북의 **25.7%**가 random, uuid, time 등 비결정적 패턴을 포함하고 있어, 환경이 완벽해도 결과가 달라지는 원인이 되었습니다.
• 오류 유형 변화: 컨테이너화 전에는 '의존성 설치 실패'가 주를 이뤘으나, 후에는 '런타임 예외'와 '데이터/논리 오류'가 주된 실패 원인으로 전환되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 인프라 문제의 해결: 많은 재현성 실패가 연구 논리 자체의 결함이 아니라, 환경 관리 (의존성, OS 버전 등) 의 부재에서 기인함을 입증했습니다. 컨테이너화는 이러한 '환경 부패 (Environmental Decay)'를 효과적으로 완화합니다.
• 한계와 통찰: 컨테이너화는 필수적이지만 충분 조건은 아닙니다. **비결정적 연산 (Stochastic Non-determinism)**과 외부 데이터/서비스 의존성은 컨테이너화만으로는 해결되지 않는 '재현성 격차'의 핵심 원인입니다.
• 실용적 가치: 이 프레임워크는 연구자, 편집자, 아키비스트에게 체계적이고 자동화된 계산적 산물 평가 도구를 제공합니다. 향후 LLM 을 활용한 자동 의존성 예측, GPU 지원 확장, 그리고 저널 제출 워크플로우에 통합된 '재현성 배지 (Reproducibility Badge)' 시스템 구축을 목표로 합니다.

요약: 본 논문은 Jupyter 노트북의 재현성 문제를 해결하기 위해 자동화된 저장소 수준 컨테이너화 파이프라인을 제안했습니다. 이 시스템은 의존성 추론과 격리 실행을 통해 실행 성공률을 크게 높였으나, 비결정적 연산과 암묵적 가정으로 인해 완전한 비트 단위 재현성 달성에는 여전히 한계가 있음을 실증적으로 보여주었습니다.