1. 문제 정의 (Problem Definition)

사회과학 연구에서 계산적 재현성 (Computational Reproducibility) 은 과학적 발견의 신뢰성을 보장하는 핵심 요소입니다. 그러나 현재 재현성 평가는 주로 수동으로 이루어지며, 이는 다음과 같은 이유로 비용이 많이 들고 시간이 오래 걸립니다.

• 복잡한 환경: 코드와 데이터가 여러 스크립트, 라이브러리, 소프트웨어 버전에 의존하며, 실행 순서가 명확하지 않거나 경로가 하드코딩된 경우가 많습니다.
• 결과 포착의 어려움: 실행 결과 (그래프, 표 등) 가 GUI 나 콘솔에만 표시되고 파일로 저장되지 않아 자동화된 검증이 어렵습니다.
• 기존 자동화 접근법의 한계: 최근 대규모 언어 모델 (LLM) 기반 에이전트들이 제안되었으나, 다음과 같은 세 가지 주요 격차 (Gap) 로 인해 사회과학 재현성 평가에 실패하는 경우가 많습니다.
  1. 맥락 (Context) 병목: 방대한 파일, 로그, 중간 출력을 처리할 때 에이전트의 맥락 용량을 초과하여 중요한 정보가 누락됩니다.
  2. 작업 특화 도구 부족: 일반적인 명령어 실행만으로는 문서나 결과물 (아티팩트) 을 추출하고 비교하는 데 한계가 있습니다.
  3. 결과 포착 부재: 스크립트 실행 자체에 집중하여 재현된 결과물을 명시적으로 포착 (Capture) 하지 못해 검증이 불가능해집니다.

2. 방법론 (Methodology: PaperRepro)

저자들은 이러한 문제를 해결하기 위해 PaperRepro를 제안했습니다. 이는 실행 (Execution) 과 평가 (Evaluation) 를 분리한 2 단계 다중 에이전트 (Multi-agent) 아키텍처입니다.

A. 아티팩트 기반 실행 단계 (Artifact-driven Execution Stage)

이 단계는 재현 패키지를 실행하고 재현된 결과물을 명시적인 아티팩트로 포착하는 데 중점을 둡니다.

• Setup Agent: 저장소를 분석하여 진입 스크립트를 식별하고, 스크립트 간의 의존성을 추론하여 실행 순서를 결정합니다. 또한, 필요한 환경 설정 스크립트를 생성합니다.
• Execution Agent: 설정된 계획에 따라 스크립트를 실행합니다.
  • 코드 수정 및 결과 포착: 결과가 GUI 나 로그에만 남는 경우, 코드를 최소한으로 수정하여 결과물 (표, 그림 등) 을 파일로 명시적으로 저장 (Persist) 합니다.
  • 디버깅: 실행 오류 발생 시 로그를 분석하고 스크립트를 수정하여 재시도합니다.
  • 추적성 확보: 원본 코드를 덮어쓰지 않고 복사본을 수정하여 변경 사항을 추적 가능하게 만듭니다.

B. 증거 기반 평가 단계 (Evidence-grounded Evaluation Stage)

이 단계는 재현된 아티팩트와 논문 원본을 비교하여 재현성 점수를 부여합니다.

• Scoring Agent: 실행 요약 (Execution Summary) 을 바탕으로 재현된 결과물을 찾고, 논문 내 보고된 결과 (그림, 표) 와 비교합니다.
  • 멀티모달 검증: 논문에서 표와 그림을 이미지로 추출하고, 재현된 결과도 시각화하여 직접 비교할 수 있도록 합니다.
  • 점수 부여: 일관성 정도와 코드 품질을 종합하여 1~4 점의 재현성 점수를 매깁니다.
• Report Agent: 실행 로그, 평가 결과, 점수 근거를 통합하여 구조화된 보고서를 생성합니다.

핵심 설계 특징 (Key Designs)

1. 파일 지속성 (File Persistence): 모든 중간 결과, 로그, 수정된 코드를 파일로 저장하여 평가의 신뢰성을 높이고 인간의 검토를 지원합니다.
2. 맥락 제어 (Context Control): 작업 분해, 파일의 일부만 읽기 (Paginated access), 긴 로그의 앞뒤만 확인 (Truncation) 등을 통해 에이전트의 맥락 한계를 관리합니다.
3. 전문가 프롬프트 (Expert Prompting): 각 에이전트에게 작업별 전문 지식과 의사결정 규칙을 인코딩한 프롬프트를 제공합니다.
4. 실패 복구 (Failure Recovery): 실행 실패 시 다운스트림 에이전트가 중단되지 않고 다른 아티팩트를 탐색하거나 로그에서 결과를 재구성하는 등의 복구 메커니즘을 갖춥니다.

3. 주요 기여 (Key Contributions)

1. 새로운 다중 에이전트 프레임워크: 사회과학 논문의 계산적 재현성을 자동 평가하는 2 단계 파이프라인을 제안했습니다.
2. 작업 특화 도구 및 프롬프트: 에이전트에게 코드 편집, 이미지 추출, PDF 렌더링 등 작업별 전용 도구를 제공하여 성능을 극대화했습니다.
3. 성능 향상: 기존 벤치마크 (REPRO-Bench) 에서 가장 강력한 베이스라인 대비 21.9% 상대적 정확도 향상을 달성했습니다.
4. 벤치마크 개선: 기존 데이터셋의 오류를 수정하고 실행 난이도에 따라 계층화한 새로운 벤치마크 REPRO-Bench-S를 도입하여 더 정밀한 평가를 가능하게 했습니다.

4. 실험 결과 (Results)

• 성능: REPRO-Bench 에서 PaperRepro 는 정확도 44.6%, 적용 가능성 100%, **실행 가능성 65.2%**를 기록하며 모든 메트릭에서 최상의 성능을 보였습니다. (가장 좋은 이전 베이스라인인 REPRO-Agent 대비 정확도 8.0%p 향상).
• 난이도별 분석: REPRO-Bench-S 를 통해 난이도가 낮은 (Level-1) 경우 75.0% 의 정확도를 보였으나, 난이도가 높은 (Level-3) 경우 33.3% 로 감소하여 실행의 견고성이 주요 병목임을 확인했습니다.
• 에이전트 분리 및 도구의 효과: 에이전트 역할을 통합하거나 특정 도구를 제거하는 Ablation Study 를 통해, 작업 분리와 전용 도구가 성능 향상에 결정적임을 입증했습니다.
• 일반화 사례: Nature 지의 복잡한 논문 (6 개의 R 스크립트, 2,364 줄 코드) 에 대한 재현성 평가 사례 연구에서, PaperRepro 는 15 분 내에 평가 보고서를 생성하여 인간 전문가 (1 시간 소요) 보다 효율적이었으며, 추적 가능한 아티팩트를 제공했습니다.

5. 의의 및 결론 (Significance)

PaperRepro 는 사회과학 연구의 재현성 위기를 해결하기 위한 확장 가능한 자동화 솔루션을 제공합니다.

• 신뢰성 강화: 수동 평가의 한계를 넘어, 실행 과정과 결과물을 명시적으로 기록하고 검증함으로써 과학적 지식의 신뢰성을 높입니다.
• 연구 프로세스 통합: 사전 출판 검토 (Pre-publication check) 를 자동화하여 연구의 질을 높이고 재현성 평가를 효율화할 수 있습니다.
• 미래 연구 방향: 제안된 REPRO-Bench-S 는 향후 재현성 평가 시스템 개발을 위한 진단적이고 정밀한 평가 기준을 마련했습니다.

이 연구는 대규모 언어 모델 기반 에이전트가 복잡한 소프트웨어 엔지니어링 작업 (환경 설정, 디버깅, 코드 평가) 과 논문 간의 정합성을 동시에 처리할 수 있음을 보여주며, 과학적 재현성 평가의 새로운 표준을 제시합니다.