Automating Computational Reproducibility in Social Science: Comparing Prompt-Based and Agent-Based Approaches

논문 요약: 사회과학 계산적 재현성 자동화를 위한 프롬프트 기반 vs 에이전트 기반 접근법 비교

1. 연구 배경 및 문제 정의 (Problem)

• 현황: 계산적 연구의 재현성 (Reproducibility) 은 이론적으로는 공유된 코드와 데이터를 실행하는 단순한 과정이어야 하지만, 실제로는 의존성 누락, 경로 오류, 버전 불일치, 그리고 가장 치명적인 계산 논리의 공백으로 인해 재현이 실패하는 경우가 많습니다.
• 문제점: 기존 연구들은 재현 실패의 빈번함을 지적하지만, 이러한 실패를 자동으로 수정 (Repair) 하여 재현성을 회복하는 방법에 대한 체계적인 실증 연구는 부족합니다. 특히, 대형 언어 모델 (LLM) 과 자율 AI 에이전트가 이러한 복잡한 수정 작업을 얼마나 효과적으로 수행할 수 있는지에 대한 비교 연구가 결여되어 있습니다.
• 연구 목표: LLM 기반 워크플로우가 사회과학 연구의 계산적 재현성 장벽을 낮출 수 있는지, 그리고 프롬프트 기반 (Prompt-based) 접근법과 자율 에이전트 기반 (Agent-based) 접근법 중 어떤 것이 더 효과적인지 실증적으로 평가하는 것입니다.

2. 방법론 (Methodology)

연구는 통제된 실험 환경에서 수행되었으며, 다음과 같은 단계로 구성되었습니다.

• 가상 벤치마크 데이터셋 구축 (Synthetic Benchmark Creation):

  • 기반 데이터: 완전히 재현 가능한 5 편의 R 기반 사회과학 연구 (Ground-truth) 를 선정했습니다.
  • 오류 주입 (Error Injection): 실제 재현 실패 사례를 분석하여 130 개의 합성 테스트 케이스를 생성했습니다. 주입된 오류는 다음과 같이 3 가지 카테고리로 분류되었습니다:
    • Category A (실행 오류): 파일 경로 오류, 누락된 패키지, 단순 오타 등 실행을 방해하지만 분석 구조는 유지되는 오류.
    • Category B (맥락적 오류): 잘못된 패키지 버전, 구문 오류, 누락된 변수 등 코드 수준의 수정과 분석 논리에 대한 추론이 필요한 오류.
    • Category C (구조적 오류): 분석 논리가 누락되거나 불완전한 경우, 여러 파일에 걸친 복합적 오류 등 깊은 이해가 필요한 구조적 결함.
  • 환경: Docker 컨테이너 (Rocker) 를 사용하여 실행 환경을 격리하고 일관성을 유지했습니다.

• 평가 워크플로우:

  1. 프롬프트 기반 워크플로우 (Prompt-based):
     • LLM(GPT-4o, Gemini 2.5 Pro, Qwen3-Coder) 에게 오류 로그와 함께 수정 요청을 반복적으로 전달하는 방식입니다.
     • 컨텍스트 수준: 최소 (스크립트 + 로그), 중간 (최소 + 논문 텍스트), 전체 (중간 + 지원 스크립트 및 상세 지시) 의 3 가지 수준으로 프롬프트를 변형하여 컨텍스트의 영향을 평가했습니다.
     • 최대 5 회 반복 실행 및 수정을 시도했습니다.
  2. 에이전트 기반 워크플로우 (Agent-based):
     • 오프더셸 (Off-the-shelf) 코딩 에이전트 (OpenCode, Claude Code) 가 Docker 환경 내에서 직접 파일을 탐색하고, 코드를 수정하며, 분석을 재실행하는 자율적 접근법입니다.
     • 동일한 모델 (Qwen3-Coder) 을 기반으로 하여 워크플로우 차이만 비교했습니다.
     • 20 분 시간 제한 내에서 성공하거나 실패할 때까지 반복 수행했습니다.

• 검증 기준:

  • 단순히 코드가 실행되는 것뿐만 아니라, Ground-truth(원본 연구) 의 출력 결과와 정확히 일치하는지를 기준으로 '성공 (Reproduced)' 또는 '실패 (Not Reproduced)'를 판정했습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 합성 벤치마크: R 기반 사회과학 연구의 계산적 재현성을 평가하기 위해 체계적으로 오류가 주입된 130 개의 테스트 케이스로 구성된 벤치마크를 최초로 제안했습니다.
2. 비교 평가 프레임워크: 프롬프트 기반 LLM 과 자율 에이전트 기반 워크플로우를 동일한 조건에서 비교 평가하는 체계적인 프레임워크를 확립했습니다.
3. 실증적 통찰: 재현성 복구 작업에서 '컨텍스트의 양'과 '에이전트의 환경 상호작용 능력'이 성공률에 미치는 영향을 정량적으로 입증했습니다.

4. 실험 결과 (Results)

• 프롬프트 기반 워크플로우 성능:

  • 성공률은 오류 복잡도와 제공된 컨텍스트에 따라 크게 변동했습니다 (31% ~ 79%).
  • Gemini 2.5 Pro가 전반적으로 가장 우수한 성능을 보였으며, 특히 **Full Prompt(전체 컨텍스트)**를 사용할 때 복잡한 구조적 오류 (Category C) 에서 성공률이 73.5% 까지 상승했습니다.
  • GPT-4o는 컨텍스트가 부족할 때 성능이 급격히 떨어졌으나, 충분한 컨텍스트가 제공되면 높은 성능을 발휘했습니다.
  • Qwen3-Coder는 단순 오류 (Category A) 에서는 견고했으나, 복잡한 논리 오류 (Category C) 에서는 성능이 제한적이었습니다.
  • 결론: 프롬프트 기반 접근법은 컨텍스트에 매우 민감하며, 복잡한 논리 복원에는 한계가 있습니다.

• 에이전트 기반 워크플로우 성능:

  • 모든 오류 카테고리에서 프롬프트 기반 접근법보다 **일관되게 높은 성공률 (69% ~ 96%)**을 기록했습니다.
  • Claude Code 에이전트가 가장 우수하여 Category A(96.3%), B(91.7%), C(82.1%) 에서 모두 높은 성공률을 보였습니다.
  • OpenCode 에이전트도 Category A(81.5%), B(76.9%), C(69.2%) 에서 우수한 성능을 발휘했습니다.

• 비교 분석 (프롬프트 vs 에이전트):

  • 동일한 모델 (Qwen3-Coder) 을 사용했을 때, 에이전트 기반 워크플로우는 프롬프트 기반보다 Category A 에서 28.643.4%p, Category C 에서 15.027.9%p만큼 더 높은 성공률을 보였습니다.
  • 핵심 요인: 에이전트는 실행 환경과 직접 상호작용하며 (파일 탐색, 로그 분석, 코드 수정, 재실행), 반복적인 추론을 통해 오류를 해결할 수 있기 때문에 복잡한 다단계 오류를 처리하는 데 훨씬 효과적입니다.

5. 의의 및 결론 (Significance & Conclusion)

• 에이전트의 우위성: 계산적 재현성 복구 작업에서 단순히 코드를 생성하는 것을 넘어, 실행 환경을 탐색하고 상호작용하는 **자율 에이전트 (Autonomous Agents)**의 접근이 프롬프트 기반 LLM 보다 훨씬 효과적임을 입증했습니다.
• 실용적 가치: 이 연구는 AI 도구가 연구자들이 수동 디버깅에 소요하는 시간을 줄이고, 재현성 장벽을 낮추는 데 기여할 수 있음을 시사합니다. 특히 복잡한 논리 오류가 포함된 경우에도 에이전트 시스템이 유의미한 개선을 가져올 수 있습니다.
• 향후 과제: 벤치마크의 확장, 다양한 모델 평가, 검증 환경과 수정 환경의 물리적 격리 (데이터 누출 방지), 그리고 실행은 되지만 결과가 잘못된 (False Positive) 사례에 대한 심층 분석이 필요하다고 제안했습니다.

이 논문은 사회과학 분야에서 AI 를 활용한 재현성 자동화의 현재 한계와 가능성을 명확히 규명하며, 향후 에이전트 기반 시스템이 계산적 과학의 신뢰성을 높이는 핵심 기술로 자리 잡을 것임을 시사합니다.