Automated reproducibility assessments in the social and behavioral sciences using large language models

기술 요약: 대규모 언어 모델을 이용한 사회 및 행동 과학 분야의 자동화된 재현성 평가

문제 정의
사회 및 행동 과학에서의 재현성은 전통적으로 독립적인 연구자들이 발표된 연구 결과가 실제로 복구 가능한지를 검증하기 위해 원본 데이터를 수동으로 재분석함으로써 평가되어 왔다. 이러한 과정은 필수적이지만, 자원 집약적이며 규모를 확장하기 어렵고, 종종 소규모 노력(예: 수년에 걸쳐 507명의 분석가가 참여한 Multi100 협력 프로젝트)에 국한되는 경우가 많다. 데이터 검사, 변수 식별, 코드 번역 및 실행을 요구하는 경험적 워크플로우의 수동 재구성은 문헌의 체계적인 감사를 위한 병목 현상을 야기한다. 대규모 언어 모델(LLM)이 강력한 코딩 능력을 입증해 왔음에도 불구하고, 이들이 엔드 투 엔드(end-to-end) 계산 재현성 평가를 신뢰성 있게 수행할 수 있는지, 연구 자료로부터 분석적 결정을 해석할 수 있는지, 그리고 오류나 근거 없는 가정을 피할 수 있는지는 여전히 미지의 영역으로 남아 있다.

방법론
저자들은 심리학, 정치학, 경제학을 아우르는 SCORE(Systematizing Confidence in Open Research and Evidence) 프로젝트의 $N=180$개 발표된 경험적 연구들을 대상으로 재현성 평가를 자동화하기 위한 에이전트 기반 LLM 파이프라인을 개발하였다.

• 데이터 및 입력값: 파이프라인은 사전에 정의된 경험적 주장, 원본 연구 데이터셋(원본 데이터를 사용할 수 없는 경우 복제 데이터 사용), 그리고 논문 텍스트를 활용하였다. 레이아웃, 방정식, 표를 보존하기 위해 Mistral OCR을 사용하여 텍스트를 PDF에서 마크다운(Markdown)으로 변환하였다.
• 에이전트 워크플로우: LLM 에이전트는 핵심 주장과 연결된 효과 크기를 추정하기 위해 격리된 샌드박스 내에서 독립적으로 통계 코드를 작성하고 실행하도록 과업을 부여받았다. 에이전트는 논문에 보고된 통계치를 단순히 복사하지 말고 제공된 데이터로부터 직접 계산하도록 명시적으로 지시받았다.
• 실험 설계:
  • 실행(Runs): 변동성을 평가하기 위해 각 연구는 5회의 독립적인 실행 과정을 거쳤다.
  • 모델: 주요 분석에는 Claude Opus 4.7이 사용되었다. 견고성 테스트를 위해 GPT-5.5와 오픈 웨이트 모델인 GLM-5.1을 사용하였다.
  • 정보 컨텍스트: 방법론적 세부 사항에 대한 민감도를 테스트하기 위해, 파이프라인은 세 가지 조건 하에서 실행되었다: (1) 전체 논문 텍text, (2) 방법론 섹션이 제거된 전체 논문, (3) 초록(Abstract)만 포함.
  • 프롬프트 프레이밍: 중립적인 프롬프트와 "확증적"(지지적) 프롬프트 및 "비판적"(회의적) 프롬프팅을 비교하는 민감도 분석을 수행하였다.
• 평가 지표:
  • 효과 크기 복구(Effect Size Recovery): LLM이 생성한 평균 효과 크기($\bar{d}_{LLM}$)를 원래 발표된 효과 크기($d_{original}$)와 코헨의 $d$(Cohen's $d$)를 사용하여 비교하였다. 복구는 엄격한($\pm 0.05$) 범위와 광범한($\pm 0.20$) 허용 오차 범위를 기준으로 정의되었다.
  • 질적 결론: LLM의 결론(지지/반대/결론 불능)을 원래 연구의 결론과 비교하였다.
  • 인간 벤치마크: $N=84$개의 연구로 구성된 하위 집합에 대해, LLM 결과와 대규모 인간 재분석 노력[2]을 비교하였다.
• 전처리: 5회의 실행 중 유효한 코헨의 $d$를 생성하지 못한 연구는 제외되었다(11개 연구 제외, 최종 $N=169$ 남음). 변환 오류 등으로 인해 비상식적으로 큰 효과 크기를 보이는 이상치는 수동 검토 및 필터링 과정을 거쳤다.

주요 결과

• 전반적인 재현성 (RQ1): 169개의 유효한 연구 전체에서, LLM 파이프라인은 원래 연구와 동일한 질적 결론에 80% 도달하였다. 또한 엄격한 $\pm 0.05$ 허용 오차 내에서 원래의 효과 크기를 24% 복구하였고, 광범한 $\pm 0.20$ 오차 내에서는 **50%**를 복구하였다. 재현성은 복제 데이터만을 사용했을 때보다 원본 소스 데이터가 사용 가능할 때 더 높게 나타났다.
• 인간 재분석가와의 비교 (RQ2): 인간 벤치마크가 포함된 하위 집합($N=82$)에서, LLM은 원래의 질적 결론을 95% 일치하게 도출하였다(인간의 경우 83%). LLM은 엄격한 허용 오차 내에서 원래 효과 크기를 **40%**의 사례에서 복구하였는데, 이는 인간 재분석가(28%)와 유사한 수준이었다. 그러나 LLM의 효과 크기는 인간의 재분석 결과($r=0.11$)보다 원래 발표된 연구 결과($r=0.46$)와 더 강하게 상관관eng관계를 보였으며, 이는 LLM이 인간이 탐구할 수 있는 다양한 방어 가능한 명세(specification)의 공간을 탐색하기보다는 논문에 고착된 좁은 분석 경로를 따랐음을 시사한다.
• 정보 컨텍스트 민감도 (RQ3): 재현성 비율은 정보 컨텍스트에 따라 유의미한 차이를 보이지 않았다. 모델이 전체 논문을 받았든, 방법론이 빠진 논문을 받았든, 혹은 초록만을 받았든 엄격한 허용 오차 내 복구율은 안정적으로 유지되었다 (각각 24%, 24%, 22%).
• 견고성: 결과는 테스트된 세 가지 모델(Claude Opus 4.7, GPT-5.5, GLM-5.1) 전반에서 일관되었으며, 프롬프트 프레이밍(확증적 vs 비판적)에 의해서도 유의미하게 영향을 받지 않았다.

의의 및 주장
본 논문은 LLM이 재현성 평가를 위한 확장 가능한 스크리닝 도구로 기능할 수 있다고 주장하면서도, 이들이 아직 전문가의 판단을 대체할 수는 없다고 명시적으로 밝히고 있다.

• 확장성: 본 연구 결과는 LLM이 경험적 재분석의 계산 집약적인 작업을 자동화할 수 있음을 보여주며, 이는 현재 수동으로 수행하기에는 비용이 너무 많이 드는 체계적인 실증 결과 감사를 가능하게 할 잠재력을 가진다.
• 과학적 워크플로우에서의 역할: 저자들은 LLM을 학술지와 메타 과학자들이 가용한 데이터로부터 보고된 결과가 복구 가능한지를 식별하기 위한 "1차 검사(first-pass)" 도구로 위치시킨다. 이는 투고 또는 출판 후 품질 관리 프로세스에 통합될 수 있다.
• 한계 및 주의사항: 저자들은 LLM 기반 재분석이 초기 단계의 역량임을 강조한다. 일부 실행에서는 실행 가능한 결과가 나오지 않을 수 있으며, 모델이 인간 분석가가 탐구하는 다양한 방어 가능한 분석적 선택지(분석의 "멀티버스")를 완전히 포착하지 못할 수 있다고 언급한다. 또한, 저자들이 견고한 과학을 보장하기보다 자동화된 스크리닝을 통과하는 데 최적화될 수 있는 "굿하트 법칙(Goodhart-style)" 형태의 유인 구조에 대해 경고하며, 자동화된 점검이 새로운 데이터를 수집한 재현 실험을 대체할 수는 없음을 주의시킨다.
• 일반화 가능성: 폐쇄형 모델과 함께 오픈 웨이트 모델(GLM-5.1)을 사용한 것은 자동화된 재분석이 폐쇄형 시스템에만 국한되지 않음을 시사한다.

요약하자면, 이 연구는 첨단 LLM이 사회 과학의 발표된 연구 결과 중 상당 부분을 성공적으로 재현할 수 있다는 경험적 증거를 제공하며, 신뢰성 측면의 한계와 인간의 감독 필요성을 인정하면서도 실증 연구의 엄밀성을 개선하기 위한 유망하고 확장 가능한 도구로서의 가능성을 제시한다.