Preregistration for Experiments with AI Agents

기술 요약: AI 에이전트를 이용한 실험의 사전 등록(Preregistration)

문제 정의
본 논문은 거대언어모델(LLM)과 자율형 AI 에이전트가 인지, 의사결정, 사회적 역동성 연구의 피험자 역할을 수행하는 '인 실리코(in silico)' 행동 실험이라는 신흥 패러다임에서 발생하는 결정적인 방법론적 간극을 식별한다. 이러한 실험들은 인간 피험자 연구에 비해 전례 없는 확장성과 비용 효율성을 제공하지만, 사회과학의 재현성 위기를 초래했던 "연구자의 자유도(researcher degrees of freedom)"를 그대로 물려받고 이를 증폭시킨다.

전통적인 인간 대상 연구에서는 높은 한계 비용(모집, 보상, 시간)이 실험 사양에 대한 철저한 탐색에 자연스러운 마찰력을 가한다. 반면, AI 실험은 독특한 위험 프로필을 가진다: 높은 사양 유연성과 거의 제로에 가까운 한계 비용의 결합이다. 연구자들은 모델 제품군, 프롬프트 문구, 디코딩 파라미터(temperature, top-p), 시드(seed), 재시도 정책, 파싱 규칙 등을 변화시키며 방대한 조합 공간을 매우 빠르게 반복 탐색할 수 있다. 이는 연구자가 원하는 결과가 나타날 때까지 수천 개의 방어 가능한 사양을 의도적으로 혹은 무의식적으로 횡단할 수 있는 "갈림길의 정원(garden of forking paths)"을 생성한다. 이러한 반복 과정은 최종 출판물에 눈에 띄는 흔적을 남기지 않는 경우가 많기 때문에, 이 분야는 발견된 현상이 견고한 현상이 아니라 공개되지 않은 최적화 과정의 결과물인 문헌들이 축적될 위험이 있다.

방법론 및 분류 체계
본 논문은 새로운 실험 데이터를 제시하는 것이 아니라, AI 에이전트 실험에 특화된 연구자의 자유도에 대한 체계적인 분류 체계를 구축한다. 저자들은 이러한 취약점들을 인간 피험자 연구에서 확인된 "p-해킹(p-hacking)" 역학에 매핑하여 실험 파이프라인 전체에 걸쳐 범주화한다:

1. 모델 선택: 다양한 능력과 정렬(alignment) 튜닝을 가진 수십 개의 모델 중 선택.
2. 프롬프트 엔지니어링: 시스템 메시지, 사용자 지침, 퓨샷(few-shot) 예시의 반복적 정교화. 여기서 미세한 문구 변화는 고차원적인 처치 조작(treatment manipulation)으로 작용함.
3. 샘ле링 및 디코딩: 응답 내용과 거부 행동을 변화시키는 확률적 파라미터(temperature, top-p) 및 시드 조정.
4. 추론 예산(Inference Budget): 에이전트의 전략을 근본적으로 바꿀 수 있는 토큰 제한, 턴(turn) 수, 도구 호출(tool calls)의 변화.
5. 응답 처리: 거부(refusal), 잘못된 형식의 출력, 또는 이상치(outlier)를 처리하는 방식에 대한 결정(예: 제외, 대체, 또는 재시도).
6. 결과 조작화: 특정 지표나 평가 프롬프트(LLM 기반 판사 포함)를 사후적으로 선택.

이 문제의 규모를 설명하기 위해, 저자들은 2,430개의 사양에 걸친 앵커링 효과(anchoring effects)를 조사한 시뮬레이션(논문의 부록에 상세 기술됨)을 참조한다. 이 시뮬레이션은 연구자가 사양 공간 내에서 서로 다른 경로를 선택함으로써, LLM이 강력한 인간 유사 앵커링을 보인다거나, 앵커링이 전혀 없다거나, 심지어 역(reverse) 앵커링을 보인다는 결론에 도달할 수 있음을 보여주었다. 이는 연구자가 지원하는 경로를 찾기 위해 사양의 멀티버스(multiverse)를 탐색했기 때문에 발견이 일반화 가능한 것처럼 보이는 "견고성의 환상(illusion of robustness)"을 강조한다.

주요 기여
본 논문의 주요 기여는 인간 피서 연구의 신뢰성을 높이는 데 핵심적인 관행인 **사전 등록(preregistration)**을 AI 에이전트 실험으로 확장할 것을 제안하는 것이다. 저자들은 필요한 탐색적 자유는 보존하면서 유연성을 제한하도록 설계된 맞춤형 사전 등록 템플릿을 도입한다. 이 템플릿의 주요 구성 요소는 다음과 같다:

• 컴퓨팅 환경 명시: 재현성을 보장하기 위해 정확한 모델 식별자(버전 체크포인트 포함), 생성 파라미터, 추론 예산, API 접근 날짜를 요구함.
• 프롬프트 투명성: 미세한 포맷 변경이 행동에 큰 영향을 미치므로, 요약된 형태가 아닌 모든 프롬프트 텍스트(시스템 및 사용자 메시지)의 축자적(verbatim) 공개를 의무화함.
• 파일럿 테스트 공개: 프롬프트 반복 이력, 개발 중 테스트된 모델, 그리고 예비 결과가 최종 가설에 영향을 미쳤는지 여부를 기록하도록 요구함. 이는 사양 탐색의 비가시성 문제를 다룬다.
• 확증적 vs 탐색적 구분: 분석을 확증적(hypothesis-testing) 연구와 탐색적(hypothesis-generating) 연구로 명확히 구분함. 확증적 연구의 경우, 주요 결과, 통계 검정 및 결정 규칙을 사전에 지정해야 함.
• 견고성 및 일반화 프로토콜: 모델이나 프롬프트 변형에 따른 견고성을 테스트하려는 경우, 사양의 전체 공간과 집계 규칙을 사전에 정의해야 하며, 일부 하위 집합이 아닌 전체 공간으로부터의 결과를 보고해야 함.
• 단계적 설계(Staged Designs): 파일럿 데이터를 사용하여 난이도를 조정하는 적응형 설계(adaptive design)를 수용하되, 후속 단계를 위한 사전 지정된 결정 규칙을 요구함.
• 투명성 약속: 원시 모델 출력, 처리된 데이터, 분석 코드를 공유할 것과 데이터 수집이 아직 시작되지 않았음을 증명하는 서약을 포함함.

결과 및 주장
본 논문은 새로운 연구의 경험적 결과를 보고하는 것이 아니라, 사회과학과 머신러닝 문헌을 종합하여 규범의 변화를 주장한다. 저자들의 주장은 다음과 같다:

1. 위험은 체계적이다: AI 실험에서의 높은 유연성과 낮은 비용의 결합은 인간 피험자 연구보다 더 심각한 사양 탐색(specification search)의 유인을 만든다.
2. 현재의 규범은 불충분하다: 고정된 테스트 세트에 의존하는 전통적인 ML 벤치마킹과 달리, AI 에이전트를 이용한 행동 실험은 이와 유사한 안전장치가 부족하여, 보고된 발견이 공개되지 않은 최적화의 산물일 수 있는 문헌을 양산한다.
3. 사전 등록이 해결책이다: 가설, 방법 및 분석 계획에 대한 사전 약속을 요구함으로써, 사전 등록은 "갈림길의 정원"을 제한하고 확증적 테스트와 탐색적 탐색을 구분할 수 있다.
4. 실행 가능성: 제안된 템플릿은 엄격함과 실용성 사이의 균형을 맞추며, 탐색적 작업이 명확하게 라벨링되고 분리되어 있는 한 이를 허용한다.

의의
본 논문은 머신러닝 커뮤니티가 사회과학이 겪었던 위기 이후에 안전장치를 사후에 보완하는 것이 아니라, 이 연구 패러다임의 시작 단계부터 "신뢰성을 구축할 수 있는" 독특한 기회를 가지고 있다고 주장한다. 사전 등록을 제도화함으로써, 이 분야는 AI의 편향, 추론 패턴, 정렬 특성 등 AI 행동에 관한 발견이 견고하고 신뢰할 수 있도록 보장할 수 있다. 이는 AI 에이전트가 협상, 인프라 관리와 같이 고도의 자율성이 요구되는 고위험 영역에서 자율적 역할을 점차 수행함에 따라 더욱 중요해진다. 저자들은 학술 대회, 저널, 자금 지원 기관이 사전 등록을 표준 관행으로 만들어, 연구 과정을 불투명한 사양의 멀티버스 여행에서 투명하고 누적적인 과학으로 전환할 것을 촉구한다.