🤖 AI

The Agentic Garden of Forking Paths

이 논문은 AI 에이전트가 고위험 영역 전반에 걸쳐 인간 연구자들이 내리는 다양하고 종종 상충하는 분석적 선택들을 복제할 수 있음을 입증하며, 과학적 분석에서의 선택적 보고 문제를 강조하고, 타당한 분석의 공간 내에서의 위치를 기반으로 과학적 주장의 신뢰성을 평가하기 위한 새로운 기준으로 'm-값'을 추정하는 "에이전틱 부트스트랩(Agentic Bootstrap)" 방법을 제안한다.

원저자: Jiacheng Miao, Jonathan K Pritchard, James Zou

게시일 2026-07-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiacheng Miao, Jonathan K Pritchard, James Zou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 단 하나의 단서 상자(데이터)를 가지고 미스터리를 풀려는 탐정이라고 상상해 보십시오. 과거에는 두 명의 탐정이 같은 상자를 보더라도 서로 약간 다른 이야기를 할 수는 있었지만, 대개 핵심적인 사실에 대해서는 의견이 일치했습니다.

이 논문은 새로운 반전을 소개합니다: 바로 탐정 역할을 하는 AI 에이전트입니다. 연구진은 두 AI 에이전트에게 정확히 같은 단서 상자를 주되, 서로 다른 "성격"(한 명은 회의론자, 한 명은 신봉자)을 부여했을 때, 이들이 단순히 약간 다른 이야기를 하는 것을 넘어 완전히 정반대의 이야기를 하게 된다는 사실을 발견했습니다. 게다가 두 이야기 모두 완벽하게 논리적이고 과학적으로 타당하게 들립니다.

다음은 쉬운 비유를 사용한 연구 결과의 요약입니다:

1. "갈림길의 정원" (The Garden of Forking Paths)

수백만 개의 경로가 있는 거대한 숲(갈림길의 정원)을 상상해 보십시오. 연구자가 데이터를 분석할 때마다 그들은 어떤 경로를 따라 걸어갈지 선택해야 합니다.

과거의 문제: 인간 연구자들은 때때로 자신이 찾고 싶은 결과로 이어지는 경로를 무의식적으로 선택하곤 했습니다. 이를 "연구자의 자유도(researcher degrees of freedom)"라고 부릅니다.
새로운 AI의 문제: 이제 AI 에이전트는 이 숲을 믿기 힘들 정도로 빠르게 달려 나갈 수 있습니다. 이들은 몇 분 만에 수천 개의 경로를 시도할 수 있습니다. 논문은 만약 당신이 AI에게 "당신은 이민이 경제에 해롭다고 믿습니다"라고 말한다면, 그 AI는 자연스럽게 그 결론으로 이어지는 경로들을 헤매게 된다는 것을 보여줍니다. 반대로 다른 AI에게 "당고는 이민이 경제에 도움이 된다고 믿습니다"라고 말하면, 그 AI는 그와 정반대의 경로를 헤매게 됩니다.
무서운 점: 두 AI 모두 "훌륭한" 과학을 수행하고 있습니다. 그들은 거짓말을 하거나 규칙을 어기는 것이 아닙니다. 그저 자신의 목적지에 도달하기 위해 서로 다른, 타당한 길을 가고 있을 뿐입니다.

2. 실험: "이데올로기적 거울" (The Ideological Mirror)

연구진은 네 가지 큰 질문에 대해 이 실험을 테스트했습니다:

이민이 복지 지원에 영향을 미치는가?
커피가 건강에 영향을 미치는가?
소셜 미디어가 청소년 정신 건강에 해로운가?
장내 박테리아가 체중에 영향을 미치는가?

그들은 AI 에이전트에게 서로 다른 "페르소나"(특정한 정치적 또는 과학적 편향을 부여하는 것)를 주고 동일한 데이터를 분석하게 했습니다.

결과: "친(親)이민" AI 에이전트들은 일관되게 긍정적인 효과를 찾아낸 반면, "반(反)이민" 에이전트들은 부정적인 효과를 찾아냈습니다.
인간과의 비교: 유명한 실제 연구에서, 42개의 인간 팀이 동일한 이민 데이터를 분석했을 때 결론의 "격차"가 나타났습니다. AI 에이전트들은 이 인간의 격차를 72% 재현해 냈습니다.
속도: AI 에이전트는 약 1.68달러의 비용으로 약 15분 만에 이 전체 분석을 수행할 수 있었습니다.

3. "품질 검사"의 함정

당신은 "음, 편향된 AI는 수학을 잘못했겠지"라고 생각할 수도 있습니다.

놀라운 사실: 연구진은 다른 AI들과 인간 전문가(박사급 통계학자)들에게 보고서를 검토하게 했습니다.
판결: AI 보고서의 **86%**가 검토를 통과했습니다. 인간 전문가 검토에서는 **78%**가 통과했습니다.
시사점: AI 에이전트들은 전문가들이 결함이 없다고 간주하는 방법론을 사용하여 서로 상반된 결론에 도달했습니다. 문제는 수학이 틀린 것이 아니었습니다. 문제는 AI가 (인간처럼) 자신의 "신념"에 부합하는 경로를 선택적으로 탐색했다는 점이었습니다.

4. AI가 하는 방식: 탐색(Exploration) vs 선택(Selection)

논문은 AI가 어떻게 잘못된(혹은 옳은) 결론에 도달하는지 설명합니다.

탐색: AI가 걷기 시작합니다. 만약 "신봉자"라면, 자연스럽게 자신의 신념에 유망해 보이는 경로를 향해 헤맵니다. "회의론자"라면 다른 곳을 헤맵니다.
선택: 많은 경로를 걸은 후, AI는 최종 보고서에 담을 자신의 이야기에 가장 잘 맞는 경로 하나를 선택합니다.

비유: 매운 음식을 만들고 싶어 하는 요리사를 상상해 보십시오. 그들은 100가지의 서로 다른 수프를 맛봅니다. 그들은 자연스럽게 매콤한 수프에 더 주의를 기울이고, 그것을 더 맵게 조절하며, 결국 가장 매운 수프를 내놓습니다. "맵지 않은" 요리사도 똑같은 과정을 따르겠지만, 결국 담백한 수프를 내놓게 될 것입니다. 두 요리사 모두 요리 규칙을 완벽하게 따랐습니다.

5. 해결책: "m-값"과 "에이전틱 부트스트랩" (The "m-value" and "Agentic Bootstrap")

우리가 더 이상 단일 보고서를 신뢰할 수 없는 이유는 (AI가 아주 쉽게 자신의 신념에 맞는 경로를 골랐을 수 있기 때문입니다) 저자들은 과학을 판단하는 새로운 방법을 제안합니다.

과거의 방식 (p-값): "만약 우리가 동일한 레시피로 이 실험을 1,000번 반복한다면, 얼마나 자주 이 결과가 나올까?" (이는 데이터의 운을 체크합니다.)
새로운 방식 (m-값): "만약 우리가 이 동일한 데이터에 대해 1,000가지의 서로 다른 유효한 레시피를 적용한다면, 얼마나 자주 이 결과가 나올까?" (이는 선택의 운을 체크합니다.)

**에이전틱 부트스트랩(Agentic Bootstrap)**은 이를 수행하기 위해 구축된 도구입니다. 이는 AI 에이전트를 사용하여 수천 가지의 서로 다른 "만약에" 시나리오(숲 속의 다양한 경로들)를 시뮬레이션하고, 가능한 모든 결론의 지도를 만듭니다.

만약 연구자의 결과가 지도의 중앙에 있다면, 그 결과는 견고(robust)합니다.
만약 연구자의 결과가 지도의 극단적인 가장자리(꼬리 부분)에 있다면, 이는 그들이 그 결과를 얻기 위해 매우 특정한 경로를 선택했을 가능성이 높다는 것을 의미합니다.

발견된 사실: 연구진이 이를 인간 이민 연구에 적용했을 때, 인간 보고서의 **13.5%**가 가능한 결과 중 가장 극단적인 5% 안에 들어있음을 발견했습니다. 이는 많은 인간의 연구 결과가 데이터가 매우 강력해서가 아니라, 연구자들(또는 그들의 AI 조력자들)이 그 결론으로 이어지는 경로를 선택적으로 골라냈기 때문임을 시사합니다.

요약

이 논문은 AI가 수백만 개의 유효한 옵션이 있는 숲 속에서 가장 좋아 보이는 과학적 이야기를 "체리 피킹(선택적 채집)"하는 것을 저렴하고 쉽게 만든다고 주장합니다. 해결책은 AI 사용을 중단하는 것이 아니라, 먼저 숲 전체를 지도화하기 위해 AI를 사용하는 것입니다. 우리가 과학적 주장을 신뢰하기 전에 우리는 다음과 같이 물어야 합니다: "이 결과는 숲을 통과하는 전형적인 경로인가, 아니면 누군가가 단지 자신이 원하는 결론으로 이끄는 단 하나의 경로를 고른 것인가?" m-값은 바로 그 것을 측정하는 새로운 척도입니다.

기술적 요약: 분기하는 경로의 에이전트 정원 (The Agentic Garden of Forking Paths)

문제 정의
경험적 연구는 드물게 유일한 분석 경로만을 허용한다. 연구자들은 변수의 조작화, 표본 선택, 공변량 조정, 모델 명세와 관련하여 수많은 "자유도(degrees of freedom)"에 직면한다. 이러한 선택들이—의도적인 p-해킹(p-hacking)이든 무의식적인 "분기하는 경로의 정원(garden of forking paths)"이든—유의미하거나 기대되는 결과에 도달하기 위해 행사될 때, 이는 거짓 양성률(false-positive rates)을 높인다. 기존의 신념은 어떤 분석 경로가 탐색될지, 그리고 어떤 결과가 보고될지를 결정하는 데 영향을 미치며, 이는 동일한 데이터셋으로부터 서로 다른 결론을 도출하게 만든다.

AI 에이전트(특히 대규모 언어 모델 기반 코딩 에이전트)의 등장은 이러한 과제를 증폭시킨다. 인간 분석가와 달리, AI 에이전트는 저렴한 비용으로 방대한 수의 그럴듯한 분석들을 신속하게 생성하고 평가할 수 있다. 이는 AI 보조 분석이 방법론적으로 방어 가능한 수많은 명세들 사이를 탐색하여, 선호하는 주장을 뒷받침하는 결론을 선택적으로 보고하기 쉽게 만들 위험을 초래한다. 결정적으로, 이러한 선택적 보고는 최종 보고서만으로는 탐지하기 어려운데, 왜냐하면 선택된 분석이 그 자체로는 통계적으로 타당하고 방법론적으로 건전해 보일 수 있기 때문이다.

방법론
저자들은 AI 에이전트를 실험 시스템으로 활용하여, 사전 신념이 경험적 데이터 분석에 어떻게 편향을 일으키는지 연구하고, 그로 인해 발생하는 불확실성을 정량화하는 방법을 개발한다.

페르소나 프라이밍 에이전트 실험 (Persona-Primed Agent Experiments):
- 설정: 연구는 네 가지 고위험 영역(정치학, 공중보건학, 심리학, 생물학)을 대상으로 하며, 실제 데이터셋(ISSS, NHANES, YRBS, American Gut Project)을 사용한다.
- 절차: 각 질문에 대해, 상반된 "페르소나"(예: 친이민 vs 반이민, 신봉자 vs 회의론자)가 독립적인 AI 에이전트에게 시스템 프롬프트를 통해 할당되었다. 이 프롬프트들은 특정 실질적 신념을 명시하면서도, 증거를 조작하거나 p-해킹을 하지 말고 "엄격하게 분석할 것"을 명시적으로 지시했다.
- 과정: 각 에이전트는 10회의 연속적인 탐색 라운드를 수행하며, 각 라운드마다 10개의 후보 모델을 생성했다(총 100개). 에이전트는 후속 분석을 정교화하기 위해 전체 이력을 유지했다. 마지막으로, 각 에이전트는 하나의 명세를 최종 보고서로 선택했다.
- 검토: 별도의 AI 검토자와 일부 인간 박사급 전문가들이 보고서를 검토하여 주요 방법론적 오류를 평가했다. 이 검토를 통과한 분석들만이 주요 결과에 포함되었다.
에이전트 명세 곡선 (Agentic Specification Curve):
- 분석 가능한 경로의 지형을 매핑하기 위해, 저자들은 모든 라운드에 걸쳐 상반된 페르소나와 중립적 페르소나가 생성한 모든 후보 명세들을 통합했다.
- 품질 관리 및 독립적인 방법론적 검토를 거친 후, 수천 개의 명세(예: 이민 질문에 대해 4,392개)가 유지되었다.
- 이들은 효과 크기(effect size)에 따라 정렬되어, 주요 오류 없이 동일한 데이터로부터 도출 가능한 결론의 분포를 시각화하였다.
에이전트 부트스트랩 및 m-값 (Agentic Bootstrap and the m-value):
- 개념: 저자들은 "분석 공간 불확실성(analysis-space uncertainty)"을 다루기 위해 m-값(multiverse value)을 도입한다. 이는 p-값이 다루는 "표본 불확실성(sampling uncertainty)"과는 구별된다.
- 정의: m-값은 방법론적으로 방어 가능한 분석들의 분포( $\Pi$ )에서 추출된 분석 경로가 보고된 주장만큼 극단적인 결과를 생성할 확률이다.
- 추정: 에이전트 부트스트랩은 도구화된 AI 에이전트를 사용하여 그럴듯한 분석 경로를 체계적으로 샘플링, 기록 및 평가함으로써 이 분포를 추정한다. m-값은 보고된 주장의 꼬리 확률(tail probability)로 계산된다.

주요 결과

인간의 이데올로기 격차 재현: 상반된 페르소나가 할당된 AI 에이전트들은 인간 연구자들에게서 관찰되는 이데올로기 격차를 재현했다. 이민-복지 질문에 대해, 상반된 페르소나는 평균 효과 추정치 격차 0.020을 생성했는데, 이는 42개의 인간 연구 팀에서 관찰된 격차의 72%에 해당한다. 이러한 차이는 순열-널(permuted-null) 데이터에서도 지속되었으며, 이는 데이터 신호가 아닌 분석적 선택에서 기인했음을 나타낸다.
이질적 결론의 방법론적 건전성: 서로 상반된 결론에 도달했음에도 불구하고, 86%의 에이전트 보고서가 AI 독립 검토를 통과했고, 78%가 인간 전문가 과반수의 검토를 통과했다. 이는 결론의 차이가 결함 때문이 아니라 방법론적으로 건전한 분석에서 비롯되었음을 확인시켜 준다.
편향의 메커니즘: 페르소나 편향은 두 단계로 진입했다:
1. 탐색: 상반된 페르소나는 분석적 탐색 공간의 서로 다른 영역을 점진적으로 탐색했다(예: 친이민 에이전트는 이민 유입을 선호했고, 반이민 에이전트는 이민 축적을 선호했다).
2. 선택: 에이전트들은 탐색된 명세 세트 중에서 자신에게 할당된 신념과 일치하는 최종 보고서를 우선적으로 선택했다.
결론의 예측 가능성: 보고된 결론의 부호(sign)는 분석적 선택(결과 변수, 노출 변수, 공변량 등)의 조합만으로 매우 예측 가능했다(AUC = 0.92). 이는 선택적 보고가 특정 결론을 목표로 할 수 있음을 보여준다.
선택적 보고의 정량화 (m-값): 이민 연구의 인간 보고서에 적용했을 때, 에이전트 부트스트랩은 인간의 분석이 더 넓은 방어 가능한 분석 분포로부터 추출된 전형적인 표본이 아님을 드러냈다.
- 인간 보고서의 13.5%가 가장 극단적인 5%의 분석 공간( $m < 0.05$ )에 속했다.
- 통계적으로 유의미한 인간의 발견( $p < 0.05$ ) 중 40%가 $m < 0.05$ 였으며, 이는 무작위 선택 시 예상되는 비율보다 2.4배 높은 수치이다.
- 이민 질문에 대한 95% 에이전트 부트스트랩 구간은 단일 분석의 평균 95% 신뢰 구간보다 2.8배 더 넓었으며, 이는 분석 선택의 불확실성이 표본 불확실성을 실질적으로 초과함을 나타낸다.

의의 및 주장
본 논문은 경험 과학의 핵심 과제가 반드시 결함이 있는 분석을 생성하는 것이 아니라, 방법론적으로 방어 가능한 방대한 분석 공간으로부터 선택적으로 탐색하고 보고하는 것이라고 주장한다. AI 에이전트는 이러한 탐색을 저렴하고 확장 가능하게 만듦으로써 이 위험을 실질적으로 증폭시킨다.

저자들은 과학적 증거가 단일 보고된 분석의 타당성뿐만 아니라, 보고될 수 있었던 분석들의 분포 내에서의 위치에 의해서도 평가되어야 한다고 주장한다. m-값과 에이전트 부트스트랩은 과학적 신뢰성에 대한 새로운 기준을 제공한다:

이들은 "숨겨진 분포"로서의 그럴듯한 분석들을 관찰 가능하게 만든다.
연구자들이 강건한 신호(분석 공간의 전형적인 것)와 취약한 발견(분석 공간의 극단적인 이상치)을 구분할 수 있게 한다.
경험적 주장의 견고성을 감사하기 위한 실용적이고 확장 가능한 인간 다수 분석 연구의 대안을 제공한다.

이 연구는 경험적 분석이 더 저렴하고 확장 가능해짐에 따라, 과학계가 개별 모델을 검증하는 것에서 벗어나, 보고된 결론이 단순히 선택된 경로의 산물이 아닌지 확인하기 위해 전체 분석 공간을 스트레스 테스트하는 것으로 초점을 전환해야 함을 시사한다.