Many AI Analysts, One Dataset: Navigating the Agentic Data Science Multiverse

이 논문은 대규모 언어 모델을 기반으로 한 자율적 AI 분석가들이 인간 다중 분석가 연구와 유사한 분석적 다양성과 결과 불일치를 저렴하게 재현할 수 있음을 보여주며, 이에 따라 AI 자동화 과학의 투명성을 위해 다중 우주식 보고와 프롬프트 공개가 필수적임을 주장합니다.

핵심

🍳 비유: "같은 재료, 같은 레시피, 다른 요리사"

상상해 보세요. 어떤 요리 대회에서 **모든 참가자에게 똑같은 재료 (데이터)**와 **"이 재료를 이용해 가장 맛있는 스테이크를 만들어라 (가설)"**라는 같은 지시를 내렸다고 가정해 봅시다.

1. 과거의 실험 (사람 요리사들):
   예전에는 연구자들이 이 실험을 할 때, 수십 명의 사람 요리사를 모았습니다. 그런데 놀랍게도, 같은 재료를 썼음에도 어떤 사람은 소금을 많이 넣고, 어떤 사람은 후추를 많이 넣었습니다. 그 결과 "맛있다"는 사람도 있고 "맛없다"는 사람도 나왔습니다. 이것이 바로 논문에서 말하는 **'다수의 분석가 연구 (Many-analyst studies)'**입니다. 하지만 사람을 모으는 건 비용도 많이 들고 시간도 오래 걸려서 자주 할 수 없었습니다.

2. 이 논문의 실험 (AI 요리사들):
   이번 연구자들은 **"AI(인공지능)"**를 요리사로 시켰습니다. AI 는 사람보다 훨씬 빠르고 저렴하게 수천 명을 동시에 부릴 수 있죠.

   • 실험 설정: 똑같은 데이터 (재료) 와 똑같은 질문 (가설) 을 4 가지 다른 AI 모델과 5 가지 다른 성격 (페르소나) 을 가진 AI 들에게 주었습니다.
   • 결과: 놀랍게도 AI 들도 사람처럼 결론이 갈렸습니다. 어떤 AI 는 "이 가설은 맞다!"라고 했고, 다른 AI 는 "아니야, 틀렸다"라고 했습니다.

🔍 왜 이렇게 갈렸을까요? (AI 의 '성격'과 '선택')

논문은 이 차이의 원인을 아주 구체적으로 찾았습니다.

• 성격의 차이 (페르소나):
  AI 에게 "너는 회의적인 성격이야 (Negative)"라고 말해주면, AI 는 데이터를 의심하며 결론을 내립니다. 반대로 "너는 이 가설이 맞을 거라고 믿어 (Positive)"라고 하면, AI 는 그 가설을 지지할 만한 증거를 찾기 위해 데이터를 더 적극적으로 해석합니다.

  • 비유: 같은 스테이크를 평가할 때, "맛없을 거야"라고 생각하며 먹는 사람과 "맛있을 거야"라고 기대하며 먹는 사람의 평가가 다를 수 있는 것과 같습니다.
  • 결과: 가장 회의적인 AI 와 가장 지지하려는 AI 사이에서 결론이 완전히 뒤집히는 경우가 많았습니다.

• 선택의 자유 (데이터 처리):
  AI 들은 데이터를 정리하는 방법 (누락된 값 처리, 어떤 변수를 넣을지 등) 을 스스로 결정합니다. 이 작은 선택들이 모여 결국 "통계적으로 유의미한 결과 (P-value)"를 바꾸어 버렸습니다.

⚠️ 문제점: "원하는 결론을 찾는 AI"의 위험

이 실험은 두 가지 큰 문제를 보여줍니다.

1. 선별적 보고의 위험 (Cherry-picking):
   AI 는 저렴하고 빠르게 수천 개의 분석을 만들어낼 수 있습니다. 만약 누군가 "내 가설을 지지하는 결과만 골라내서 발표해"라고 AI 에게 시킨다면, AI 는 그 가설을 지지하는 수천 가지 방법 중 하나를 찾아내서 "이게 정답이야!"라고 주장할 수 있습니다. 이는 과학적 진실이 왜곡될 수 있는 매우 위험한 상황입니다.

2. 하지만, 해결책도 될 수 있습니다:
   역설적이게도, AI 가 만들어낸 이 '다양한 결과들'을 모두 모아서 보면 오히려 진실을 더 잘 알 수 있습니다.

   • 비유: 만약 100 명의 요리사가 같은 재료를 써서 100 가지 스테이크를 만들었는데, 90% 가 "소금 1g"에서 가장 맛있다고 했다면, 우리는 그걸로 '진짜 정답'에 가까워진다고 볼 수 있습니다.
   • AI 가 만들어낸 다양한 결과들을 한눈에 보여주는 **'다중 우주 (Multiverse) 리포트'**를 작성하면, "어떤 분석 방법이 결론을 바꾸는지"를 알 수 있게 됩니다.

💡 결론: 우리가 배워야 할 점

이 논문은 우리에게 새로운 규칙을 제안합니다.

"AI 가 분석한 결과를 발표할 때는, 그 결과가 어떻게 나왔는지 (어떤 프롬프트를 썼는지, 어떤 코드를 썼는지) 를 모두 공개해야 한다."

단순히 "결과는 A 입니다"라고 말하는 게 아니라, **"A 라는 결론이 나오기까지 AI 가 어떤 선택을 했고, 다른 선택을 했다면 B 나 C 가 될 수도 있었다"**는 것을 함께 보여줘야 한다는 것입니다.

한 줄 요약:
AI 는 똑똑하지만, 우리가 어떤 '성격'을 부여하느냐에 따라 결론을 쉽게 바꿀 수 있습니다. 그래서 AI 가 분석한 결과를 믿기 전에, 그 결과가 어떻게 만들어졌는지 모든 과정 (프롬프트와 코드) 을 투명하게 공개해야 과학이 안전해집니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 분석적 다중우주 (Analytic Multiverse): 동일한 데이터셋과 가설을 가지고 독립적인 연구팀들이 분석을 수행할 때, 합리적인 분석적 선택 (변수 선택, 모델 명세, 추론 방법 등) 의 차이로 인해 상반된 결론에 도달하는 현상이 빈번하게 발생합니다. 이를 '분기하는 길의 정원 (Garden of Forking Paths)'이라고 부릅니다.
• 기존 연구의 한계: 이러한 현상을 규명하기 위한 '다중 분석가 (Many-analyst)' 연구는 수행되지만, 수십 개의 독립적인 팀을 조율해야 하므로 비용이 매우 많이 들고 시간이 오래 걸려 정기적으로 수행되기 어렵습니다.
• AI 의 도래: 최근 LLM 기반 에이전트는 코드를 작성하고 실행하며 결과를 반복적으로 개선할 수 있게 되었습니다. 하지만 이러한 에이전트들이 생성하는 분석 결과의 분산 (dispersion) 과 편향 가능성에 대한 체계적인 연구는 부족했습니다.

2. 방법론 (Methodology)

저자들은 자율적인 AI 분석가 프레임워크를 설계하여 대규모 실험을 수행했습니다.

• 실험 설계:
  • 데이터셋: 3 가지 서로 다른 도메인의 데이터셋 사용 (축구 심판의 인종 편향성, AI 보조 코딩 RCT, 미국 선거 연구 ANES).
  • 모델: 4 가지 최신 LLM (Claude Sonnet 4.5, Haiku 4.5, Qwen3 Coder 480B, Qwen3 235B) 사용.
  • 페르소나 (Persona): 5 가지 다른 분석적 태도를 가진 프롬프트를 적용 (중립, 부정적/회의적, 긍정적/신뢰, 확인 추구, 강력한 확인 추구).
  • 총 실행 횟수: 약 5,000 회 이상의 독립적인 분석 실행.
• AI 분석가 (Analyst):
  • 데이터셋, 가설, 사전 정의된 추정량 (estimand) 을 입력받습니다.
  • 데이터 전처리, 변수 선택, 모델 지정, 추론 등 전체 분석 파이프라인을 인간 개입 없이 자율적으로 수행합니다.
  • 재현 가능한 코드와 서술형 보고서를 생성합니다.
• AI 감사자 (Auditor):
  • 별도의 AI (Claude Sonnet 4.5) 가 각 분석 실행의 대화 기록 (transcript), 도구 호출, 중간 출력물, 코드를 전수 조사합니다.
  • 13 가지 방법론적 차원 (추정량 정합성, 불확실성 정량화, 결론의 엄격함 등) 을 0~10 점으로 평가하고, 허위 결과 (hallucination) 나 방법론적 오류가 있는 실행을 필터링합니다.
• 데이터 추출: 각 실행에서 효과 크기, p-value, 이진 결론 (지지/비지지) 및 구체적인 분석적 결정 사항 (공변량 수, 회귀 방법 등) 을 구조화하여 추출했습니다.

3. 주요 결과 (Key Results)

• 분석적 분산의 재현: 동일한 데이터와 가설에도 불구하고, AI 분석가들은 효과 크기, p-value, 결론에서 심각한 분산을 보였습니다. 하나의 연구 질문에 대해 정합성 있는 (defensible) 다수의 상반된 결과가 생성되는 '다중우주'가 관찰되었습니다.
• 페르소나와 모델의 영향 (Steerability):
  • 페르소나 효과: 분석가의 태도 (페르소나) 를 변경하면 결과 분포가 체계적으로 이동했습니다. 특히 '강력한 확인 추구 (Strong Confirmation Seeking)' 페르소나는 '회의적 (Negative)' 페르소나에 비해 지지율이 34~66% 포인트까지 높았습니다.
  • 모델 효과: 사용하는 LLM 모델에 따라서도 결과가 크게 달라졌습니다.
  • 감시자의 역할: 감사자 (Auditor) 를 통해 방법론적으로 부적합한 실행을 제거하더라도, 페르소나에 따른 결과의 편향은 완전히 사라지지 않았습니다. 다만, '확인 추구' 페르소나에서 발생하는 과도한 p-hacking 스타일의 탐색은 감사자에 의해 더 많이 걸러졌습니다.
• 분석적 선택의 식별: 분산의 원인은 공변량 수, 회귀 방법, 표준 오차 계산, 시계열 풀링 등 구체적인 분석적 결정 사항에서 비롯되었으며, 이는 LLM 과 페르소나 조건에 따라 체계적으로 변했습니다.

4. 주요 기여 및 시사점 (Contributions & Significance)

• AI 기반 다중 분석가 연구의 확장: 인간을 대상으로 한 다중 분석가 연구를 AI 에이전트를 통해 저렴하고 대규모로 자동화하여, 분석적 불확실성을 정량화하는 새로운 패러다임을 제시했습니다.
• 증거의 풍부함과 취약성: AI 가 합리적인 분석을 저렴하게 대량 생성할 수 있게 되면서, '선택적 보고 (Selective Reporting)'의 위험이 극대화될 수 있음을 경고합니다. 원하는 결론을 얻기 위해 에이전트를 반복적으로 실행하거나 프롬프트를 조작하는 것이 매우 쉬워졌습니다.
• 새로운 투명성 규범 제안:
  • AI 가 생성한 분석 결과는 단일 점 추정치가 아닌 **분포 (distribution)**로 보고되어야 합니다.
  • 코드와 데이터와 동등하게 사용된 프롬프트 (프롬프트 엔지니어링 포함) 를 완전히 공개해야 합니다.
  • '다중우주 스타일 (Multiverse-style)' 보고와 스펙시피케이션 커브 (Specification Curve) 가 표준이 되어야 합니다.
• 불확실성 가시화: AI 의 이러한 능력은 위험이 되기도 하지만, 동시에 분석적 변이를 가시화하고 측정 가능한 양으로 전환하여 과학적 결론의 견고성을 테스트하는 도구 (Stress Test) 로도 활용될 수 있습니다.

5. 결론

이 연구는 AI 가 과학적 분석을 자동화하는 과정에서 발생할 수 있는 '다중우주' 현상을 실증적으로 보여주었습니다. AI 분석가들은 인간 연구자들처럼 분석적 선택의 자유도를 통해 다양한 결론을 도출할 수 있으며, 이는 프롬프트와 모델 선택에 의해 체계적으로 조작될 수 있음을 입증했습니다. 따라서 AI 기반 과학 연구에서는 분석 과정의 투명성과 다중 시나리오에 대한 보고가 필수적이며, 이는 과학적 신뢰성을 유지하기 위한 새로운 표준이 되어야 한다고 주장합니다.