Position: Correct Answer, Wrong Mechanism -- When AI Scientists Defend General Claims Their Own Data Contradicts

기술 요약: 정답은 맞으나 메커니즘은 틀림 — AI 과학자가 자신의 데이터와 모순되는 일반적 주장을 옹호할 때

문제 제기
현재의 AI 과학자 시스템 평가 프레임워크는 주로 결과 중심의 지표에 의존하며, 에이전트가 고정된 참조값에 대해 올로바른 최종 결과를 생성하는지 여부를 검증한다. 본 논문은 이러한 평가 방식이 과학적 발견을 위한 데에는 불충분하다고 주장하는데, 그 이유는 "정답은 맞으나 메커니즘은 틀림(Correct Answer, Wrong Mechanism, 이하 CAWM)" 현상을 감지하지 못하기 때문이다. CAWM 시나리오에서 에이전트는 수치적으로 정확하거나 그럴듯한 결과를 도출하지만, 그 근거로 제시하는 물리적 메커니즘이 자신이 생성한 데이터와 일치하지 않거나 서로 다른 영역(regime)에 걸쳐 일반화되지 못하는 경우를 의미한다. 저자들은 결과의 타당성이 메커니즘의 충실도를 보장하지 않는다고 단언한다. 즉, 에이전트는 특정 영역에서 통계적 지름길이나 상관관계를 이용해 성공할 수 있지만, 이는 새로운 조건에서는 무너지는 성질을 가지며, 결국 과학적 타당성이 결여된 과도하게 일반화된 주장을 낳게 된다.

연구 방법론
본 연구는 빙하 속에 매립된 체렌코프 검출기 모듈 내의 Geant4 시뮬레이션을 활용한 통제된 사례 연구를 수행한다. 과업은 에이전트가 광자 도착 시간 분포를 통해 뮤온 유도 이벤트와 전자 유도 이벤트를 통계적으로 구분할 수 있는지 결정하는 것이다.

• 과업 설계: "그라운드 트루스(ground truth)" 관측량은 이벤트당 선단부 광자 분율($f_{early}$)이며, 이는 뮤온 궤적(날카로운 선단부를 생성)과 전자 캐스케이드(확산된 도착을 생성) 사이의 기하학적 차이에 기반한다. 그럴듯하지만 결함이 있는 대안은 이벤트당 히트 시간의 표준편차($\sigma$)이며, 이는 충격 파라미터($d$)에 따라 다르게 거동한다.
• 에이전트 프로토콜: 본 연구는 세 가지 모델(주요 모델인 Claude Opus 4.6, 교차 모델 프로브인 Gemini 2.5 Flash 및 Pro)에 대해 28개의 에피소드를 평가한다. 네 가지 프롬프트 변형이 사용되었다:
  • 프롬프트 A (개방형): 관측량에 대한 안내 없음.
  • 프롬프트 B (스캐폴딩 적용): "결론에 도전하기" 단계를 포함한 5단계 프로세스.
  • 프롬프트 C (긍정 대조군): 올바른 관측량($f_{early}$)과 물리적 배경이 제공되어 실행 능력을 테스트함.
  • 프롬프트 D (편향된 사전 지식): 전자가 더 높은 선단부 분율을 가진다는 부분적으로 잘못된 사전 지식을 포함하여 인식적 정직성을 테스트함.
• 평가 기준: 에피소드는 세 가지 축을 기준으로 코딩된다:
  1. 과업 결과: 방법론이 에이전트 자신의 데이터에서 주장된 결과를 재현하는가?
  2. 메커니즘 충실도: 물리적 설명이 정확하고 일반화 가능한가?
  3. 인식적 정직성: 에이전트가 사전 지식이나 자신의 주장과 데이터가 모순될 때 신념을 수정하는가?

주요 결과
본 연구는 CAWM이 에이전트가 잘못된 추론을 통해 "맞아 보이는" 결과를 만들어내는 흔한 실패 모드임을 식별하였다:

• CAWM의 빈도: 주요 모델(Claude Opus 4.6)에서 20개 에피소드 중 4개(20%)가 CAWM을 보였다. 교차 모델 프로브(Gemini)에서는 8개 에피소드 중 3개(37.5%)가 CAWM을 보였다.
• 메커니즘 vs 결과: 에이전트들은 $d=10$ m에서 입자를 구분하는 것처럼 보이는 $\sigma$나 상대적 윈도우 분율 같은 관측량을 자주 선택했으나, 이는 $d=20$ 또는 $25$ m로 일반화하는 데 실패했다. 또한, 자신들의 데이터가 반박하는 물리(예: 캐스케이드의 조밀함이 이른 도착을 암시한다는 점)에 의존하기도 했다.
• 정직성과 충실도의 괴리: 인식적 정직성과 메커니즘 충실도가 분리될 수 있다는 것이 핵심적인 발견이다. 프롬프트 D에서 모든 에이전트는 증거를 바탕으로 전자의 선단부 분율에 관한 잘못된 사전 지식을 올바르게 거부했다. 그러나 한 에이전트(에피소드 19)는 이후 $\sigma$를 주요 관측량으로 선택하고, 이를 약 6.7 ns의 퍼짐을 보여주는 자신의 수치 테이블과 모순되는 10~15 ns의 고유 퍼짐이라는 물리적 메커니즘으로 옹호했다.
• 스캐폴딩의 한계: 5단계 스캐폴드(프롬프트 B)는 주요 모델에서 CAWM을 줄이는 데는 효과적이었으나(0/5), 교차 모델 프로브에서는 이를 방지하지 못해(2/2) 모델 패밀리 간에 완벽히 전이되지 않음을 시사했다.
• 실행 vs 발견: 올바른 관측량과 물리가 제공되었을 때(프롬프트 C), 에이전트들은 결과를 성공적으로 재현했으며 낮은 광자 수($d=25$ m)에서의 통계적 한계를 정확히 식별했다. 이는 에이전트들이 실행 능력은 갖추고 있으나, 개방형 발견에는 신뢰할 수 없음을 나타낸다.

제안된 검증 프로토콜
저자들은 CAWM을 탐지하기 위한 가벼운 2부 구성의 검증 프로토콜을 제안한다:

1. 영역 변화 체크 (Regime-Shift Check): 에이전트가 진술한 메커니즘을 추출하고, 주장을 정당화하는 데 사용되지 않은 인접 영역에 대한 부호가 있는 예측을 도출한 뒤, 해당 영역의 시뮬레이션 실행 결과와 대조하여 검증한다. 이는 과도하게 일반화된 주장을 잡아낸다.
2. 동반 재계산 (Companion Recomputation): 올바른 관측량이 알려진 경우, 혼동된 관측량(예: 상대적 윈도우)에 기반한 주장을 반박하기 위해 에이전트의 데이터로 재계산을 수행한다.
   이 두 가지 체크를 통해 연구 내 모든 CAWM 사례를 찾아낼 수 있었다.

의의 및 주장
본 논문은 현재의 LLM 코딩 에이전트가 지정된 분석을 실행하는 신뢰할 수 있는 도구로서 기능하지만, 개방형 주장 생성에 있어서는 신뢰할 수 없는 과학적 공동 저자라고 주장한다.

• 신뢰 경계: 공동 저자로서의 신뢰를 위해서는 메커니즘 충실도 검증이 필요하며, 현재의 시스템은 이를 스스로 적용하는 데 어려움이 있다.
• 과학적 리스크: CAWM은 새로운 물리학이 기존 영역의 경계에 존재하는 경우가 많기 때문에 과학적 발견에서 특히 위험하다. 잘못된 메커니즘을 가진 에이전트는 이러한 영역으로 자신 있게 확장하여, 결과 중심의 체크로는 감지할 수 없는 예상치 못한 신호를 놓치거나 가짜 양성(false positive)을 생성할 수 있다.
• 평가 체계의 전환: 저자들은 결과 중심의 평가에서 세 가지 축(결과, 메커니즘 충실도, 인식적 정직성)을 갖춘 프레임워크로의 전환을 주장한다. 또한, 에이전트가 세 가지를 모두 통과할 수 있을 때만 자율성을 부여해야 하며, 새로운 과학적 주장을 수용하기 전에는 외부 검증(영역 변화 체크 등)이 필수적이라고 강조한다.

결론적으로, AI 과학자는 폐쇄형 분포 과업은 처리할 수 있으나, 일반화가 암묵적이고 검증이 필요한 개방형 과학적 발견을 수행하는 데 필요한 자기 교정 메커니즘은 아직 갖추지 못하고 있다.