기술적 요약: 에이전트형 AI 과학자는 자율적 과학 발견을 위해 설계되지 않았다

문제 진술

본 논문은 대규모 언어 모델 (LLM) 기반 에이전트 시스템이 문제 선정부터 물리적 검증까지의 종단간 발견을 수행하며 자연과학을 자율적으로 수행할 수 있다는 주장에 대해 다룬다. 현재 시스템은 잘 정의되고 최적화 중심인 작업에서 "공동 과학자"로서 효과적으로 기능하지만, 저자들은 이들이 근본적으로 자율적 과학 발견에 부적합하다고 주장한다. 핵심 문제는 규모나 도구의 부족이 아니라, 현재 에이전트형 AI 의 훈련 및 배포 전략에 내재된 결함이다. 이러한 결함은 시스템이 실제 과학적 탐구의 비선형적, 다목적, 암묵적 성격을 탐색하는 것을 방해하며, 특히 고체전지 전해질 (SSE) 발견이라는 과제를 통해 구체적으로 설명된다.

방법론 및 분석

본 논문은 네 가지 주제적 도전 과제를 중심으로 현재 AI 과학 패러다임에 대한 비판적 분석을 수행한다. 이를 위해 근거-진실 (ground-truth) 목적 함수가 존재하지 않는 구체적인 과학 영역인 SSE 발견에 대한 지속적인 사례 연구를 활용하여 추상적 주장을 구체화한다.

1. 문제 선정 분석: 저자들은 AI 주도 과학에서의 "맥나마라 오류 (McNamara fallacy)"를 분석한다. 이는 측정 가능하고 데이터가 풍부한 문제에 시스템이 최적화됨으로써 과학적 의제가 축소되는 현상이다. 저자들은 "기술 주도 (기술이 할 수 있는 것)"와 "수요 주도 (과학이 필요한 것)"를 대비시키며, 현재 AI 는 전자를 따르고 있다고 주장한다.
2. 데이터 편향 평가: 본 논문은 훈련 코퍼스의 구성을 검토하여 출판 편향으로 인해 "암묵적 지식 (기록되지 않은 실험실 관행)"과 "실패 지식 (부정적 결과와 포기된 가설)"이 결여되어 있음을 규명한다.
3. 다양성 압축 실험 ("가설 집단지성"): 선호도 최적화의 영향을 경험적으로 검증하기 위해, 저자들은 Anthropic(Haiku 4.5, Sonnet 4.5, Sonnet 4.6) 과 OpenAI(GPT-5 Nano, Mini, 표준) 의 여섯 가지 최첨단 모델을 사용한 실험을 수행했다.
   • 작업 1 (해석적): 모델들은 실험 요약에서 근본적인 가설을 복원했다 (수렴적 작업).
   • 작업 2 (생성적): 모델들은 전체 논문 텍스트를 확장하는 새로운 가설을 생성했다 (발산적 작업).
   • 지표: 출력물을 임베딩하고 모델 간 및 모델 내 출력 간 코사인 유사도를 계산했다.
4. 벤치마크 및 추론 비판: 저자들은 현재 과학 벤치마크의 구성 타당성과 생태학적 타당성을 평가하며, 단일 턴 예측 정확도에 의존하고 데이터 유출에 취약함을 지적한다. 이를 실제 조사의 다중 턴 반사실적 추론과 대비시킨다.

주요 기여

1. 네 가지 구조적 장벽의 식별

본 논문은 자율적 발견을 배제하는 네 가지 구체적인 도전 과제를 명시한다.

• 맥나마라 오류: AI 시스템은 쉽게 정량화되고 데이터가 풍부한 문제를 우선시하여 연구된 과학 주제들의 총량을 축소하고, "어렵고 데이터가 희소"한 문제를 무시한다.
• 암묵적 지식과 실패 지식의 부재: 출판된 문헌에 기반한 훈련은 실험실 관행의 절차적 뉘앙스와 실패한 실험에서 도출된 중요한 학습을 생략한 과학의 필터링된 관점을 제공한다.
• 선호도 최적화를 통한 다양성 압축: RLHF 및 DPO 와 같은 사후 훈련 기술은 출력 분포를 주석가 합의 방향으로 압축하여 파괴적이거나 비합의적 가설이 생성될 가능성을 줄인다.
• 현재 벤치마크의 무효성: 기존 벤치마크는 단일 턴 예측 정확도를 측정하며, 과학적 조정에 필수적인 다단계 추론, 신념 수정, 물리적 피드백 루프를 포착하지 못한다.

2. 의미 수렴에 대한 경험적 증거

"가설 집단지성" 실험은 다양성 압축이 체계적 문제임을 보여주는 경험적 증거를 제공한다. 생성 작업의 개방적 성격에도 불구하고, 모델 간 유사성은 일관되게 높았다 (그림 1B). 저자들은 여러 최첨단 모델을 쿼리하는 것이 단일 모델을 쿼리하는 것과 실질적으로 동일한 인식적 표본 크기를 산출한다고 결론지었다. 모든 시스템이 과소 대표된 화학을 탐색하기보다는 합의 주도 가설 (예: SSE 를 위한 LLZO 및 NASICON 계열) 에 수렴하기 때문이다.

3. "규모와 발판" 서사에 대한 비판

본 논문은 모델 규모를 늘리거나 도구 사용 발판을 개선하는 것이 자율성 격차를 해소할 것이라는 주장을 반박한다. 측정 가능한 문제에 대한 편향, 실패 데이터의 부재, 그리고 선호도 최적화의 수렴은 규모만으로는 해결할 수 없는 상류 설계 선택 사항이라고 주장한다.

4. 제안된 아키텍처 및 체계적 해결책

저자들은 진정한 자율적 AI 과학자로 나아가기 위한 구체적인 개입 방안을 제안한다.

• 검증자로서의 과학 시뮬레이터: 정적 텍스트 코퍼스의 한계를 우회하여 암묵적 지식과 실패 지식을 생성하기 위해 물리 엔진 및 분자 동역학 패키지 (예: OpenMM, MuJoCo) 를 훈련 오라클로 사용한다.
• 지속적 세계 모델: 읽기 전용 컨텍스트 창을 에이전트의 인식 상태를 명시적으로 표현하고 조사 전반에 걸쳐 지속되며 반사실적 추론을 지원하는 가변적 표현 (예: 베이지안 네트워크) 으로 대체한다.
• 중앙 집중식 사전 등록 저장소: AI 생성 가설이 실험 전에 기계 판독 가능한 저장소에 등록되도록 의무화한다. 이는 규모에 따른 "p-해킹"을 방지하고 향후 훈련을 위한 실패 지식 데이터셋을 생성한다.
• 공개 동료 검토 데이터: 단순한 결과 예측을 넘어 과학적 판단과 가치 평가를 학습하기 위해 공개 동료 검토 및 제안 평가 데이터를 기반으로 모델을 훈련시킨다.

결과

• 실험적 발견: 가설 집단지성 실험은 새로운 가설 생성에 대한 공급자 간 출력 유사도가 높았음 (~0.60 에서 0.90 의 코사인 유사도) 을 보여주어 의미적 다양성의 부재를 나타냈다. 이는 서로 다른 공급자의 현재 에이전트 시스템조차 사실은 단일 합의 주도 분포에서 표본을 추출하고 있음을 시사한다.
• 사례 연구 분석: SSE 발견 맥락에서 저자들은 현재 AI 시스템이 문제 제약에 관한 인간의 선택 (예: 제조성보다 이온 전도도 최적화) 을 계승하며, 훈련 데이터와 주석가 사전 지식의 집중으로 인해 잘 알려진 재료 계열 (LLZO, NASICON) 밖의 후보를 생성하지 못함을 보였다.
• 벤치마크 한계: 분석은 현재 벤치마크 (예: VQA, 단일 턴 예측) 에서의 높은 성능이 전체 발견 주기를 탐색하거나, 이상한 물리적 결과를 기반으로 신념을 수정하거나, 다목적 트레이드오프를 처리하는 능력과 상관관계가 없음을 드러냈다.

중요성 및 주장

본 논문은 현재 에이전트형 AI 와 자율적 과학 발견 사이의 격차가 점진적 개선의 문제가 아니라 설계 선택 사항에 대한 근본적 재검토가 필요하다고 주장한다.

• 공동 과학자 vs 자율 과학자: 저자들은 AI 가 현재 잘 정의된 공간에서 인간의 판단을 확장하는 협력자, 즉 "공동 과학자"로 가장 적합하며, 독립적 발견이 가능한 자율 에이전트로는 적합하지 않다고 단언한다.
• 체계적 위험: 그들은 자율적 발견을 위한 현재 패러다임에 의존하는 것이 확인 편향을 증폭시키고, 과학적 탐구의 범위를 축소하며, 현상을 도전하지 않는 중복 가설의 "집단지성"을 생성할 위험이 있다고 경고한다.
• 행동 촉구: 본 논문은 자율성을 달성하기 위해서는 도구 affordance 주도 응용에서 수요 주도 응용으로 전환하고, 훈련에 실패 지식을 통합하며, 단일 턴 정확도보다 다단계 추론과 물리적 검증을 보상하는 새로운 평가 프레임워크를 수립해야 한다고 주장한다.

저자들은 실패 데이터의 부재, 다양성의 압축, 그리고 지속적 세계 모델의 부재와 같은 근본적 문제들을 해결하지 않는 한, 자율적 AI 과학자에 대한 주장은 실현된 것이 아니라 이상향에 머무른다고 결론지었다.