Position: AI Agents in Scientific Teams Should Be Studied as Human-Agent Systems

기술 요약: AI 에이전트는 인간-에이전트 시스템으로서 연구되어야 한다

문제 제점
본 논문은 대규모 언어 모델(LLM) 기반의 "AI 과학자(AI Scientists)"에 관한 기존 문헌의 결정적인 공백을 지적한다. 현재의 연구는 과학적 발견을 수행하는 에이전트의 자율적 능력에 점점 더 집중하고 있으나, 이러한 관점은 과학적 팀워크에 내재된 사회적 및 협업적 역동성을 간과하고 있다. 현재의 시스템들은 인간의 참여를 고차원적인 목표 설정 및 최종 검증으로만 제한하는 경향이 있으며, 이는 인간-인간 팀에서 나타나는 반복적이고 공동적인 협업 과정을 반영하지 못한다. 저자들은 AI 과학자를 독립적으로 연구하는 것은 "과학적 팀워크의 사회적 측면"을 무시하는 것이며, 에이전트가 인간-에이전트 역동성을 고려하지 않은 채 배치될 때 발생하는 근시적 위험, 즉 과학적 탐구의 균질화 및 주제 다양성의 감소 문제를 해결하지 못한다고 주장한다.

방법론
저자들은 **인간-에이전트 시스템(Human-Agent Systems, HAS)**의 관점을 통해 문헌 검토, 실증적 분석, 사례 연구 검토를 결합한 다각적인 접근 방식을 채택한다.

1. 문헌 검토 및 분류 체계 적용: 저자들은 최근의 AI 과학자 시스템(예: AI Scientist v2, Kosmos, Co-Scientist, Denario)을 검토하고, 인간 피드백의 주요 채널을 기준으로 이들을 분류한다. 저자들은 Zou 등(2025a)의 분류 체계를 채택하여 다음 세 가지 차원에서 이 시스템들을 분석한다:

   • 유형(Type): 평가적(품질 평가), 가이드형(지침/비평), 또는 교정적(편집/수정).
   • 입도(Granularity): 조대(출력물에 대한 단일 평가) 또는 미세(대상별 단계적 피드백).
   • 단계(Phase): 사전 과업(계획), 과업 중(실행), 또는 사후 과업(평가).
     검토 결과, 대부분의 시스템은 산출물 수준(사후 과업) 또는 발견 단계 수준(과업 중)의 피드백에 의존하며, 유연하거나 비동기적이거나 미세한 개입을 지원하는 경우는 매우 드물다.

2. 예비 실증 실험: 피드백에 대한 에이전트의 행동을 테스트하기 위해, 저자들은 AstaBench 엔드 투 엔드 발견(E2E) 벤치마크 상에서 GPT-5-mini를 사용한 ReAct 기반 에이전트 하네스를 사용하여 실험을 수행했다. 저자들은 세 가지 조건을 비교했다:

   • 계획 중심의 베이스라인 에이전트.
   • 시스템 프롬프트에 "사용자에게 묻기(ask user)" 도구와 피드백 분류 체계가 포함된 에이전트.
   • 항상 "사용자에게 묻기" 도구를 호출하도록 명시적인 단계별 지침을 받은 에이전트.
     연구에는 피드백 요청의 유형, 입도, 단계를 분류하기 위해 LLM-as-a-judge가 활용되었다.

3. 사례 연구 분석: 저자들은 과학자들이 에이전트와 협업하는 공개된 기록들(예: Gemini 3 Pro를 이용한 복잡성 이론 결과의 "바이브 코딩(Vibe-coding)", GPT-5를 이용한 물리 모델링 축소)을 분석하여 상호 증강 및 시너지의 패턴을 질적으로 설명한다.

4. 이론적 모델링: 저자들은 $U(H, A) = CA(H, A) - CD(H, A)$로 정의되는 HAS를 위한 토이 유틸리티 모델을 제안한다. 여기서 $CA$는 협업 이점(상보성)을,$CD$는 협업 비용(조정 비용)을 나타낸다.

주요 결과

• 피드백의 한계: 문헌 검토 결과, 대다수의 AI 과학자 시스템은 인간의 상호작용을 지속적이고 반복적인 협업보다는 감독 역할(범위 설정, 감사, 승인)로 제한하고 있다. 산출물 수준의 피드백이 가장 흔하며, 비동기적 조향이나 미세한 개입은 드물다.
• 에이전트 피드백 행동: 예비 실험에서, 단계별 지침이 없는 에이전트는 도움을 요청할 시점을 파악하지 못해 모호한 상황에서 종종 가정을 내리는 경 lập을 보였다. 모든 단계에서 질문하도록 강제했을 때, 지배적인 피드백 유형은 평가적(과업 중 발생)이었으며, 그 다음은 가이드형(사전 과업)이었다. 교정적 피드백은 거의 요청되지 않았다. 이는 현재의 에이전트들이 미세하고 교정적인 인간의 입력을 언제 구해야 하는지 스스로 조절하는 데 어려움을 겪고 있음을 시사한다.
• 위험 증거: 본 논문은 AI로 증강된 연구가 3배 더 많은 논문을 생산하면서도 탐구된 주제의 다양성은 5% 감소시킨다는 증거를 인용한다. 또한 환각(hallucination), 편향 확산, 그리고 숙의 과정을 외주화하는 주니어 연구자들의 "탈숙련화(de-skilling)" 가능성에 대한 위험을 강조한다.
• 시너지 패턴: 사례 연구는 인간이 개념적 프레이밍, 도메인 판단, 인식적 검증을 제공하고 에이전트가 구현과 초안 작성을 가속화할 때 효과적인 시너지가 발생함을 보여주었다. 그러나 이러한 시너지는 취약하다. 전문가의 감독이 없으면 에이전트는 조기 확신이나 복잡한 문제를 덮어버리는 등의 실패 모드를 보인다.

핵심 기여

1. 분석 단위의 재설정: 본 논문은 연구의 초점을 자율적인 "AI 과학자"에서 인간-에이전트 쌍을 분석 단위로 하는 **인간-에이전트 시스템(HAS)**으로 전환할 것을 주장한다.
2. 상호작용의 분류 체계: 피드백 채널(산출물, 단계, 계획, 비동기)과 차원(유형, 입도, 단계)을 바탕으로 현재의 AI 과학자 시스템에 대한 구조화된 범주를 제공하며, 깊고 반복적인 협업을 지원하는 시스템의 희소성을 밝힌다.
3. 위험 완화 프레임워크: HAS 렌즈가 환각, 편향, 과학적 전문성 침식 등의 근시적 위험을 완화하는 데 필수적이라고 상정한다. 이는 인간의 감독이 사후 검토로 격하되지 않고 발견 루프 내에 통합되도록 보장함으로써 가능하다.
4. 수학적 프레임워크 제안: 협업 이점을 극대화하고 조정 비용을 최소화하기 위한 가이드로서 유틸리티 모델($U = CA - CD$)을 도입한다.
5. 평가 경로: 저자들은 저비용 프록시(예: 검토 시간, 개입 밀도, 시뮬레이션된 오라클 시너지)에서 더 고비용의 센토르 평가(Centaur evaluations)(인간-에이전트 시스템을 인간 및 에이전트 단독 모델과 비교)로 나아가는 단계적 평가 전략을 제안하여, 인간-에이전트 시너지의 측정을 가능하게 한다.

의의 및 주장
본 논문은 AI 과학자를 HAS로 연구하는 것이 미개척 영역이자 저평가된 영역이라고 주장한다. 그 의의는 다음과 같다:

• 근시적 위험 완화: 인간의 참여를 중심에 둠으로써, HAS 렌즈는 자동화에 대한 과도한 의존으로 인해 발생할 수 있는 과학적 기술의 저하를 방지하고, 환각을 탐지하며, 편향을 막는 구체적인 경로를 제공한다.
• 시너지 창출: 진정한 과학적 돌파구는 인간과 에이전트가 결합하여 각각의 구성원이 단독으로 수행할 때보다 더 뛰어난 성과를 내는 "인간-에이전트 시너지"를 필요로 할 수 있음을 시사한다. 이는 완전히 자율적인 에이전트나 고립된 인간이 도달할 수 없는 상태이다.
• 실용적 연구 방향: 저자들은 HAS 렌즈를 채택하는 것이 안전하고 효과적인 인간-에이전트 공동 발견을 달야하기 위한 실용적인 경로라고 주장한다. 저자들은 에이전트를 고립된 최적화 솔버로 취급하는 대신, 과학적 발견에서의 인간-AI 시너지 역동성을 구체적으로 겨냥하는 수학적 프레임워크와 평가 지표를 개발할 것을 촉구한다.

본 논문은 HAS의 평가는 복잡하고 비용이 많이 들지만, 단계적 접근 방식을 통해 이러한 시스템의 효용성을 검증할 수 있으며, 궁극적으로 AI가 인간의 숙의를 대체하는 것이 아니라 증강하는 과학적 환경을 조성할 수 있다고 결론짓는다.