1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 과 멀티모달 에이전트의 발전으로 인해 과학적 발견을 자동화하려는 시도가 증가하고 있습니다. 그러나 기존 연구들은 주로 정적인 질문 답변 (QA), 코드 생성, 또는 단순한 웹 작업에 집중해 왔습니다. 실제 과학 연구는 다음과 같은 복잡한 특성을 가지고 있어 기존 에이전트 평가 벤치마크로는 부족합니다.

• 복잡한 과학 소프트웨어: ChimeraX, Celestia, GrassGIS 등 전문적인 도구를 사용하며, 이들 도구는 복잡한 I/O 형식과 GUI/CLI 인터페이스를 가집니다.
• 실제 워크플로우: 과학 연구는 가설 수립, 시뮬레이션 실행, 데이터 분석, 결과 시각화, 보고서 작성 등 여러 단계를 거치는 동적이고 긴 과정입니다.
• 평가의 한계: 기존 벤치마크는 실행 기반의 정밀한 평가가 어렵거나, 실제 운영체제 (OS) 환경에서의 상호작용을 충분히 반영하지 못합니다.

따라서, 실제 과학 연구 환경에서 컴퓨터를 사용하는 에이전트 (Computer-Using Agents) 가 인간처럼 OS 와 상호작용하며 복잡한 과학적 작업을 수행할 수 있는지 평가할 수 있는 현실적인 환경과 벤치마크가 필요했습니다.

2. 방법론 (Methodology)

저자들은 SCIENCEBOARD라는 새로운 환경과 벤치마크를 제안했습니다.

A. SCIENCEBOARD 환경 (Environment)

• 인프라: Ubuntu 가상 머신 (VM) 기반의 확장 가능한 프레임워크입니다.
• 소프트웨어 통합: 6 가지 과학 분야 (생화학, 대수학, 정리 증명, 지리 정보 시스템, 천문학, 과학 문서 작성) 에 해당하는 오픈소스 전문 소프트웨어 (ChimeraX, KAlgebra, Lean 4, GrassGIS, Celestia, TeXstudio) 를 통합했습니다.
• 상호작용 모드: 에이전트가 GUI(마우스/키보드) 와 CLI(명령어) 를 모두 사용하여 소프트웨어와 상호작용할 수 있도록 지원합니다.
• 정밀한 평가 시스템:
  • 각 소프트웨어의 내부 상태 (Internal State) 를 HTTP 를 통해 추출할 수 있도록 약간의 서버를 주입하거나 소스 코드를 수정했습니다.
  • 작업 완료 여부를 단순히 텍스트 매칭이 아닌, VM 의 내부 상태 (예: 분자 구조의 좌표, 천체의 위치, 증명 코드의 컴파일 성공 여부) 를 기반으로 정밀하게 평가합니다.

B. 벤치마크 구성 (Benchmark)

• 작업 수: 인간 전문가 (과학적 배경을 가진 어노테이터) 가 엄격하게 검증한 169 개의 고유한 실제 과학 작업으로 구성되었습니다.
• 작업 유형:
  • 난이도: Easy (53.8%), Medium (28.4%), Hard (16.6%), Open Problems (1.2%).
  • 상호작용: GUI 전용, CLI 전용, GUI+CLI 혼합.
  • 평가 지표: 정확한 매칭, 범위 기반 평가, 수치적 허용 오차, 파일 비교 등 다양한 기준을 적용했습니다.

C. 실험 설정

• 모델: GPT-5, Gemini-2.5-Pro, Claude-3.7-Sonnet 등 최신 상용 모델과 Qwen2.5-VL, InternVL3 등 오픈소스 모델, 그리고 UI-TARS, OS-Atlas 등 GUI 전용 액션 모델을 포함하여 평가했습니다.
• 관찰 모드: 텍스트만 (a11ytree), 이미지만 (스크린샷), 텍스트+이미지 (Hybrid), Set-of-Marks (SoM) 등 다양한 관찰 설정에서 성능을 측정했습니다.

3. 주요 기여 (Key Contributions)

1. SCIENCEBOARD 환경 및 벤치마크 출시: 과학적 발견 워크플로우를 시뮬레이션하는 최초의 현실적인 컴퓨터 환경과 169 개의 고난도 태스크를 공개했습니다.
2. 정밀한 실행 기반 평가 (Execution-based Evaluation): 과학 소프트웨어의 내부 상태를 직접 모니터링하여 작업의 정확성을 검증하는 새로운 평가 파이프라인을 제시했습니다.
3. 포괄적인 성능 분석: 최신 SOTA 모델들을 대상으로 한 광범위한 평가를 통해, 현재 컴퓨터 사용 에이전트들이 과학적 작업을 수행하는 데 있어 여전히 심각한 한계가 있음을 입증했습니다.

4. 실험 결과 (Results)

• 낮은 성공률: 모든 모델과 관찰 설정을 통틀어 에이전트의 평균 성공률은 **약 20%**에 불과했습니다. 가장 유리한 하위 카테고리에서도 20% 를 넘지 못했으며, 일부 영역 (GIS, 천문학 등) 에서는 0% 에 가까운 성능을 보였습니다.
  • 참고: 인간 전문가의 성공률은 약 60.27% 로, 에이전트와 인간 간의 격차가 매우 큽니다.
• 모델별 성능:
  • 상용 모델 (GPT-5, Gemini-2.5-Pro): 평균 20% 내외의 성공률을 보였으나, 복잡한 시각적 요소가 많은 GIS 나 천문학 영역에서는 성능이 급격히 저하되었습니다.
  • 오픈소스 모델: 전반적으로 상용 모델보다 성능이 낮았으며, 평균 성공률은 12% 미만이었습니다.
  • 관찰 모드의 영향: Screenshot + a11ytree (이미지 + 접근성 트리) 조합이 가장 좋은 성능을 보였습니다. 순수 이미지 (Screenshot) 만으로는 시각적 노이즈로 인해 성능이 떨어지는 경우가 많았습니다.
• 계산 확장 (Compute Scaling) 의 한계: 추론 시간을 늘리거나 (max_tokens 증가), 고도화된 추론 모드 (Reasoning Effort) 를 사용하더라도 성능이 일부 개선되기는 했으나, 근본적인 한계를 해결하지는 못했습니다. 이는 문제의 핵심이 '추론 능력'이 아니라 '정밀한 시각적 위치 파악 (Grounding)'과 '구체적인 행동 실행'에 있음을 시사합니다.
• 플래너 - 액션 분리 (Disentangled Planning and Action): GPT-4o 를 플래너로, 전용 GUI 액션 모델을 그리ounder 로 사용하는 모듈러 방식이 단일 모델보다 성능을 크게 향상시켰습니다.

5. 의의 및 결론 (Significance)

• 현실적인 평가 기준 제시: 과학적 발견을 위한 AI 에이전트 개발에 있어, 단순한 지식 테스트가 아닌 실제 소프트웨어 조작 능력을 평가할 수 있는 표준을 마련했습니다.
• 향후 연구 방향 제시:
  • 도메인 지식과 에이전트 능력의 조화: 과학적 추론 능력과 전문 소프트웨어 사용 능력을 동시에 갖춘 에이전트 개발이 필요함을 강조했습니다.
  • 모듈러 아키텍처: 계획 (Planning) 과 실행 (Action) 을 분리한 협업형 멀티에이전트 시스템이 복잡한 과학 워크플로우를 해결하는 유망한 대안임을 보였습니다.
  • GUI 능력 강화: 현재 에이전트들의 가장 큰 병목 현상은 복잡한 과학 소프트웨어의 GUI 요소를 정확하게 인식하고 조작하는 능력임을 지적했습니다.

결론적으로, SCIENCEBOARD는 AI 가 과학자의 조력자 (AI Co-scientist) 로서 실질적인 역할을 하기 위해서는 아직 갈 길이 멀지만, 이를 위한 구체적인 평가 기준과 개선 방향을 제시했다는 점에서 의의가 큽니다.