기술 요약: 멀티모달 소스로부터의 과학적 큐레이션을 위한 에이전트 하네스 구축

문제 정의

과학적 발견 워크플로우는 점점 더 비정형 문헌을 정규화된 구조적 기록으로 변환하여 다운스트림 분석(특히 신약 개발과 같이 증거 집약적인 영역)에 활용하는 것에 의존하고 있습니다. 그러나 현재의 자동화된 접근 방식은 멀티모달 소스로부터의 과학적 큐레이션을 수행하는 데 어려움을 겪고 있습니다. 핵심 과제는 주요 증거가 긴 텍스트, 조밀한 표, 그리고 도표 전반에 걸쳐 흩어져 있다는 점입니다. 표준적인 문서 질의응답(QA) 작업과 달리, 단일 큐레이션 기록을 구축하기 위해서는 다음과 같은 과정이 필요합니다:

• 교차 모달 추론(Cross-modal reasoning): 텍스트 방법론에 기술된 중재(interventions)를 표나 그래프에 보고된 결과와 연결하는 것.
• 정규화(Normalization): 엔드포인트, 단위, 값 및 샘플 수를 타겟 스키마에 맞게 표준화하는 것.
• 출처 추적(Provenance tracking): 추출된 각 값을 특정 소스 증거로 다시 감사(audit)하는 것.

기존 벤치마크는 경량 추출(예: 표 탐지 또는 클레임 검증)이나 단일 모달리티 작업에 집중하는 경우가 많으며, 풍부한 프로덕션 스타일의 스키마로 전체 논문을 큐레이션하는 복잡성을 포착하지 못합니다. 더욱이, 최첨단(frontier) 에이전트 단독으로는 이러한 환경에서 취약성을 보이며, 고수준의 메타데이터는 잘 회복하지만 복잡한 시각적 증거로부터 도출되는 고가치의 정량적 속성(quantitative attributes)을 추출하는 데는 실패하곤 합니다.

방법론: 비버(Beaver) 하네스

저자들은 출처(provenance)를 보존하면서 과학 논문으로부터 구조화된 정보를 추출하도록 설계된 에이전트 하네스인 Beaver를 소개합니다. Beaver는 베이스 모델의 개선에만 의존하는 대신, 하네스 자체를 반복적 최적화의 대상으로 취급합니다. 이 시스템은 상호작용하는 세 가지 구성 요소를 통합합니다:

1. 멀티모달 증거 도구 (Multimodal Evidence Tooling)

Beaver는 베이스 에이전트가 과학적 증거에 대한 접근성을 높일 수 있도록 보조 도구 세트($U$)를 제공합니다:

• Paper-to-Markdown 변환: 논문을 개요 및 섹션 수준의 마크다운 파일로 변환하여 긴 문서의 탐색을 용이하게 합니다.
• 파싱된 표 뷰어 (Parsed Table Viewer): 에이전트가 구조화된 표 데이터를 읽을 수 있게 합니다.
• 보정된 그리드라인 오버레이 (Calibrated Gridline Overlay): 도표 위에 그리드라인을 겹쳐 놓음으로써 에이전트가 플롯에서 정량적 값을 읽고, 피규어로부터 정밀한 수치 데이터를 회복할 수 있도록 하는 도구입니다.

2. 태스크 스캐폴딩 (Task Scaffolding)

Beaver는 단일 패스(single-pass) 추출 대신, 큐레이션 작업을 순차적이고 제어 가능한 단계($k \in \{1, \dots, K\}$)로 분해합니다. 각 단계는 이전 단계의 속성을 확장하는 누적 테이블 $\hat{Y}^{(k)}$를 예측합니다. 각 단계의 워크플로우는 다음을 포함합니다:

• 관련 문서, 표, 피규어의 전처리.
• 후보 증거로의 탐색.
• 멀티모달 추론 및 어노테이션 수행.
• 출처 추적을 포함한 값 추출.
• 엔티티 및 단위 정규화.
• 출력물 검토 및 정제.

이러한 분해는 모호성을 줄이고, 탐색 공간을 좁히며, 단계별로 국소화된 실패 진단을 가능하게 합니다.

3. 아티팩트 기반 자율 연구 (Artifact-Grounded Autoresearch)

Beaver는 지속적인 파일 시스템 아티팩트를 사용하여 하네스($H_t$)를 반복적으로 개선하는 2단계 최적화 루프(Algorithm 1)를 채택합니다:

• 외부 루프 (Outer Loop): 개발 세트에서 현재 하네스를 평가하고, 성능을 단계별로 분해하며, 가장 성능이 낮은 단계($k^*$)를 식별합니다.
• 내부 루프 (Inner Loop): 로그, 궤적(trajectories), 출처 추적을 포함하는 단계별 워크스페이스를 초기화합니다. 이는 타겟 패치(스캐폴드, 도구 또는 프롬프트의 변경 사항)를 제안하고, 이를 적용한 후 해당 단계를 재실행합니다.
• 선택 (Selection): 새로운 아티팩트와 성능 지표를 바탕으로, 수정된 버전이 새로운 최적의 하네스로 수용될지 혹은 폐기될지를 결정합니다. 이 프로세스는 개선 사항이 증거에 근거하도록 보장하며, 실패한 패치가 누적되지 않도록 합니다.

주요 기여

1. 새로운 벤치마크: 저자들은 알츠하이머병에 관한 425개의 전문 큐레이션된 PubMed 논문 코퍼스를 사용하여 멀티모달 과학 큐레이션을 위한 벤치마크를 구축했습니다. 이 벤치마크는 풍부한 스키마(400개 이상의 속성)를 특징으로 하며, 전문가가 큐레이션한 참조 데이터(gold reference data)를 포함하고, 텍스트, 표, 피규어 전반에 걸친 긴 호흡의 추출을 요구합니다.
2. Beaver 하네스: 멀티모달 도구, 태스크 스캐폴딩, 아티팩트 기반 자율 연구를 결합한 새로운 아키텍처입니다.
3. 하네스 설계에 대한 경험적 증거: 본 연구는 복잡한 과학적 큐레이션의 경우, 에이전트 하네스의 구성이 베이스 모델의 선택보다 성능을 결정하는 핵심 요소임을 입증합니다.

결과

실험은 골드 레퍼런스 속성 점수(GRAS, Gold-Referenced Attribute Score)를 사용하여 23개의 전체 논문에 대해 수행되었습니다. GRAS는 골드 큐레이션 기록과의 일치도를 나타내는 속성 수준의 측정치입니다.

• 성능: Beaver는 **81.0%**의 GRAS를 달성하였으며, 이는 가장 강력한 최첨단 에이전트 베이스라인들(Codex, Claude Code, Copilot CLI, Meta-Harness)보다 23 절대 포인트 이상 높은 수치입니다 (예: Codex는 58.6% 기록).
• 절제 연구 (Ablation Studies): 핵심 구성 요소를 제거했을 때 성능이 크게 저하되었습니다:
  • 태스크 스캐폴딩 미사용 시: 60.5% (가장 큰 하락폭, 단계별 워크플로우의 필요성 입증).
  • 멀티모달 증거 도구 미사용 시: 66.1% (원시 시각적 추론의 어려움 강조).
  • 출처 추적 미사용 시: 70.7% (추적이 자율 연구 루프의 디버깅 및 정제에 도움이 됨을 보여줌).
• 컴퓨팅-성능 트레이드오프: Beaver는 다른 자율 연구 변체들과 유사한 토큰 예산 내에서 가장 높은 정확도를 달성하며 경험적 파레토 프런티어(Pareto frontier)에 위치합니다. 태스크 스캐폴딩이 없는 변체들은 상당한 컴퓨팅 자원을 소비했음에도 불구하고 대등한 성능에 도달하지 못했으며, 이는 구조화되지 않은 에이전트의 노력은 비효율적임을 시사합니다.
• 속성 수준 분석: 가장 큰 이득은 교차 모달 추론이 필요한 고가치 속성(예: endpoint.unit, value, percentchange)에서 관찰되었으며, 이는 하네스가 멀티모달 추출의 특정 병목 현상을 효과적으로 해결하고 있음을 확인시켜 줍니다.

의의 및 주장

본 논문은 하네스 설계가 멀티모달 소스로부터의 과학적 큐레이션을 위한 에이전트 성능의 핵심 결정 요인이라고 주장합니다. 저자들의 논지는 다음과 같습니다:

• 과학적 큐레이션은 문서 탐색, 증거 정렬, 감사 가능성을 요구하는 "롱 호라이즌(long-horizon)" 에이전트 작업이며, 표준적인 최첨단 에이전트는 이를 단일 패스로 신뢰성 있게 실행할 수 없습니다.
• 주변 하네스, 즉 멀티모달 도구의 제공, 태스크의 단계적 분해, 그리고 아티팩트 기반 피드백 루프의 활용은 강력한 베이스 에이전트를 매우 효과적인 큐레이션 시스템으로 변모시킬 수 있습니다.
• **감사 가능성(Auditability)**은 필수적입니다: 출처 추적의 포함과 단계별 국소 실패를 진단할 수 있는 능력은 단순히 선택적인 기능이 아니라 책임 있는 에이전트 큐레이션을 위한 필수 요소입니다. 정규화된 기록의 오류는 다운스트림의 과학적 결정에 영향을 미칠 수 있기 때문입니다.

이 연구는 향후 과학적 AI의 발전이 단순히 베이스 모델을 확장하는 것이 아니라, 복잡한 멀티모달 증거를 관리하고 근거 있는 진단을 통해 스스로 교정할 수 있는 특화된 반복적 하네스를 개발하는 데 달려 있음을 시사합니다.