기술 요약: AI 에이전트는 과학적 결론을 합성할 수 있는가?

문제 정의

AI 에이전트는 의료와 같은 고위험 영역에서 증거를 검색하고, 출처 간의 추론을 수행하며, 결론을 합성하는 과업을 점점 더 많이 부여받고 있습니다. 그러나 이러한 에이전트가 장기적인(long-horizon) 과학적 결론 합성을 수행하는 데 있어 신뢰할 수 있는지는 여전히 불분명합니다. 기존의 벤치마크들은 중간 단계의 산출물(예: 검색, 인용 근거 제시, 단문 형태의 사실성)이나 객관식 질문에 초점을 맞추는 경우가 많아, 오픈 웹의 증거로부터 장문의 전문가 수준 결론을 생성하는 복잡성을 포착하지 못합니다. 또한, 현재의 평가 방식은 모델이 진정한 정보 합성이 아닌 정답 산출물(예: 특정 체계적 문헌고찰 논문)을 검색해내는 '벤치마크 누수(benchmark leakage)' 문제를 겪고 있으며, 이는 성능 수치를 부풀리는 결과를 초래합니다.

방법론

1. SCICONBENCH: 라이브 벤치마크

저자들은 전문가가 작성한 과학적 결론과 쌍을 이루는 9,107개의 질문으로 구성된 대규모 라이브 벤치마크인 SCICONBENCH를 소개합니다.

• 출처: 데이터는 근거 기반 합성의 "골드 스탠다드(gold standard)"인 코크란 체계적 문헌고찰 데이터베이스(CDSR)에서 추출되었습니다.
• 구성: 이 벤치마크는 CDSR의 "목적(Objectives)"을 PICO(대상 환자, 중재, 비교군, 결과) 프레임워크를 사용하여 임상적으로 근거 있는 질문으로 변환하며, "저자의 결론(Authors' Conclusions)"을 정답으로 사용합니다.
• 동적 특성: 정적 벤치마크와 달리, SCICONBENCH는 모델의 사전 학습 데이터로부터 발생하는 데이터 누수를 완화하기 위해 매월 새로운 CDSR 리뷰를 통해 업데이트됩니다.
• 검증: 생성된 질문들은 충실도, PICO 완결성, 명확성에 대해 의대생들의 검증을 거쳤으며, 높은 평가자 간 일치도를 달이트했습니다.

2. SCICONHARNESS: 클린룸 평가

누수 문제를 해결하기 위해 저자들은 통제된 평가 하네스인 SCICONHARNESS를 개발했습니다.

• 기능: 모델 컨텍스트 프로토콜(MCP)을 통해 에이전트에게 제어된 웹 도구(Google Search, Web Browse, Paper Search)를 제공합니다.
• 클린룸 프로토콜: 필터링 미들웨어가 모든 도구의 출력을 검사하여 정답 산출물에 대한 접근을 차단합니다. 이 미들웨어는 CDSR 도메인의 URL, "Cochrane"이 포함된 제목, 그리고 정답 리뷰의 발행일 이후에 게시된 콘텐츠를 필터링합니다. 이를 통해 벤치마크가 단순 검색이나 암기가 아닌, 합성 능력을 측정하도록 보장합니다.

3. 사실성 평가 파이프라인

저자들은 결론을 **원자적 사실(atomic facts)**로 분해함으로써 **사실적 정밀도(factual precision, 정확성)**와 **사실적 재현율(factual recall, 포괄성)**을 측정하는 파이프라인을 제안합니다.

• 분해: 결론은 모듈형 파이프라인(분해, 탈맥락화, 재작성, 관련성 필터링, 중복 필터링)을 사용하여 자립적인 원자적 사실들로 토큰화되고 분해됩니다.
• 지표:
  • 사실적 정밀도(Factual Precision): 생성된 사실들이 CDSR 리뷰에 의해 얼마나 뒷받침되는지, 그리고 모순되지 않는지를 측정합니다.
  • 사실적 재현율(Factual Recall): 생성된 결론이 CDSR 저자의 결론에 포함된 필수 사실들을 얼마나 포괄하는지를 측정합니다.
  • F1 점수: 정밀도와 재현율의 조화 평균입니다.
• LLM 판사: 확장을 위해 전문의가 주석을 달았던 골드 스탠다드 데이터셋을 바탕으로 훈련 및 검증된 전문가 검증 LLM 판사(gpt-5.4-mini)를 사용했습니다. 이 판사는 인간 전문가와 높은 일치도를 보였습니다.

주요 기여

1. SCICONBENCH: CDSR에서 유도된 오픈 도메인 과학적 결론 합성을 위한 대규모(9.11K 샘플) 라이브 벤치마크.
2. SCICONHARNESS: 정답 산출물을 차단함으로써 벤치마크 누수를 완화하고, 합성 능력을 유효하게 측정할 수 있도록 설계된 클린룸 평가 하네스.
3. 평가 파이프라인: 결론을 원자적 사실로 분해하여 사실적 정밀도와 재현율을 측정하며, 전문가의 판단과 강력한 정렬을 보여주는 전문가 검증 파이프라인.
4. 포괄적 감사: 8개의 프런티어 모델 및 딥 리서치 에이전트에 대한 평가와 더불어, 소비자용 에이전트(Google AI Overview, OpenEvidence)에 대한 감사 수행.

결과

모델 성능

클린룸 환경에서 8개의 프런티어 모델과 딥 리서치 에이전트를 SCICONBENCH로 평가한 결과, 심각한 한계가 드러났습니다.

• 낮은 사실적 품질: 가장 우수한 성능을 보인 에이전트인 o3-deep-research조차 클린룸 조건에서는 0.337이라는 낮은 사실적 F1 점수를 기록했습니다.
• 성능 저하: 클린룸 평가는 비제한 환경(unconstrained settings)에 비해 일관되게 낮은 성능을 보였습니다. 정답 산출물이 차단되었을 때 시스템 전반에서 F1 점수가 0.02에서 0.172만큼 하락했습니다. 이는 비제한 환경에서의 높은 성능 상당 부분이 진정한 합성보다는 정답 산출물을 검색하는 능력에서 기인함을 시사합니다.
• 오류 유형: 생성된 결론에는 빈번하게 모순이 포함되었으며(결론의 44.884.0%가 적어도 하나의 모순된 사실을 포함), 내용이 불완전했습니다(참조 사실의 55.484.7%를 누락).

소비자용 에이전트

배포된 소비자용 에이전트들에 대한 감사에서도 유사한 불신뢰성이 나타났습니다.

• Google AI Overview/Mode: 각각 0.384와 0.361의 F1 점수를 기록했으며, 높은 모순 발생률(56.3% 및 59%)을 보였습니다.
• OpenEvidence: 상대적으로 더 나은 성능(F1 = 0.522)을 보였으나, 여전히 50.8%의 결론에 모순된 사실이 포함되어 있었고 참조 사실의 51.7%만을 커버하는 등 심각한 문제를 보였습니다.

의의 및 주장

본 논문은 현재의 AI 에이전트들이 전문화된 딥 리서치 시스템일지라도, 과학적 결론을 신뢰성 있게 합성하는 것은 여전히 해결되지 않은 과제라고 주장합니다. 저자들은 다음 사항을 강조합니다:

• 클린룸 평가의 필수성: 누수를 방지하는 프로토콜 없이는 AI 에이전트의 실제 합성 능력을 과대평가하게 됩니다.
• 현재 시스템의 불충분함: 빈번하게 발생하는 불완전하고 모순된 결론 생성은 보건 및 정책 분야와 같은 고위험 의사결정 상황에서 위험을 초래할 수 있습니다.
• 미래 방향: 본 연구는 더욱 신뢰할 수 있고 투명하며, 증거에 기반한 결론을 도출할 수 있는 믿을 수 있는 과학적 합성 AI 에이전트를 개발하기 위한 토대를 제공합니다.

저자들은 본 벤치마크가 평가를 목적으로 하며, 현재 시스템의 실세계 고위험 의사결정 배포를 지지하는 것이 아님을 명시했습니다. 또한, 건강/과학 분야(CDSR 유도)에 집중했다는 점과 간접적인 웹 소스를 통한 잔여 누수 가능성을 한계로 언급하면서도, 본 연구의 결과가 신뢰할 수 있는 과학적 결론 합성을 위한 현재의 에이전트 역량과 요구사항 사이의 격차를 강력하게 드러낸다고 주장합니다.