기술 요약: OpenBioRQ

문제 정의

현재의 생물 의학 분야 에이전트 벤치마크는 대부분 기지(known)의 검증 가능한 정답 키가 존재한다고 가정한다. 이러한 가정은 결정적인 실패 모드를 은폐한다. 모델이 미리 지정된 출처를 그대로 흉내 낼 수 있다면, 검색된 논문이 실제로 자신의 주장을 뒷받침하는지 독립적으로 검증할 필요가 없기 때문이다. 결과적으로, 기존의 평가 방식은 "잘못된 논문" 인용(실제 존재하고 해결 가능한 식별자가 주장을 뒷받받하지 않는 논문을 가리키는 경우)과 "에이전트 붕괴(agentic collapse)"(어려운 질문에 직면했을 때 에이전트가 도구 사용을 포기하는 현상)를 감지하지 못한다. 또한, 표준적인 인용 감사(citation audit)는 단순히 참조의 존재 여부(PMID가 해결되는가?)에만 집중하여, 유효한 식별자를 근거 없는 주장과 연결하는 더 위험한 실패를 놓치고 있다.

본 논문은 평가 지형의 공백을 식별한다: 에이전트 설정(도구 사용 요구)과 미해결 질문(정답 키 없음)의 교차점이다. 정답 키 없이 벤치마크를 구축하는 것은 구조적으로 어렵기 때문에 이 영역은 미개척 영역으로 남아 있다. 정답 키가 없다면 질문이 진정으로 열려 있는 문제인지, 혹은 모델의 답변이 옳은지를 검증하기 어렵기 때문이다.

방법론

OpenBioRQ 벤치마크

OpenBioRQ는 12개 도메인에 걸친 12,553개의 미해결 생물 의학 연구 질문으로 구성된 검색 기반 벤치마크이다. 코퍼스는 크롤링(crawl), 추출(extract), 정제(refine), 중복 제거(deduplicate), 내보내기(export)의 5단계 파이프라인을 통해 구축된다.

• 출처: 질문은 PubMed, 임상시험 등록소, arXiv, James Lind Alliance Priority Setting Partnerships, NICE 연구 권고안, Cochrane 연구 격차 문헌 등 권위 있는 출처에서 추출된 '열린 문제(open problems)'를 프레임으로 한다.
• 개방성 검증(Openness Verification): 출처의 프레임에만 의존하는 기존 방식과 달리, OpenBioRQ는 **검색 기반 상태 검증기(retrieval-grounded status verifier)**를 사용한다. 이 시스템은 실제 후속 증거(예: 인용 논문, 임상 시험 결과)를 수집하여 해당 질문이 여전히 미해결 상태인지 재판단한다. 핵심 세트에 대한 재감사 결과, 657개 질문 중 해결된 사례는 0건이었다.
• 경험적 난이도(Empirical Difficulty): 난이도는 수동으로 라벨링되지 않고 경험적으로 도출된다. 세 가지 오픈 웨이트 모델(GLM-5.1, Qwen3.6, DeepSeek-V4)의 '로스터(roster)'가 모든 질문을 시도한다. 세 모델 모두 실패(점수 < 0.5)할 경우에만 해당 질문을 **핵심(core)**으로 라벨링한다. 동결된 핵심(frozen core) 423개 질문은 결정론적 디코딩($T=0$) 하에서도 세 모델 모두가 실패한 질문으로 정의된다.
• 평가 프로토콜:
  • 에이전트 하네스(Agentic Harness): 모델은 최대 10라운드의 추론 및 도구 호출 과정을 통해 10개의 생물 의학 REST API(예: PubMed, ClinicalTrials.gov, OpenFDA)와 상호작용한다.
  • 동결된 체크리스트 점수 산정(Frozen Checklist Scoring): 자유 형식의 LLM 판정 대신, 한 번 생성되어 고정된 질문별 동결 체크리스트를 기준으로 각 질문을 채점한다. 기준에는 "반드시 언급해야 함", "불확실성을 인정해야 함", "근거를 제시해야 함", "피해야 함(조작 방지)" 등이 포함된다. 이를 통해 상호 판정 일치도(Spearman)를 0.35에서 0.82로 높였다.
  • 2단계 인용 감사(Two-Level Citation Audit):
    • L1 (존재성): 식별자가 실제 논문으로 해결되는가?
    • L2 (내용 지원): 해결된 논문이 실제로 주장을 뒷받침하는가?

주요 기여

1. 최초의 에이전트 × 미해결 벤치마크: OpenBioRQ는 에이전트 설정과 정답 키가 없는 미해결 질문을 결합한 최초의 생물 의학 벤치마크로, 과업을 충실성(faithfulness)과 절제(abstention)를 측정하는 프로브로 취급한다.
2. 2단계 인용 감사: 본 논문은 인용의 존재성과 인용의 지원을 구분하는 엄격한 감사를 도입한다. 이를 통해 생물 의학 에이전트가 식별자를 조작하는 경우는 드물지만(L1 실패율 $\approx 0.7\%$), 실제 논문을 근거 없는 주장에 연결하는 경우는 빈번함(L2 실패율 $\approx 15.9\%$)을 밝혀냈다.
3. 에이전트 붕괴 관찰: 가장 어려운 질문에서 에이전트가 도구 사용을 완전히 중단하고 매개변수적 암송(parametric recitation)으로 회귀하는 실패 모드(제로-도구 붕괴)를 포착했다.
4. 경험적 난이도 구축: 인간의 난이도 라벨 없이 모델의 실패율을 사용하여 '핵심' 세트를 정의함으로써, 모델이 발전하더라도 벤치마크가 포화되지 않도록 유지하는 방법을 입증했다.

결과

인용 충실성(Citation Faithfulness)

• 존재성이 곧 정확성은 아니다: 4,863개의 인용 사례를 조사한 결과, 99.3%가 실제 논문으로 해결되었다. 그러나 이 중 **15.9%**는 "잘못된 논문"(주장을 뒷받침하지 않음)이었다. 이 비율은 독립적인 판정 모델군(Opus-4.7)에 의해 10.6%로 확인되었다.
• 심각성 격차: 저자들은 잘못된 논문 인용이 조작된 인용보다 더 위험하다고 가설을 세운다. 왜냐하면 해결 가능한 식별자가 해당 주장에 거짓 권위를 부여하기 때문이다.

에이전트 성능

• 비포화적 난이도(Non-Saturating Difficulty): 가장 강력한 프런티어 에이전트들(Gemini-3-Pro, Opus-4.7, GPT-5.5)조차 동결된 핵심 세트의 **29–60%**만을 해결한다. 최상의 에이전트도 약 33–40%의 질문을 해결하지 못하며, 이는 벤치마크가 변별력을 갖추고 있으며 포화되지 않았음을 나타낸다.
• 에이전트 붕괴: 가장 어려운 질문에서 GLM-5.1 및 DeepSeek-V4와 같은 모델은 높은 제로-도구 비율(각각 65% 및 62%)을 보인다. GLM-5.1에 대한 노-도구(no-tool) 절제 실험 결과 성능 저하가 없었으며, 이는 도구가 꼭 필요한 시점에 오히려 효용을 다하고 있음을 시사한다.
• 폐쇄형 QA와의 괴리: 모델들이 폐쇄형 벤치마크(예: MedQA, 성능 차이가 3.9포인트에 불정)에서는 밀집된 양상을 보이는 것과 달리, OpenBioRQ에서는 넓은 분산(해결률에서 7.6배 차이)을 보인다. 이는 현재 평가 지표의 해상도 격차를 드러낸다.

견고성(Robustness)

• 판정 모델 독립성: 결과는 판정 모델군 교체(GLM vs. Opus)에도 견고하며, 해결률 변화는 4.1포인트 이내이고 모델 순위가 유지된다.
• 도메인 커버리지: 벤치마크는 12개 도메인을 포괄하며, 동결된 핵심 세트가 전 도메인에 분포되어 있어 결과가 특정 도메인에 국한된 인위적 결과가 아님을 보장한다.

의의 및 주장

본 논문은 OpenBioRQ가 연구 보조(특히 증거 검색 및 충실한 인용)를 목표로 하며, 임상 의사 결정 지원이 아님을 명시한다. 주요 의의는 생물 의학 에이전트 시스템의 결정적인 신뢰성 격차를 폭로하는 데 있다: 즉, 실제 존재하고 해결 가능한 인용을 근거 없는 주장에 부착하는 경향이다.

저자들은 **존재성 확인은 "가짜 안도감(false comfort)"**이라고 주장한다. 생물 의학에서 지배적인 실패 모드는 (수학 영역에서처럼) 참조를 조작하는 것이 아니라, 실제 참조를 잘못 속성을 부여하는 것이다. 따라서 L1 존재성이 아닌 L2 내용 지원이 신뢰성의 가드레일이 되어야 한다.

나아가, 본 논문은 가장 어려운 질문에서 에이전트가 도구 사용을 멈추는 구조적 실패인 에이전트 붕괴를 강조하며, 이로 인해 도구 증강 벤치마크가 해당 영역에서 진정한 능력을 측정하는 데 효과적이지 않을 수 있음을 지적한다. 정답 키를 제거함으로써, OpenBioRQ는 에이전트가 표준적인 폐쇄형 QA에서는 보이지 않는 행동인 '근거 제시'와 '교정된 절제(calibrated abstention)'를 입증하도록 강제한다.

본 벤치마크는 라이브 생물 의학 문헌 및 API 응답의 가변성에도 불구하고 재현성을 보장하기 위해 동결된 아티팩트(423개 핵심 질문 리스트와 도구 응답 재생 캐시) 형태로 공개된다. 저자들은 이 리소스가 문헌 근거 평가를 위한 것이며 환자 진료를 가이드하는 용도로 사용되어서는 안 된다고 명시적으로 밝히고 있다.