BiomniBench: Process-level Evaluation of LLM Agents for Real-world Biomedical Research

본 논문은 결과 중심 벤치마크의 한계를 극복하고 추론 및 방법 선택에서의 치명적 실패를 드러내기 위해 전문가가 설계한 평가 기준을 활용하여 실제 생물의학 연구 과제를 수행하는 LLM 에이전트를 평가하는 새로운 프로세스 수준의 평가 프레임워크인 BiomniBench를 제시합니다.

핵심

복잡한 퍼즐을 해결하기 위해 유망한 의학 발견을 기반으로 한 팀의 주니어 과학자들을 고용한다고 상상해 보세요. 과거에는 그들이 잘했는지 확인하기 위해 최종 답변만 살펴보았습니다. 정답을 맞히면 금색 별을 주었고, 틀리면 빨간 X 를 찍었습니다.

이 논문은 이러한 '최종 답변만' 보는 접근 방식이 두 가지 주요 이유로 결함이 있다고 주장합니다:

1. 운 좋은 추측: 학생이 과학을 이해했기 때문이 아니라, 해답을 암기했거나, 부정행위를 했거나, 단순히 운 좋게 맞혔기 때문에 정답을 맞출 수 있습니다.
2. 잘못된 길: 학생이 교사의 특정 방법과 다르지만, 훌륭하고 타당하며 창의적인 방식으로 문제를 해결할 수 있습니다. 옛 규칙 하에서는 교과서와 경로가 정확히 일치하지 않는다는 이유만으로 빨간 X 를 받게 됩니다.

이를 해결하기 위해 저자들은 BiomniBench를 개발했습니다. 이를 최종 시험이 아니라 학생의 전체 사고 과정을 상세히 검토하는 비디오 리뷰로 생각하세요. 최종 점수만 확인하는 대신, AI 에이전트가 어떻게 작동했는지 전체 과정을 살펴봅니다. 그들은 실제 인간 전문가들이 설계한 특별한 '평가 기준 (rubric)'을 사용하여 AI 가 취한 모든 단계를 채점함으로써, AI 가 실제로 생물학을 이해했는지 아니면 단순히 추측만 했는지를 확인합니다.

그들이 테스트한 내용:
그들은 BiomniBench-DA라는 특정 버전을 구축했는데, 이는 100 개의 다양한 운동 기구가 있는 체육관과 같습니다. 이러한 운동 기구들은 17 가지 유형의 데이터 분석, 5 가지 질병 영역, 그리고 일반 생물학을 다룹니다. 이러한 '운동'은 Nature, Cell, Science와 같은 최상위 저널의 실제 고위험 과학 논문들을 기반으로 합니다. 중요한 점은, 원래 논문을 작성한 사람들 (또는 이를 친밀하게 아는 전문가들) 이 공평하고 정확한 테스트가 되도록 설계에 참여했다는 것입니다.

그들이 발견한 내용:
그들은 이 새로운 시스템에 대해 가장 똑똑한 AI 모델들을 테스트했고 세 가지 큰 사실을 발견했습니다:

1. 가장 똑똑한 모델이 앞서 있지만, 여전히 배워야 함: 가장 진보된 AI 모델들이 가장 잘 수행하고 있지만, 완벽해지기까지는 아직 갈 길이 멉니다.
2. 도구가 뇌만큼이나 중요합니다: AI 모델이 얼마나 똑똑한지만 중요한 것이 아닙니다. '하네스 (AI 를 실행하는 데 사용되는 소프트웨어 래퍼 또는 도구)'가 모델 자체만큼이나 결과에 영향을 미칩니다. 마치 훌륭한 운전자가 고장 난 차를 몰면 여전히 사고를 낼 수 있는 것과 같습니다.
3. 구체적인 약점: AI 에이전트들은 세 가지 영역에서 일관되게 실수합니다: 사용할 올바른 방법을 선택하는 것, 생물학적 결과가 실제로 무엇을 의미하는지 이해하는 것, 그리고 진정한 과학적 추론으로 점들을 연결하는 것입니다.

요약하자면, BiomniBench는 단순한 '맞거나 틀리거나' 점수로는 완전히 놓칠 수 있는 실수를 드러내며, 실제 의학 연구에서 AI 의 '사고' 과정을 실시간으로 관찰할 수 있게 해주는 최초의 도구입니다.

기술 요약

기술 요약: BiomniBench

문제 제기
생물의학 연구 분야에서 대규모 언어 모델 (LLM) 에이전트를 평가하는 현재 방법은 결과만 평가하는 벤치마크에 지나치게 의존하고 있으며, 저자들은 이것이 엄격한 평가를 위해 근본적으로 불충분하다고 지적합니다. 이러한 전통적 지표는 두 가지 결정적인 방식으로 실패합니다. 첫째, 진정한 추론에서 도출된 올바른 최종 답변과 암기, 보상 해킹, 또는 확률적 우연에 기인한 답변을 구분하지 못합니다. 둘째, 단일 참조 솔루션과 다를 뿐인 유효한 대안적 분석 경로를 단순히 배제함으로써 이를 처벌합니다. 결과적으로 기존 평가는 과학적 과정의 미묘한 차이를 포착하지 못해 중요한 실패 모드를 미발견 상태로 방치합니다.

방법론
이러한 한계를 해결하기 위해 본 논문은 에이전트의 최종 출력뿐만 아니라 에이전트 행동의 전체 궤적을 전문가가 설계한 작업별 평가 기준 (rubrics) 에 따라 점수화하도록 설계된 프로세스 수준의 평가 프레임워크인 BiomniBench를 소개합니다.

이 프레임워크의 초기 구현체인 BiomniBench-DA는 다음과 같이 구성된 100 개의 데이터 분석 작업으로 이루어져 있습니다:

• 17 가지 분석 작업 유형
• 5 가지 질병 영역 및 일반 생물학 카테고리
• 소스 자료: 각 작업은 Nature, Cell, Science와 같은 최상위 저널의 영향력 높은 논문에서 기반을 둡니다.

중요하게도, 벤치마크 개발 과정에는 평가 기준과 작업의 타당성을 보장하기 위해 원래 논문의 저자 또는 경험 있는 분야 전문가와 직접 협력했습니다. 평가 방법론은 기본 모델의 영향과 에이전트 아키텍처의 영향을 분리하기 위해 4 가지 서로 다른 에이전트 하네스 (harness) 를 통해 최첨단 모델과 오픈 가중치 모델 모두를 벤치마크합니다.

주요 기여

1. 프로세스 수준 프레임워크: BiomniBench 는 실제 세계 생물의학 연구를 수행하는 AI 에이전트를 위한 최초의 프로세스 수준 벤치마크로 제시되어, 에이전트가 "무엇"을 답변하는지에 초점을 맞추는 것에서 "어떻게" 그 답변에 도달하는지에 초점을 맞추는 것으로 전환합니다.
2. 전문가 검증 데이터셋: 분야 전문가와 공동 개발된 100 개의 작업을 특징으로 하는 BiomniBench-DA 의 생성은 실제 과학적 탐구의 복잡성을 반영하는 고정밀 테스트베드를 제공합니다.
3. 포괄적 평가 프로토콜: 이 프레임워크는 에이전트의 전체 궤적을 점수화하여 결과만 평가하는 지표가 놓치는 추론 오류를 탐지할 수 있게 합니다.

결과
최첨단 모델과 오픈 가중치 모델을 대상으로 한 벤치마크는 세 가지 주요 발견을 도출했습니다:

1. 성능 격차: 최첨단 모델이 현재 성능에서 앞서 있지만, 개선에 상당한 여지가 남아 있어 현재 역량이 완전한 자율 연구를 수행하기에 아직 충분하지 않음을 나타냅니다.
2. 하네스 민감도: 에이전트 하네스 선택이 성능에 상당한 영향을 미치며, 하네스 아키텍처는 기본 모델 선택만큼 점수를 변화시킵니다.
3. 구체적 실패 모드: 에이전트는 방법 선택, 생물학적 해석, 과학적 추론이라는 세 가지 특정 영역에서 일관되게 미흡한 성과를 보입니다.

의의
본 논문은 BiomniBench 가 결과만 평가하는 평가에서는 탐지할 수 없는 LLM 에이전트의 실패 모드를 드러낸다는 점에서 중요하다고 주장합니다. 단순한 답변 검증을 넘어 과학적 과정에 대한 평가 기준 기반 평가로 나아가면서, 이 프레임워크는 에이전트가 생물의학 연구를 수행할 수 있는 능력을 더 엄격하고 현실적으로 측정하며, 이러한 시스템이 실제 세계 과학 환경에 신뢰성 있게 배포되기 전에 해결해야 할 구체적인 추론 및 해석 격차를 부각시킵니다.