BioSecBench-Function: A Verifiable Benchmark for Reasoning about Biological Function from Experimental Data

기술 요약: BioSecBench-Function

문제 정의
실험 데이터로부터 생물학적 기능을 추론하는 것은 신종 병원체를 이해하고 대응책을 개발하는 데 있어 매우 중요한 병목 구간입니다. 현재 이러한 해석 과정은 느리고 인간의 전문 지식에 크게 의존하는 특성을 보입니다. AI 에이전트는 서열, 구조 및 생물물리학적 데이터를 포함한 다양한 증거 유형을 가로질러 추론함으로써 이 워크플로우를 가속화할 잠재력을 가지고 있지만, 이러한 에이전트가 실제 생물학적 데이터셋으로부터 생물 보안과 관련된 기능을 안정적으로 복구할 수 있는지 평가할 수 있는 표준화되고 검증 가능한 프레임워크가 부족한 실정입니다.

방법론
이러한 격차를 해소하기 위해, 저자들은 실험 데이터로부터 생물학적 기능을 복구하는 작업에서 AI 에이전트를 평가하기 위해 설계된 검증 가능한 벤치마크인 BioSecBench-Function을 소개합니다. 이 벤치마크는 발표된 데이터셋을 기반으로 구축되었으며, 객관적인 평가를 보장하기 위해 기정사실(ground truth)에 대한 결정론적 채점 방식을 활용합니다.

평가 프레임워크는 다음 두 가지 주요 차원을 따라 구성됩니다:

1. 위협 축(Threat Axis): 생물 보안과 관련된 7가지의 뚜렷한 질문 유형으로 구성됩니다.
2. 생물학적 질문(Biological Question): 해결에 필요한 주요 데이터 양식(modality)에 따라 작업을 분류하며, 특히 서열 데이터, 구조 데이터 또는 생물물리학적 분석 데이터에 대한 의존성을 구분합니다.

이 벤치마크는 111개의 평가로 구성됩니다. 본 연구는 성능 변동성을 테스트하기 위해 22개의 서로 다른 모델-하네스(model-harness) 구성에 걸쳐 7,326회의 실행을 수행했습니다.

주요 결과
평가는 다음과 같은 성능 지표와 관찰 결과를 도출했습니다:

• 최고 성능 모델: 거절(refusals)을 실패로 간한 경우, Opus 5(Claude Code 하네스 환경)가 **50.3%**의 가장 높은 엔드포인트 통과율을 달성했습니다. Grok 4.6(Grok Build 하네스 환경)은 **44.1%**의 가장 높은 전체 통과율을 기록했습니다.
• 성능 변동성: 모델-하네스 구성 및 특정 작업 범주에 따라 성능에서 상당한 차이가 나타났습니다.
• 거절률: 거절률은 AI 제공업체에 따라 급격히 달랐습니다.
• 비용 대비 정확도: 연구 결과 비용은 정확도를 예측하는 불충분한 지표임이 밝혀졌습니다. 특히, 몇몇 구성은 낮은 비용으로 40% 이상의 통과율을 달성했습니다.

의의 및 주장
본 논문은 BioSecBench-Function을 고위험 생물학적 맥락에서 AI 에이전트의 신뢰성을 측정하기 위한 필수적인 표준으로 자리매김합니다. 이 연구의 주요 의의는 향후 발생할 수 있는 질병 발생 시, 에이전트가 새로운 병원체나 변이체의 기능적 함의를 해석하는 데 신뢰할 수 있는지 판단할 수 있는 메커니즘을 제공한다는 점에 있습니다. 실제 생물학적 데이터와 기정사실에 근거한 검증 가능한 벤치마크를 구축함으로써, 본 연구는 이론적 능력을 넘어 생물 보안 응용 분야에서의 실질적이고 측정 가능한 신뢰성을 확보하는 것을 목표로 합니다.