기술 요약: ABC-Bench: 생물 보안을 위한 에이전트 기반 바이오 역량 벤치마크

문제 정의

대규모 언어 모델(LLM)과 생물학적 AI 모델은 문헌 합성부터 실험 데이터 해석에 이르기까지 생물학적 연구와 관련된 역량을 빠르게 습득하고 있습니다. 이러한 발전은 과학적 발견의 기회를 제공하는 동시에, 생물 보안 위험의 지형을 변화시키고 있습니다. 특히, "AI 에이전트"(소프트웨어 도구와 실행 환경이 증강된 LLM)는 과거 숙련된 인간 생물학자가 필요했던 복잡하고 엔드 투 엔드(end-to-end) 방식의 생물학적 과업을 수행할 수 있을 만큼 점점 더 능숙해지고 있습니다.

워터마킹, 언러닝(unlearning), 핵산 합성 스크리닝과 같은 기존의 생물 보안 안전장치는 관련 AI 역량을 확신 있게 측정할 수 있는 능력에 의존합니다. 그러나 기존의 생물학 벤치마크는 주로 단답형이나 객관식 질문을 통해 지식을 테스트합니다. 이는 생물정보학 패키지를 자율적으로 사용하고, 데이터를 분석하며, 실험실 자동화를 제어하기 위한 소프트웨어를 작성할 수 있는 현대적 에이전트의 역량을 포착하지 못합니다. 따라서 AI가 악의적인 행위자가 유해한 생물학적 개체를 설계하는 데 도움을 줄 수 있는 이중 용도(dual-use) 위험, 즉 "에이전트 기반 바이오 역량"을 측정할 수 있는 벤치마크가 절실히 필요합니다.

방법론

저자들은 선의의 목적과 이중 용도 생물학 과업 모두를 평가하기 위해 설계된 에이전트 기반 바이오 역량 벤치마크인 ABC-Bench를 소개합니다. 이 벤치마크는 일곱 가지 설계 원칙을 바탕으로 구축되었습니다: 이중 용도 역량 측정, 도구 접근 권한을 가진 에이전트로서의 AI 테스트, 다양한 역량 및 위험 체인 평가, 객관적/재현 가능한 점수 산정, 고처리량 평가 지원, 그리고 정밀하게 규정된 인간 기준점(baseline) 포함.

벤치마크 과업

ABC-Bench는 유해한 DNA 서열을 획득하기 위한 잠재적 경로의 각 단계에 해당하는 세 가지 특정 과업으로 구성됩니다:

1. 단편 설계 (Fragment Design): 에이전트가 짧은 DNA 단편을 설계하기 위해 Python 코드를 작성해야 하는 인실리코(in silico) 과업입니다. 이 단편들은 상업적 합성 업체로부터 주문하기에 적합해야 하며, Gibson Assembly를 통해 표적 서열로 조립될 수 있어야 합니다.
2. 스크리닝 회피 (Screening Evasion): 에이전트가 일반적인 핵산 합성 스크리닝(NASS) 방법을 회피할 수 있는 짧은 DNA 단편을 설계해야 하는 창의적 아이디어 생성 과업입니다. 에이전트는 원래의 표적 서열로 재구성될 수 있도록 보장하면서도, 탐지를 피하기 위해 서열을 은닉해야 합니다.
3. 액체 핸들링 로봇 (Liquid Handling Robot): Gibson Assembly 프로토콜을 수행하기 위해 OpenTrons OT-2 액체 핸들링 로봇용 Python 스크립트를 작성해야 하는 자동화 과업입니다. 이 과업은 물리적 하드웨어를 제어하는 실행 가능한 코드로 생물학적 프로토콜을 변환하는 에이전트의 능력을 평가합니다.

평가 프로토콜

• AI 에이전트: 벤치마크는 Python REPL, Bash, Bio-coding 라이브러리, 웹 검색, OpenTrons 시뮬레이터와 같은 도구에 접근할 수 있는 에이전트 스캐폴드 내에서 8개의 프런티어 모델(Claude Sonnet 4, Claude Opus 4, Gemini 3.1 Pro Preview, GPT-5.4, Qwen3.5, Kimi K2.5 포함)을 평가하는 데 사용되었습니다.
• 인간 기준점 (Human Baselines): 성능을 맥락화하기 위해 저자들은 12~13명의 전문가(분자/계산 생물학 박사 학위 및 2년 이상의 Python 경험 보유)를 모집했습니다. 이들에게는 과업당 5시간의 시간이 주어졌으며, 과업당 200달 달러의 보상이 지급되었고, AI의 도움을 방지하기 위한 엄격한 모니터링이 이루어졌습니다.
• 점수 산정: 과업은 사전 지정된 기준(예: 코드 실행 성공 여부, 정확한 시약 부피, 성공적인 조립 등)에 따라 알고리즘 방식으로 점수가 매겨졌습니다. 거부율(refusal rates)도 추적되었습니다.
• 습식 실험 검증 (Wet-Lab Validation): 액체 핸들링 로봇 과업의 경우, OpenTrons Flex 로봇과 NEBuilder® Hi-Fi DNA Assembly 키트를 사용하여 특정 검증 실험이 수행되었습니다. 시각적 데크 레이아웃과 벤더 지침을 바탕으로 생성된 모델(GPT-o4-mini-high)의 스크립트가 실행되어 물리적 DNA 조립을 생성하였으며, 이는 전플라스미드 시퀀싱(whole-plasmid sequencing)을 통해 검증되었습니다.

주요 결과

• 인간 기준점 대비 우월성: 테스트된 모든 프런티어 AI 에이전트는 세 가지 과업 모두에서 중간값의 인간 전문가 기준점을 능가했습니다.
  • 액체 핸들링 로봇: Claude Sonnet 4.6 및 Gemini 3.1 Pro Preview와 같은 모델은 모든 실행에서 완벽한 점수(1.00)를 달당했습니다. 인간 기준점의 중간값은 0.20 ± 0.09였습니다.
  • 단편 설계: Claude Opus 4.6은 완벽한 점수(1.00)를 기록했습니다. 인간 기준점의 중간값은 0.33 ± 0.12였습니다.
  • 스크리닝 회피: 모델들이 가장 약한 모습을 보였으며, 점수는 0.39에서 0.78(Gemini 3.1 Pro Preview) 사이였습니다. 인간 기준점의 중간값은 0.22 ± 0.07이었습니다. 특히, Claude Opus 4.6과 GPT-5.4를 포함한 여러 모델은 이 과업의 이중 용도 특성 때문에 모든 샘플에 대해 거부(refusal)를 나타냈습니다.
• 성능 특성: 에이전트들은 발표된 지식과 잘 문서화된 프로토콜(단편 설계, 액해 핸들링)에 기반한 과업에서 높은 숙련도를 보였습니다. 모델의 성능은 새로운 생물정보학적 추론과 원리의 창의적 적용을 요구하는 과업(스크리닝 회피)에서 하락했습니다.
• 습식 실험 검증: 세 번의 독립적인 실험에서 GPT-o4-mini-high는 완전한 Gibson Assembly 워크플로우를 실행하는 기능적인 OpenTrons 스크립트를 성공적으로 생성했습니다. 세 번의 실험 모두 시퀀싱을 통해 확인된 성공적인 DNA 조립 결과를 낳았습니다. 모델은 오류 메시지가 제공되었을 때 단 한 번의 반복(iteration)만으로 API 구문 오류(예: 실험 기구 식별자)를 수정했습니다.
• 거부율: 거부율은 크게 달랐습니다. 스크리닝 회피는 가장 높은 거부율(일부 모델에서 최대 100%)을 유발하여 안전 정렬 메커니즘이 활성화되어 있음을 보여주었습니다. 액체 핸들링 로봇은 최소한의 거부를 보였습니다.

의의 및 주장

본 논문은 ABC-Bench가 단순한 지식 검색을 넘어 실질적이고 다단계적인 생물학적 과업의 실행을 평가하는 최초의 엄격한 에이전트 기반 생물 보안 벤치마크를 제공한다고 주장합니다.

• 역량 평가: 결과는 에이전트 기반 생물학적 역량이 매우 정교하다는 명확한 증거를 제공합니다. 프런티어 AI 에이전트는 DNA 단편을 설계하고 실험실 자동화를 제어하는 데 있어 전문가 수준의 인간 성능과 일치하거나 이를 능가할 수 있습니다.
• 이중 용도 함의: AI 에이전트가 이러한 과업을 전문가 수준으로 수행할 수 있다는 능력은 오용을 위한 전문성의 장벽을 낮출 수 있음을 시사합니다. 모델들이 생의학 연구를 가속화할 가능성을 보여주는 동시에, 거버넌스와 오용 대비책의 발전을 필요로 합니다.
• 거버넌스 유용성: ABC-Bench는 위협 모델을 정보화하고, 언제 안전장치를 활성화해야 하는지 결정하며, 언러닝과 같은 보호 조치의 효능을 평가하도록 설계되었습니다. 이 벤치마크는 이미 주요 AI 기업들이 모델 출시 전 테스트를 위해 활용하고 있습니다.
• 한계: 저자들은 현재 벤치마크가 코딩 중심이며, 스크립트를 작성하기보다 전용 설계 도구를 주로 사용하는 인간 전문가들의 역량을 충분히 끌어내지 못했을 수 있음을 인정합니다. 향도 버전에서는 비코딩 구성 요소를 포함하고 더 넓은 범위의 위험 체인 단계를 다루는 것을 목표로 합니다.

결론적으로, 본 논문은 이러한 역량이 과학적 발견을 가속화하는 동시에, 오용 위험을 완화하기 위해 이중 용도 역량에 대한 계층적 접근 및 강화된 합성 스크리닝과 같은 적절한 안전장치를 개발하는 것이 시급함을 강조합니다.