🤖 AI

TxBench-PP: Analyzing AI Agent Performance on Small-Molecule Preclinical Pharmacology

이 논문은 실제 어세이(assay) 데이터를 사용하여 소분자 전임상 약리학 과제에 대한 AI 에이전트를 평가하기 위한 검증 가능한 벤치마크인 TxBench-PP를 소개하며, 현재 가장 진보된 모델들조차 정확한 전임상 결정을 신뢰성 있게 도출하는 데 실패한다는 점을 밝히고 있다.

원저자: Hannah Le, Ramesh Ramasamy, Alex Urrutia, Mahsa Yazdani, Tim Proctor, Kenny Workman

게시일 2026-06-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hannah Le, Ramesh Ramasamy, Alex Urrutia, Mahsa Yazdani, Tim Proctor, Kenny Workman

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 어떤 새로운 약을 만들지 결정하기 위해, 초지능형 AI 기반 연구 보조원들로 구성된 팀을 고용한다고 상상해 보십시오. 당신에게는 차트, 현미경 사진, 화학 테스트 결과 등 복잡하고 실제적인 실험실 데이터가 담긴 거대한 파일 더미가 있습니다. 그리고 당신은 이 보조원들이 증거를 살펴보고 다음과 같이 말해주기를 바랍니다. "이 약은 유망해 보이니 계속 진행합시다" 또는 "이것은 위험하거나 쓸모없으니 버립시다."

이 논문인 TxBench-PP는 이 AI 보조원들이 실제로 그 업무를 얼마나 잘 수행했는지에 대한 성적표입니다.

핵심 아이디어: AI를 위한 "운전 면허 시험"

저자들은 TxBench-PP라는 특별한 테스트를 만들었습니다. 이것은 자동차 대신 AI가 신약 개발 프로그램을 운전하는 일종의 운전 면허 시험과 같습니다.

함정: 그들은 단순히 AI에게 교과서에 적힌 사실(예: "아스피린은 어떤 작용을 하는가?")을 암기하게 하지 않았습니다. AI에게 그런 것은 쉽습니다. 왜냐하면 그들은 인터넷의 내용을 이미 다 외우고 있기 때문입니다.
진짜 도전: 그들은 AI에게 실제 실험실에서 나온 새롭고도 복잡한 데이터 폴더를 건네주며, "오직 이 특정 수치와 이미지들만을 바탕으로, 우리는 무엇을 해야 합니까?"라고 물었습니다.
목표: AI가 증거를 살피는 과학자처럼 행동하는지, 아니면 단순히 학습한 내용을 바탕으로 추측하는지를 확인하는 것입니다.

결과: AI는 아직 초보 수준이다

연구진은 16가지의 서로 다른 AI 모델(두뇌)과 소프트웨어 도구(손)의 조합을 테스트했습니다. 그들은 총 4,800번의 테스트를 수행했습니다.

결과는 다음과 같습니다: AI는 아직 혼자 운전할 준비가 되지 않았습니다.

최고 점수: 가장 성능이 뛰어난 AI 시스템은 정답률이 약 **59%**였습니다. 교실이라면 낙제점입니다. 실제 제약 회사에서 10번 중 4번을 틀린다는 것은 매우 위험합니다. 이는 수백만 달러를 낭비하거나, 더 나아가 위험한 약물을 단계로 진전시키는 결과를 초래할 수 있기 때문입니다.
현실 점검: 심지어 가장 "똑똑한" AI조차 동일한 과업을 세 번 연속으로 제대로 수행하지 못했습니다. 즉, 일관성이 없었습니다.

AI는 어디서 틀렸는가?

저자들은 실수를 면밀히 조사했고, AI가 단순히 무언가를 "잊어버린" 것이 아님을 발견했습니다. AI는 특정한 유형의 과학적 오류를 범하고 있었습니다.

"교과서" 함정: 때때로 AI는 세포가 죽어가는 사진을 보고도 눈앞의 실제 데이터를 무시했습니다. 대신, 다른 약물에 관한 유명한 교과서 속 이야기를 기억해 냈고, 이곳에 그 이야기를 적용했습니다. 즉, 정해진 서사에 맞추기 위해 증거를 무시한 것입니다.
잘못된 수학과 잘못된 필터링: AI는 종종 "품질 관리"에서 실수를 저질렀습니다. 마치 과학자가 그래프를 보며 "오, 저 이상한 스파이크는 그냥 오류일 뿐이야, 무시하자"라고 말하는 것과 같습니다. 하지만 실제로는 그 스파이크가 데이터에서 가장 중요한 부분이었습니다. AI는 빈번하게 중요한 데이터를 버리거나 쓰레기 데이터를 유지했습니다.
"전부 아니면 전무(All-or-Nothing)" 문제: 10개의 목록 중에서 가장 좋은 약을 고르라는 요청을 받았을 때, AI는 종-종 "괜찮아 보이는" 것을 골랐지만 정말로 훌륭한 것을 놓치거나, 활성도가 있어 보인다는 이유로 위험한 것을 선택하기도 했습니다. AI는 "이 프로젝트를 중단할 것인가" 대 "이 프로젝트를 진전시킬 것인가"라는 어려운 결정을 내리는 데 어려움을 겪었습니다.

"도구"가 중요하다

흥미로운 발견 중 하나는 AI가 작업을 수행하는 데 사용하는 소프트웨어가 AI 모델 자체만큼이나 중요하다는 것이었습니다.

AI를 뛰어난 요리사라고 생각해 보십시오.
Harness A는 요리사에게 날카로운 칼과 깨끗한 도마를 주었습니다.
Harness B는 똑같은 요리사에게 무딘 버터 칼과 더러운 도마를 주었습니다.
(논문에서 'Pi'라고 불리는) 좋은 도구를 가진 요리사는, "요리사"(AI 모델)가 동일함에도 불구하고 나쁜 도구를 가진 요리사보다 훨씬 더 훌륭한 요리를 만들어냈습니다.

결론

이 논문은 현실을 직시하게 해줍니다. AI가 신약 개발 속도를 높여줄 것이라는 약속은 있지만, AI가 스스로 중요한 "진행/중단(go/no-go)" 결정을 내릴 수 있도록 아직 신뢰할 수는 없습니다.

현재의 AI 에이전트들은 매뉴얼을 읽는 데는 능숙하지만, 여전히 선임 과학자가 옆에서 지켜보며 수학 계산을 확인하고, 실험실 데이터의 복잡한 실체를 무시하고 있지는 않은지 체크해 주어야 하는 인턴과 같습니다. 그들은 도움이 될 수는 있지만, 아직 독자적으로 운영할 만큼 신뢰할 만한 수준은 아닙니다.

기술 요약: TxBench-PP

문제 정의

인공지능(AI) 에이전트는 해석 및 의사결정 루프를 압축함으로써 신약 개발을 가속화할 수 있는 가능성을 지니고 있습니다. 그러나 이러한 에이전트를 산업적 워크플로우에 실제로 배치하는 데 있어서는 신뢰할 수 있고 표준화된 평가 방법의 부재가 걸림돌이 되고 있습니다. 기존의 생물학 에이전트 벤치마크는 검증 가능한 분석 작업에는 중점을 두지만, 다양한 어세이(assay) 범주, 개발 단계, 치료 모달리티를 아우르는 신약 개발 생태계의 복잡성을 포착하는 데는 어려움을 겪고 있습니다.

구체적으로, 전임상 소분자 약리학(preclinical small-molecule pharmacology)은 효능(potency), 표적 결합(target engagement), 작용 기전(MoA), 약력학(PD), 안전성, 그리고 in vivo 유효성과 관련된 중요한 결정들을 포함합니다. 이러한 결정들은 분자 후보 물질을 진전시킬지, 보류할지, 반복 실험을 할지, 혹은 폐기할지를 결정합니다. 이러한 결정은 종종 비용이 많이 드는 실험의 상위 단계에서 이루어지며, 파편화된 전문가의 판단에 의존합니다. 주요 과제는 에이전트가 제공된 실제 데이터로부터 정확한 결론을 도출할 수 있는지, 아니면 암기된 문헌 사실이나 잘 알려진 메커니즘에 의존하는지를 구별하는 것입니다. 현재의 시스템은 가공되지 않은 어세이 데이터로부터 도출된 현실적인 프로그램 의사결정에 대한 신뢰할 만한 검증 능력이 부족합니다.

방법론

저자들은 소분자 전임상 약리학을 평가하기 위해 설계된 검증 가능한 벤치마크인 TxBench-PP(TherapeuticsBench Preclinical Pharmacology)를 소개합니다. 이는 더 광범위한 TherapeuticsBench 로드맵의 집중적인 슬라이스 역할을 합니다.

벤치마크 구성

범위: 이 벤치마크는 프로그램 단계, 어세이 유형 및 작업 구조에 따라 인덱싱된 100개의 평가로 구성됩니다. 질병/모델 컨텍스트, 스크리닝/히트 확인, 약물 반응/약물 유전체학, 인과적 표적 검증, MoA/PD, 화합물-표적 특성 분석, 개발 가능성/안전성/PK, 그리고 중개 유효성의 8가지 프로그램 단계를 다룹니다 (인간 유전적 표적 지원은 향후 과제로 남겨둠).
데이터 및 컨텍스트: 각 평가는 특정 로컬 결정 지점으로부터의 현실적인 워크플로우 산출물(예: 용량-반응 스크린, 프로테오믹스, 이미징, DMPK 데이터)을 제공합니다. 에이전트는 파일을 조사하기 위해 코딩 환경 내에서 작동합니다.
태스크 설계: 태스크는 암기된 솔루션을 처벌하도록 의도적으로 설계되었습니다. 의도된 정답은 외부 지식이 아닌, 오직 제공된 데이터 산출물에 의해서만 뒷받침되어야 합니다. 많은 태스크에는 에이전트에게는 숨겨져 있지만 사후 실패 분석에 사용되는 "의사결정 차단 갭(decision-blocking gaps)"(예: 독성 종 불일치, 불충분한 유리 약물 커버리지)이 포함되어 있습니다.
채점: 답변은 구조화되어 있으며 결정론적으로 채점됩니다. 채점기는 레이블 세트, 수치 허용 오차, 순위 관계 및 범주형 선택을 확인합니다. 트래젝토리(trajectory)는 최종 구조화된 답변이 모든 태스크별 기준을 충족하는 경우에만 통과됩니다.

실험 설정

모델 및 하네스(Harness): 본 연구는 세 가지 에이전트 하네스(Pi, Claude Code, OpenAI Codex)를 사용하는 11개의 고유 모델(Claude Opus 4.6–4.8, GPT-5.4–5.5, Gemini 3.1 Pro–3.5 Flash, Kimi K2P6, Grok 4.20–4.3, Sonnet 4.6 포함)로 구성된 16개의 모델-하네스 구성을 평가했습니다.
실행: 각 구성은 100개의 태스크에 대해 3회의 독립적인 시도로 실행되어, 총 4,800개의 에이전트 트래젝토리를 생성했습니다.
분석: 저자들은 실패한 1,834개의 트래젝토리에 대해 수동 리뷰를 수행하여 오류를 과학적 판단 격차(방법론, 캘리브레이션, 인지)와 행동적 문제(과적합, 투자 부족)로 분류했습니다.

주요 결과

전반적인 성능

어떤 시스템도 전임상 약리학 결정을 안정적으로 복구하지 못했습니다. 가장 강력한 구성인 Claude Opus 4.8 / Pi조차 종료 통과율(endpoint pass rate)이 59.3%(300회 중 178회; 95% CI, 51.1–67.6)에 그쳤습니다. 두 번째로 높은 성능을 보인 GPT-5.5 / Pi는 55.3%(300회 중 166회)를 기록했습니다.

신뢰성: 최상위 구성은 300회의 시도 중 122회에서 실패했으며, 세 번의 반복 실험 모두에서 100개의 태스크 중 41개만을 통과했습니다.
신뢰 구간: 상위 모델들의 신뢰 구간이 겹치는 것은 단일한 명확한 승자가 있기보다는 "선두 그룹"이 존재함을 나타냅니다.

오류 분석

실패에 대한 수동 리뷰 결과, 대부분의 오류는 단순한 데이터 검색 실패가 아니라 정당한 과학적 판단의 격차인 것으로 드러났습니다:

과학적 오류 (할당 가능한 실패의 71%): 방법론적 오류(QC 생략, 잘못된 통계적 선택, 잘못된 데이터 레이어)와 캘리브레이션 오류(부적절한 컷오프)가 주를 이루었습니다.
행동 패턴: 실패의 67%는 에이전트가 데이터에 참여하고 그럴듯한 분석을 수행했음에도 불구하고 잘못된 결론에 도달한 경우였습니다. 12%만이 정답을 포기했으며, 9%는 암기된 문헌에 의존했습니다.
단계 수(Step Count): 노력의 증가(단계 수)가 정확도와 반드시 상관관계를 갖지는 않았습니다. 예를 들어, Gemini 3.5 Flash는 가장 많은 단계(55.0)를 수행했지만, 더 적은 단계를 수행한 모델보다 낮은 통과율(51%)을 기록했습니다.

태스크 및 단계별 성능

프로그램 단계: 통과율은 스크리닝/히트 우선순위 지정에서의 **27%**부터 약물 반응에서의 **55%**까지 단계별로 크게 달랐습니다.
태스크 유형:
- 고성능: 노출/PK 및 바이오마커 발굴 태스크는 평균 약 57%의 통과율을 보였습니다. 이들은 주로 계산된 값이나 이진 호출(binary calls)을 필요로 했습니다.
- 저성능: 히트 우선순위 지정 및 케미노인포매틱스(cheminformatics) 태스크는 평균 약 24%를 기록했습니다. 이들은 많은 그럴듯한 후보들 중에서 방어 가능한 하위 집합을 선택해야 했습니다. 어떤 모델도 이 태스크에서 45%를 넘지 못했습니다.
프로그램 결정: 여러 엔드포인트를 종합해야 하는 복잡한 "진전/보류(advance/hold)" 결정의 경우, 모델들은 **35%**의 시도만을 통과했습니다. 주목할 점은, 전체 벤치마크 점수가 이러한 특정 프로그램 결정에 대한 성능을 예측하지 못했다는 것입니다 (Spearman $\rho$ = 0.08).

하네스의 영향

에이전트 하네스의 선택은 성능에 상당한 영향을 미쳤습니다. 동일한 모델 제품군 내에서도 Pi 하네스가 Claude Code 및 OpenAI Codex보다 일관되게 우수한 성능을 보였습니다 (예: +4.4 ~ +5.5 퍼센트 포인트). 이는 보고된 점수가 모델 단독의 속성이 아니라 모델-하네스 구성의 속성임을 시사합니다.

의의 및 주장

본 논문은 TxBench-PP가 로컬 전임상 약리학 결정에 대한 에이전트 시스템을 평가하기 위한 필수적인 "측정 막대(measuring stick)"를 제공한다고 주장합니다.

현재 상태: 에이전트가 일부 작업을 올바르게 완료할 수는 있지만, 전임상 약리학을 위한 과학적 조수로서 아직 신뢰할 수 없습니다. 에이전트는 기술적 아티팩트와 생물학적 신호를 구분하는 데 자주 실패하며, 복잡한 다중 증거 시나리오에서 캘리브레이션된 의사결정을 내리는 데 어려움을 겪습니다.
범위 제한: 저자들은 TxBench-PP가 소분자 전임상 약리학을 위한 집중적인 벤치마크임을 명시적으로 밝힙니다. 따라서 인간 유전적 표적 지원, 전체 질병 모델 선택, 임상 번역, 또는 비소분자 모달리티(예: 바이오로직스, 올리고뉴클레오타이드)와 같은 다른 분야에 대해 일반적인 주장을 하는 데 사용되어서는 안 됩니다.
향 향후 방향: 이 연구는 더 넓은 TherapeuticsBench 로드맵의 토대를 마련하며, 향후 임상 태스크로의 다운스트림 확장, 약물 유전체학으로의 수직적 확장, 그리고 항체, 세포 치료제, 유전자 치료제와 같은 다양한 모달리티로의 확장이 계획되어 있습니다.

요약하자면, 본 논문은 현재의 AI 에이전트가 과학적 판단 및 의사결정 견고성 측면에서 상당한 격차를 보이고 있으므로, AI 에이전트를 전임상 생물학 워크플로우에 신뢰할 수 있고 재현 가능하게 통합하기 전까지는 여전히 많은 과제가 남아 있다고 결론짓습니다.