🤖 AI

AI Scientists Are Only as Good as Their Evidence: A Stratified Ablation of Proprietary Data and Reasoning Skills in Drug-Asset Valuation

이 논문은 신약 자산 가치 평가에 있어 추론 스캐폴드(reasoning scaffolds)가 AI 에이전트의 보정 및 규율을 개선하는 한편, 독점적 증거의 가용성이 사실적 정확도와 의사결정 효용의 상한선을 설정하는 결정적인 제한 요인임을 입증한다.

원저자: Yinan Wang

게시일 2026-06-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yinan Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 복잡한 사건을 해결하기 위해 탐정 팀을 고용한다고 상상해 보십시오: 새로운 신약 아이디어에 수백만 달러를 투자할 가치가 있는가?

이 질문에 답하기 위해, 탐정은 세 가지를 알아야 합니다:

과학(The Science): 생물학적 원리가 타당한가?
경쟁(The Competition): 다른 누구도 이 일을 시도하고 있는가?
역사(The History): 이전에 유사한 약물들이 성공했거나 실패한 사례가 있는가?

당신이 제공한 논문은 어떤 AI가 이 사건을 해결하는 데 실제로 가장 뛰어난지 확인하기 위해 세 가지 유형의 AI 탐정을 '스트레스 테스트'한 것입니다. 연구자들은 알고 싶었습니다: 탐정의 지능(AI 모델)이 가장 중요한 것인가, 아니면 그들이 읽을 수 있는 증거의 품질이 실제 병목 구간인가?

다음은 실험의 내용과 그 결과를 쉬운 비유를 사용하여 정리한 것입니다.

세 명의 탐정 (실험)

연구자들은 모두 동일한 "두뇌"(동일한 기본 AI 모델)를 사용하는 세 가지 버전의 AI 에이전트를 설정했습니다. 유일한 차이점은 그들이 사용할 수 있는 도구와 정보였습니다.

탐정 A ("웹 서퍼"):
- 도구: 일반적인 웹 검색(구글 등)만 사용할 수 있으며 특별한 훈련을 받지 않았습니다.
- 비유: 공공 도서관에 가서 공개 선반에 놓인 책들을 읽는 똑똑한 인턴입니다. 똑똑하긴 하지만, 다른 누구나 찾을 수 있는 것만 찾을 수 있습니다.
탐정 B ("훈련된 분석가"):
- 도구: 동일한 웹 접속 권한을 갖지만, 엄격한 플레이북(체크리스트 형태의 규칙)과 자신의 작업을 검토할 "레드 팀"(비판자), 그리고 공공 데이터베이스(임상 시험 등록부 등)에 대한 접근 권한을 부여받았습니다.
- 비유: 동일한 인턴이지만, 이제는 선임 멘토로부터 체크리스트를 받고, 보고서를 작성하는 규칙을 배우며, 정부의 공공 기록에 접근할 수 있게 된 상태입니다. 더 규율 있고 조직적이지만, 여전히 "비밀 파일"은 볼 수 없습니다.
탐정 C ("내부자"):
- 도구: 탐정 B가 가진 모든 것을 갖추고 있으며, 여기에 더해 공개된 웹에는 나타나지 않는, 선별된 기록(임상 시험, 거래, 경쟁사 정보 등)이 담긴 방대한 유료 프라이빗 데이터베이스(Noah AI)에 대한 접근 권한을 가집니다.
- 비로: 이 탐정은 기밀 금고의 열쇠를 가진 선임 조사관입니다. 이들은 비공개 이메일, 발표되지 않은 임상 결과, 그리고 뉴스에 나오지 않는 "롱테일(long-tail)" 거래 내역까지 볼 수 있습니다.

결과: 무엇을 발견했는가?

연구진은 이 탐정들을 13가지 서로 다른 신약 사례에 투입하여 테스트했습니다. 판결은 다음과 같습니다.

1. "플레이북"은 도움이 되지만, 한계가 있다 (탐정 B vs A)

탐정 B(훈련된 분석가)를 탐정 A(웹 서퍼)와 비교했을 때, 결과는 흥미로웠습니다.

더 나은 규율: 탐정 B는 더 나은 보고서를 작성했습니다. 터무니없는 추측을 덜 했고 규칙을 더 잘 따랐습니다.
문제점: 그럼에도 불구하고 탐정 B는 중요한 경쟁사나 거래의 **60%에서 75%**를 여전히 놓쳤습니다.
비유: 탐정 B는 매우 예의 바르고 정돈된 사서와 같습니다. 모든 규칙을 철저히 따르지만, 만약 찾아야 할 책이 개인 금고 안에 잠겨 있다면, 아무리 정리가 잘 되어 있어도 그 책을 찾을 수는 없습니다. 그들은 "조정(calibrated)"되어 있지만(명확하게 생각하지만), "눈이 먼(blind)" 상태입니다(사실을 놓치고 있습니다).

2. "프라이빗 금고"가 모든 것을 바꾼다 (탐정 C)

탐정 C(내부자)가 투입되었을 때, 결과는 극적으로 변했습니다.

완결성: 탐정 C는 결정적인 정보의 **96%**를 찾아냈습니다. 반면 탐정 A와 B는 약 25%에서 38%만을 찾아냈습니다.
"롱테일" 효과: 가장 큰 격차는 공개된 웹에는 거의 나타나지 않는 작고 모호하거나 지역적인 신약 임상 시험과 같은 "롱테일" 데이터를 찾는 데서 발생했습니다. 탐정 C는 거의 모든 것을 찾아냈지만, 다른 탐정들은 거의 찾아내지 못했습니다.
비유: 탐정 C는 단순히 더 나은 보고서를 쓴 것이 아니라, 판 전체를 본 것입니다. 다른 이들이 판의 절반만 가지고 체스를 두고 있을 때, 탐정 C는 전체 게임을 보고 있었습니다.

3. "정보에 기반한 의사결정" 점수

이것이 가장 중요한 발견입니다.

원시 품질: 만약 누락된 사실이 무엇인지 모르는 상태에서 최종 보고서만 읽는다면, 탐정 A와 B도 탐정 C만큼이나 훌륭해 보일 것입니다. 그들은 자신감 있고 논리적으로 보입니다.
실제 품질: 하지만 A와 B는 너무 많은 사실을 놓치고 있었기 때문에, 그들의 결정은 불완전한 정보에 근거한 것이었습니다.
수치 계산: 연구진은 **"정보에 기반한 의사결정 품질(Informed Decision Quality)"**이라는 점수를 만들었습니다.
- 탐정 A/B 점수: ~2.0 (그들은 그럴듯하게 들리지만, 사실의 75%를 놓치고 있습니다).
- 탐정 C 점수: ~7.4 (그들은 그럴듯하게 들릴 뿐만 아니라, 모든 사실을 갖추고 있습니다).
한계치(The Ceiling): 논문은 탐정 B에게 "완벽한" 두뇌와 완벽한 보고서를 준다 하더라도, 그들이 물리적으로 누락된 증거에 접근할 수 없기 때문에 점수가 낮게 제한될 것이라고 주장합니다. 볼 수 없는 진실을 추론만으로 도달할 수는 없습니다.

핵심 요약

이 논문은 AI 과학자를 구축하기 위한 간단한 교훈을 남깁니다.

"기술과 데이터는 모두 유용하지만, 데이터가 한계다."

추론 기술 (플레이book): 이는 필수적입니다. AI가 무모해지는 것을 막아주고, 생각을 정리하게 하며, 규칙을 따르도록 돕습니다. 이는 AI를 더 나은 필자이자 더 규율 있는 사고가로 만듭니다.
증거 기질 (데이터): 이것이 제한 요소입니다. 만약 AI가 비공개된 선별된 롱테일 데이터에 접근할 수 없다면, AI는 결코 전체 진실을 알 수 없습니다. 아무리 영리한 프롬프팅이나 추론 기법을 사용하더라도 누락된 정보의 간극을 메울 수는 없습니다.

요컨대: 세계 최고의 두뇌와 최고의 규칙을 가진 탐정을 가질 수는 있지만, 그들이 증거실에 들어갈 수 없다면 결코 사건을 올바르게 해결할 수 없습니다. AI가 신약 개발과 같은 고위험 분야에서 진정으로 유용해지려면, 단순히 공개된 인터넷이 아니라 비공개된, 선별된 증거에 접근할 수 있어야 합니다.

기술 요약: AI 과학자의 역량은 오직 그들이 보유한 증거에 달려 있다

문제 정의
신약 자산 가치 평가와 같은 전문 영역에서 AI 과학자 에이전트(AI Scientist agents)를 평가할 때, 추론 능력과 기초가 되는 증거의 품질을 혼동하는 경우가 많다. 에이전트는 흔히 모델의 품질, 프롬프팅, 또는 추론 스캐폴딩(reasoning scaffolds)을 기준으로 평가되지만, 본 논문은 지식 집약적 과업에서 제한 요인이 되는 것은 에이전트가 접근 가능한 비공개적이고 큐레이션된 롱테일 데이터인 "증거 기질(evidence substrate)"이라고 주장한다. 약물 가치 평가에서 올바른 go/watch/no-go 결정을 내리기 위해서는 타겟 생물학, 경쟁 파이프라인, 임상 전례, 그리고 사업 개발(BD) 인텔리전스의 종합적인 분석이 필요하다. 본 논문은 AI 에이전트의 병목 현상이 그들의 추론 절차인지, 아니면 그들이 접근할 수 있는 사실적 정보의 완전성인지 조사한다.

연구 방법론
저자들은 Claude Code 환경과 Opus 4.8 MAX 모델을 사용하는 프로덕션급 가치 평가 에이전트를 대상으로 통제된 3개 군(arm)의 절제 연구(ablation study)를 수행하였다. 모델의 역량과 시간/범위 예산은 모든 군에서 동일하게 유지되었으며, 조작된 변수는 비독점적 도구/기술 및 독점 데이터에 대한 접근 권한이었다.

Arm A (Plain): 웹 검색만 가능한 유능한 일반 분석가. 프로젝트 기술, 도구 또는 독점 데이터 사용이 명시적으로 금지되었으며, 점수 산정 루브릭도 제공되지 않았다.
Arm B (+Skills + Public Tools): 14개 차원의 가치 평가 플레이북, 공공 API(ClinicalTrials.gov, PubMed, OpenTargets, OpenFDA), 인용 검증기, 객관성 헌장, 그리고 적대적 레드팀을 포함한 전체 시스템. 결정적으로, 독점 데이터 소스는 비어 있는 디렉토리를 참조하도록 설정되어 데이터가 차단되었다.
Arm C (+Skills + Public Tools + Data): Arm B와 동일하지만, 50,000개 이상의 소스에서 추출된 큐레이션된 파이프라인, 임상 시험, 딜 인텔리전스를 포함하는 독점 Noah AI 데이터베이스에 접근할 수 있다.

벤치마크 및 지표
연구에는 5가지 결정 아키타입(S1–S5)으로 계층화된 13개의 단일 타겟 약물 자산 벤치마크가 사용되었으며, 이는 특정 실패 모드(예: 검증되었으나 경쟁이 치열한 me-too 약물, 화이트 스페이스 기회, 생물학적 공백 등)를 드러내도록 설계되었다.

지표는 세 가지 축으로 분류되었다:

사실적 커버리지(Factual Coverage): 큐레이션된 "골드" 경쟁 기록( $R_{gold}$ ) 및 롱테일 하위 집합에 대한 재현율(recall)을 측정하였다. 상위 군의 사실적 역량을 추정하기 위해, 하위 군의 발견 사항들의 합집합을 계산하는 "역량-상위집합(capability-superset)" 회계 방식을 사용하였다.
방법론적/객관성 규율(Methodological/Objectivity Discipline): 8가지 객관성 법칙(예: 결론 우선, 증거 계층화, 반증적 증거 등)의 준수 여부를 블라인드 3인 심사 패널이 채점하였다.
결정 품질(Decision Quality): 블라인드 패널의 원시 결정 품질(DQ)과 "정보 기반 결정 품질(Informed Decision Quality)"을 포함하였다. 후자는 $DQ \times R_{gold}$ 로 정의된다. 이는 불완전한 증거에 기반한 타당한 결론은 효용성이 낮다는 점을 고려한 것이다.

주요 결과

사실적 천장(Factual Ceiling): 비독점적 스택(Arm B)은 큐레이션된 골드 경쟁 기록의 0.38, 롱테일 하위 집합의 0.30만을 회복하였다. 반면, 데이터가 활성화된 스택(Arm C)은 골드 기록의 0.96, 롱테일 하위 집합의 0.93을 회복하였다. Arm A는 각각 0.25와 0.26을 회복하였다.
추론 vs. 데이터:
- 교정(Calibration): Arm B는 "티어-인-레인지(tier-in-range)" 정확도를 0.80(Arm A)에서 0.89로 개선하여, 일반 에이전트(A)가 검증된 메커니즘의 화이트 스페이스 기회(S2)를 무분별하게 거부하던 체계적 실패를 교정하였다.
- 객관성: Arm B는 객관성 점수를 3.16에서 3.30으로 소폭 개선했으나, Arm C는 3.60을 달성하여 더 풍부한 증거가 더 근거 있는 논증을 가능하게 함을 시사했다.
- 결정 품질: 원시 블라인드 패널 결정 품질은 A(7.01)와 B(6.96) 간에 유사하게 나타났는데, 이는 기술/도구가 교정 능력은 높이지만 제한된 데이터 상에서의 결론에 대한 서술적 타당성을 반드시 높이지는 않음을 의미한다. Arm C는 더 높은 원시 DQ(7.65)를 달 기록했다.
정보 기반 결정 품질: 증거의 완전성을 고려했을 때, Arm C는 7.43의 점수로 압도적인 우위를 보였으며, 이는 Arm A의 1.76, Arm B의 2.57과 대조된다.
천장 분석: Arm B가 완벽한 보고서(DQ=10)를 작성했다는 관대한 가정을 하더라도, 효용 평가 가능 셀의 0.383만을 커버하고 있으므로 이들의 "정보 기반 결정 품질"은 3.83으로 제한될 수밖에 없다. 이는 Arm C의 관찰된 점수인 7.43보다 현저히 낮은 수치이다.

의의 및 주장
본 논문은 지식 집약적인 AI 과학자 에이전트에 있어, 추론 기술과 공공 구조화 도구는 필수적인 제어 계층이지만, 독점적 증거 기질이 핵심적인 제한 자원이다라고 결론짓는다.

병목 현상: 주요 병목은 추론 절차가 아니라 증거 기질이다. 독점 데이터가 AI 과학자가 알 수 있고, 결과적으로 결정할 수 있는 상한선을 결정한다.
상호 보완적 역할: 비독점적 도구와 추론 스캐폴딩은 교정 능력(화이트 스페이스 기회의 체계적 저평가 방지)과 감사 규율을 향상시킨다. 그러나 이들이 누락된 롱테일 기록을 만들어낼 수는 없다.
평가에 대한 시사점: 하위 증거 기반이 불완전하다면, AI 에이전트를 단순히 추론의 타당성이나 문장력의 품질만으로 평가하는 것은 불충분하다. 보고서는 방법론적으로는 타당할 수 있으나 과학적으로는 정보가 부족할 수 있다.
실무적 교훈: 최적의 아키텍처는 계층적이다: "올바른 데이터 위의 기술(skills on top of the right data)." 독점적이거나 롱테일 증거가 존재하는 영역에서는, 결정적인 역량이 추가적인 추론 프롬프트보다는 문제 공간을 정의하는 코퍼스(corpus)에 대한 접근권에서 비롯된다.

저자들은 평가에 사용된 "골드" 키가 Arm C에서 사용된 것과 동일한 독점 인텔리전스 제품군에서 파생되었음을 언급하였다. 즉, 결과는 독립적인 임상적 효능의 진실(ground truth)보다는 큐레이션된 독점 실사 기록을 회복하는 능력을 구체적으로 측정한 것이다. 그러나 "역량-상위집합" 회계 방식을 적용하더라도서도 나타난 커버리지 격차(0.38 대 0.96)는 견고하게 유지된다.