기술 요약: 치료제 설계를 위한 자가 주행 바이오의학 지식 데이터셋

문제 정의

저자들은 치료제 설계를 위한 고품질 AI 모델 개발을 저해하는 기존 수동 큐레이션 바이오의학 저장소 (예: TDC, ClinVar, B3DB) 의 세 가지 치명적인 한계를 식별합니다:

1. 미묘한 뉘앙스 부재: 경구 생체이용률이나 독성과 같은 특성은 분자 자체의 고유한 함수가 아니라 실험적 맥락 (예: 공복 vs. 식후 상태, 투여 경로, 질병 상태) 에 크게 의존합니다. 표 형식 데이터베이스는 종종 이러한 맥락을 폐기하여, 모델이 조건에 대한 주변 분포를 추정하도록 강요합니다.
2. 불완전성: 큐레이션된 데이터베이스는 주요 문헌보다 수년 뒤처져 있으며, 측정된 데이터의 일부만 포착합니다. 또한 동일한 현상에 대한 증거는 종종 단일 스키마로 평탄화하기 어려운 호환되지 않는 형태로 보고됩니다.
3. 정확성 문제: 감사 결과, 널리 사용되는 벤치마크에서 경미하지 않은 레이블 오류가 발견되었습니다 (예: TDC BBB 에서 16.5% 오류, TDC 경구 생체이용률에서 7.3% 오류). 이러한 레이블로 훈련된 모델은 달성 가능한 성능을 제한하는 노이즈 바닥을 계승하게 됩니다.

이러한 문제를 해결하는 데 있어 주요 장애물은 문헌의 규모입니다. 수천만 편의 논문에서 구조화된 레코드를 추출하려면 고전적 정보 추출이나 현재 범용 심층 연구 에이전트들이 모두 갖추지 못한 "외과적 검색 (surgical retrieval)" 능력이 필요합니다. 기존 에이전트들은 구조화된 데이터 인스턴스를 위해 문헌을 철저히 스캔하기보다는 서사적 보고서를 종합합니다.

방법론: Starling 시스템

본 논문은 주요 문헌 (특히 2,250 만 편의 PubMed 코퍼스) 을 구조화되고 뉘앙스가 풍부한 데이터셋으로 자율적으로 변환하도록 설계된 다중 에이전트 심층 연구 시스템인 Starling을 소개합니다.该系统은 태그가 지정되고 색인된 코퍼스를 통해 세 가지 결합된 구성 요소를 작동합니다:

1. 코퍼스 구축 및 엔티티 태깅

• 코퍼스: AI 사용이 허가된 PubMed 의 2,250 만 편 논문 하위 집합 (약 2.5 조 토큰). 텍스트와 표가 마크다운으로 추출됩니다.
• 엔티티 태깅 파이프라인: 교사 - 학생 증류 파이프라인이 UMLS, DrugBank, ChEBI 등 9 가지 참조 온톨로지에 기반한 19 가지 최상위 바이오의학 엔티티 유형 (예: SmallMolecule, Gene, Disease) 으로 코퍼스를 태깅합니다.
  • 교사: gpt-oss-120b가 3 단락씩의 윈도우를 레이블링하며, 정밀도를 높이기 위해 각 엔티티 유형별로 별도의 패스를 실행합니다.
  • 증류: 고빈도 엔티티는 GPT-5를 사용하여 참조 온톨로지에 대해 검증됩니다.
  • 학생: gpt-oss-20b는 결합된 감독 데이터로 미세 조정된 후 전체 코퍼스에 적용됩니다.
• 검색 인프라: 하이브리드 희소 - 밀집 검색 계층이 엔티티 필터링된 의미적 쿼리를 지원합니다. 임베딩 (Qwen3-Embedding-4B) 은 코퍼스를 필터링하는 대신 검색 결과를 재순위화하는 데 사용되며, 엔티티 공출현에 기반한 외과적 필터링을 가능하게 합니다.

2. Starling 에이전트 파이프라인

Starling 은 자연어 작업 설명 (예: "경구 생체이용률이 보고된 모든 분자를 찾아라") 을 구조화된 데이터셋으로 변환하기 위해 두 단계로 작동합니다:

• 1 단계: 쿼리 구성 (계획):

  • 제안자 (Proposer) 에이전트가 엔티티 필터 (CNF 제약 조건) 와 의미적 쿼리로 구성된 "프로브 (probes)" 집합을 구성합니다.
  • 시스템은 검증자 (Validator) 에이전트가 관련성을 판단하여 정밀도를 극대화하고, 조사자 (Investigator) 에이전트가 현재 필터로 인해 제외된 관련 텍스트를 식별하여 재현율을 높이기 위해 프로브를 반복적으로 정제합니다.
  • 프로브가 최종화되면, 제안자는 논문을 샘플링하고 추출기 (Extractor) 를 자유 형식 모드로 실행한 후 검증자 피드백에 기반하여 스키마를 정제함으로써 통합된 추출 스키마 (필드 이름, 유형, 제약 조건) 를 유도합니다.

• 2 단계: 추출 및 판정:

  • 추출기 (Gemma 4 31B) 는 순서가 지정된 서브코퍼스를 처리하여 지원 구절과 연결된 구조화된 레코드를 생성합니다.
  • 판정자 (Judge) (증류된 Qwen3.5-9B 모델) 는 최종 필터를 수행하여 다섯 가지 축 (작업 관련성, 주요 레이블 정확도, 스펜 충실도, 보조 필드 정확도, 엔티티 귀속) 에 대해 추출물을 점수화합니다. 모든 축을 통과한 레코드만 유지됩니다.

주요 기여

1. 자가 주행 데이터셋 구축: 스키마 설계나 논문 선택에 인간 개입이 전혀 필요하지 않고, 대규모로 문헌을 처리할 수 있는 완전 자율적인 파이프라인.
2. 뉘앙스가 풍부하고 맥락이 풍부한 데이터: 실험 조건 (예: 음식 상태, 투여 경로) 을 1 급 필드로 포착하여 표 형식 데이터베이스가 폐기하는 신호를 보존합니다.
3. 규모와 정확도: 시스템은 기존 수동 큐레이션 벤치마크보다 크고, 감사 결과에 따르면 더 정확한 데이터셋을 생성합니다.
4. 오픈 릴리스: 저자들은 에이전트 코드, 엔티티 태깅 모델, 검색 레시피, 여섯 가지 특정 데이터셋 및 호스팅 액세스용 API 를 공개합니다.

결과

시스템은 혈뇌장벽 (BBB) 투과성, 경구 생체이용률, 급성 독성 (LD50), 유전자 - 질병 연관성 (GDA), 단백질 세포 내 위치 (PSL), 화학 반응 등 여섯 가지 치료제 발견 작업에서 평가되었습니다.

• 규모: Starling 은 약 630 만 개의 판정 필터링 레코드를 생성했습니다.
  • 경구 생체이용률: 185,000 개 추출물 (19,000 개 분자) 로, TDC 인스턴스의 96.1% 를 포괄하며 TDC 크기를 29 배 초과합니다.
  • 유전자 - 질병 연관성: 300 만 개 추출물로 ClinVar 크기의 6 배입니다.
  • 단백질 위치: 190 만 개 추출물로 UniProt (Homo sapiens) 크기의 24 배입니다.
  • 화학 반응: 916,000 개 추출물로, 다섯 가지 주요 참조 데이터베이스에 존재하지 않는 약 40 만 개의 새로운 생성물을 발견했습니다.
• 정확도:
  • 유지된 추출물에 대한 최첨단 모델의 거부율은 작업 간 0.6% 에서 7.7% 사이였습니다.
  • Starling 과 수동 큐레이션 벤치마크 (예: BBB_Martins, Bioavailability_Ma) 간의 이의제기에 대한 인간 감사 결과, 큐레이션된 데이터베이스의 확인된 오류율은 **7.3% 에서 19.7%**였으며, Starling 의 확인된 오류율은 **≤1.8%**였습니다.
• 하류 유틸리티: Starling 데이터로 MiniMol 예측기를 미세 조정하면 TDC 데이터만으로 훈련했을 때보다 테스트 세트에서 성능이 향상되거나 유지되었으며, 특히 구조만으로는 모델이 실패하는 분자 (예: BBB 를 위한 활성 유입 메커니즘) 에서 두드러졌습니다.
• 비용: 추출 비용은 레코드당 약 $0.001이며, 추론 비용이 주를 이룹니다.

중요성 및 주장

본 논문은 주요 문헌이 자율적으로 처리될 때, 대체하는 큐레이션된 데이터베이스보다 더 크고, 더 뉘앙스가 풍부하며, 더 정확한 데이터셋을 산출할 수 있다고 주장합니다. 저자들은 포착된 "뉘앙스", 특히 분자 내 변이를 설명하는 실험적 맥락이 더 나은 예측 모델링과 모델 실패의 더 정확한 특성을 가능하게 한다고 주장합니다.

이 연구는 AI 기반 치료제 설계에서 현재 표 형식 데이터의 "주변 분포" 한계를 넘어선 다중 모달 예측 및 생성 모델의 기반을 마련합니다. 저자들은 그들의 시스템이 완전한 자가 주행 방식으로, 수동 큐레이션 비용의 일부로 빠르게 확장되는 문헌과 데이터셋을 동기화할 수 있음을 강조합니다.

참고: 본 논문은 그림 (텍스트 및 표만) 에서 데이터를 추출할 수 없다는 점, 재배포할 수 없는 허가된 코퍼스에 의존한다는 점, 그리고 저품질 데이터 범람을 방지하기 위해 "판정자 (Judge)" 단계가 필수적이라는 점 등 한계를 명시적으로 밝힙니다.该系统은 소스 텍스트에서 주장된 것을 넘어 증거 가중치 부여나 출처 심사를 수행하지 않습니다.