Beyond Manual Curation: Augmenting Targeted Protein Degradation Databases via Agentic Literature Extraction Workflows

문제 제기
연간 150 만 편 이상의 논문이 출판되는 생물의학 문헌의 급속한 확장은 데이터 기반 신약 개발에 치명적인 병목 현상을 초래했습니다: 비정형화된 출판 결과를 구조화되고 기계가 읽을 수 있는 데이터로 변환하는 어려움입니다. 이 도전 과제는 PROTAC 과 분자 접착제 (MG) 를 포함하는 치료 모달리티인 표적 단백질 분해 (TPD) 에서 특히 심각합니다. 기존 공개 자원 (예: PROTAC-DB, MolGlueDB) 은 수동 큐레이션에 의존하는데, 이는 출판 속도를 따라가기에는 느리고 하류 머신러닝 모델링에 필요한 세분화된 실험적 맥락 (어세이 유형, 세포주, 시간점, 농도) 이 종종 부족합니다. 또한, 수동 큐레이션은 고활성 화합물을 우선시하는 경향이 있어 견고한 모델을 훈련시키는 데 필수적인 약하거나 비활성인 예시들을 과소 보고합니다. 범용 대형 언어 모델 (LLM) 추출 파이프라인은 이 분야에서 실패합니다. 왜냐하면 TPD 기록은 텍스트, 표, 보충 파일에 종종 흩어져 있는 서로 다른 필드 (화합물 식별자, 타겟, 리크루터, 어세이 맥락, 종점) 를 결합해야 하며, 불일치하는 화학 식별자와 암시적 실험 맥락을 탐색해야 하기 때문입니다.

방법론
저자들은 모델 미세 조정 없이 구조화된 TPD 어세이 기록을 추출하도록 설계된 전문가 루프 인 (expert-in-the-loop) LLM 워크플로우를 제안합니다. 이 시스템은 PubMed Central (PMC) 의 전체 텍스트 논문과 보충 자료를 기반으로 작동합니다.

1. 데이터 획득 및 삼각형 평가: 이 연구는 삼각형 비교를 위한 세 가지 데이터셋을 구축합니다: 기존 데이터베이스 (PROTAC-DB 및 MolGlueDB) 의 표준화된 기록을 베이스라인으로, LLM 예측 세트를, 그리고 계층화된 논문 하위 집합 (MG 7 편, PROTAC 15 편) 에 대한 전문가 주석에서 도출된 독립적인 기준 진실 (ground truth) 입니다.
2. 에이전트 워크플로우 (CAPO): 핵심 혁신은 희소한 전문가 주석에서 추출 지시를 적응시키는 경량 모듈인 CAPO(교차 검증 에이전트 프롬프트 최적화) 입니다. 이는 이중 루프 시스템을 사용합니다:
   • 내부 루프: 추출기 (Extractor) 에이전트가 네 단계로 논문을 처리합니다: 초기 본문 추출, 문장 단위 출처 검증, 보충 자료 통합, 그리고 누락된 화학 식별자를 완성하기 위한 최종 검토.
   • 외부 루프: 분석가 (Analyst) 에이전트는 성능 임계값 ($\tau = 0.9$) 이하인 논문에서 오류 (거짓 양성/거짓 음성) 를 진단합니다. 그런 다음 정제기 (Refiner) 에이전트가 이러한 진단을 기반으로 추출 프롬프트를 업데이트합니다. 이 과정은 홀드아웃 데이터에서 F1 점수를 최대화하는 "챔피언 프롬프트"를 선택하기 위해 Leave-One-Out 교차 검증 (LOOCV) 을 통해 실행됩니다.
3. 후처리 및 의미적 매칭: 추출된 데이터는 단위 정규화, 중복 제거, 화학 식별자 풍부화 (OPSIN 및 PubChem 사용) 를 거칩니다. 의미적 매칭 모듈은 제약된 LLM 기반 예/아니오 검증을 사용하여 엔티티 동의어 (예: "CRBN" 대 "Cereblon") 를 처리하며, 일관성을 위해 캐시됩니다.
4. 평가 프레임워크: 이 시스템은 계층적 평가 모드를 사용합니다: 실험적(5 필드 키: 화합물, 타겟, 리크루터, 어세이, 세포주), 기작적(3 필드 키), 그리고 표현형적(2 필드 키). 지표에는 기록 수준과 필드 수준 모두에서 정밀도, 재현율, F1 이 포함됩니다.

주요 기여

1. 형식화 및 프레임워크: 이 논문은 TPD 데이터베이스 추출을 도메인 특화 큐레이션 작업으로 형식화하고, LLM 예측, 표준화된 베이스라인 기록, 전문가 기준 진실을 비교하는 삼각형 평가 프레임워크를 도입합니다.
2. 전문가 루프 인 워크플로우: 저자들은 소스 기반 추출, 보충 통합, 그리고 매우 소수의 주석 (7 편 논문) 에서 추출 규칙을 성공적으로 적응시키는 CAPO 프롬프트 정제 모듈을 결합한 엔드 투 엔드 워크플로우를 제시합니다.
3. 확장 가능한 성능: 이 워크플로우는 분자 접착제와 PROTAC 모두에서 높은 정확도를 달성하며, 한 모달리티에 최적화된 프롬프트가 용어 치환만으로 다른 모달리티로 이전될 수 있음을 보여줍니다.
4. 자원 공개: 저자들은 워크플로우, 최적화된 프롬프트, 평가 코드, 그리고 새로 추출된 데이터셋을 오픈 리소스로 공개합니다.

결과

• 정확도: 분자 접착제 (MG) 코호트에서 워크플로우는 기록 수준 F1 점수 0.98 을 달성했습니다. 용어 치환을 통해 PROTAC 으로 이전되었을 때, 기록 수준 F1 점수가 0.93 이상을 유지했습니다. 반면, 기존 베이스라인 데이터베이스 (MolGlueDB 및 PROTAC-DB) 는 동일한 기작 모드에서 주로 맥락 필드 누락으로 인해 각각 0.43 과 0.69 로 현저히 낮은 F1 점수를 기록했습니다.
• 데이터베이스 확장: 대규모로 적용된 이 워크플로우는 MG 데이터베이스를 81% (136 개에서 246 개 기록으로), PROTAC 데이터베이스를 92% (372 개에서 714 개 기록으로) 확장했습니다.
• 검증: 새로 복구된 "LLM 만" 기록에 대한 수동 검토는 MG 의 경우 92%, PROTAC 의 경우 82.5% 의 유효성을 확인했습니다. 반면, 많은 "베이스라인 만" 기록은 텍스트 추출 범위를 벗어난 그림 기반 증거에 의존했습니다.
• 맥락 복구: 이 워크플로우는 누락된 맥락 필드를 크게 복구하여 MG 의 경우 어세이와 세포주 커버리지를 각각 498% 와 513% 증가시켰고, PROTAC 의 경우 각각 7010% 와 98% 증가시켰습니다. 또한 조건 인식 모델링에 필수적인 동적 데이터 (시간점, 농도) 도 복구했습니다.
• 효율성: 프롬프트 최적화는 단 7 편의 주석된 논문을 사용하여 3 회 라운드 내에 수렴했으며, 전체 프로젝트의 총 API 비용은 100 달러 미만으로 유지되었습니다.

의의
이 논문은 TPD 큐레이션의 주요 병목 현상은 정확도가 아닌 커버리지라고 주장합니다. 기존 데이터베이스는 존재할 때는 신뢰할 수 있지만 불완전합니다. 결과는 포괄적인 수전 전사에서 전문가 루프 인 큐레이션으로의 전환을 지지합니다. 여기서 도메인 전문가는 자동화된 파이프라인을 검증하고 안내하기 위해 표적 주석을 제공합니다. 수동 큐레이션에서 자주 누락되는 풍부한 실험적 맥락 (시간점, 농도, 어세이 유형) 을 복구함으로써, 이 워크플로우는 단백질 분해를 위한 일반화 가능한 머신러닝 모델 훈련에 필요한 균형 잡힌 조건 인식 데이터셋 구축을 가능하게 합니다. 저자들은 이 작업을 구조화된 데이터가 여전히 문헌에 흩어져 있는 도메인에서 AI 지원 과학적 큐레이션을 위한 템플릿으로 위치시키며, 워크플로우는 전문가 큐레이션을 대체하기보다 지원하도록 설계되었음을 강조합니다.