HARVEST: Unlocking the Dark Bioactivity Data of Pharmaceutical Patents via Agentic AI

이 논문은 다중 에이전트 LLM 파이프라인인 HARVEST 를 통해 약학 특허에 숨겨진 336 만 건의 구조 - 활성 관계 데이터를 저비용으로 추출하여 기존 데이터베이스에 없는 새로운 화합물과 표적을 발견하고, 이를 기반으로 구축한 H-Bench 를 통해 기존 AI 모델의 일반화 한계를 규명했습니다.

핵심

1. 문제: "보이지 않는 보물창고"

약물 개발 회사들은 매년 수만 개의 특허를 냅니다. 이 특허 문서 안에는 **"이 화합물은 이 단백질에 얼마나 잘 붙는가?"**라는 중요한 실험 데이터 (약효 수치) 가 수천 개씩 담겨 있습니다.

하지만 이 데이터는 **어두운 방 (Dark Data)**에 갇혀 있었습니다.

• 비유: 마치 도서관에 수만 권의 책이 있는데, 그 책들이 모두 손으로 쓴 낡은 일기장처럼 되어 있어서 컴퓨터가 읽을 수 없는 상태입니다.
• 결과: 이 데이터는 법적으로는 공개되어 있지만, 실제로는 컴퓨터가 읽을 수 없어서 과학자들이 활용하지 못했습니다. 기존 데이터베이스 (BindingDB 등) 는 사람이 직접 하나하나 찾아서 정리했기 때문에, 이 방대한 특허 데이터의 1% 도 채 못 건져 올렸습니다.

2. 해결책: "HARVEST, 자동화 수확 로봇"

연구팀은 **'에이전트 AI(지능형 AI)'**를 활용한 HARVEST라는 시스템을 만들었습니다.

• 비유: 이 시스템은 스마트한 수확 로봇과 같습니다. 사람이 일일이 책장을 넘겨 데이터를 적어내는 대신, 로봇이 특허 문서라는 '농장'을 순식간에 돌아다니며 모든 데이터를 자동으로 따서 정리합니다.
• 작동 원리:
  1. **특허 문서 (XML)**를 읽습니다.
  2. 복잡한 표와 화학 구조 그림을 해석합니다.
  3. "이 약은 A 단백질에 50 나노몰 (nM) 로 작용한다"는 식으로 정리된 데이터로 바꿉니다.
  4. 이 모든 과정을 **문서 1 개당 0.11 달러 (약 150 원)**라는 아주 싼 비용으로, 1 주일도 안 되는 시간에 끝냈습니다.

3. 성과: "새로운 보물 발견"

이 로봇이 16 만 4 천 개의 특허를 처리한 결과 놀라운 일이 일어났습니다.

• 336 만 개의 데이터를 찾아냈습니다.
• 기존에 아무도 몰랐던 36 만 5 천 개의 새로운 분자 구조와 1,108 개의 새로운 단백질 표적을 발견했습니다.
• 비유: 기존에 우리가 알고 있던 '약물 지도'에 새로운 대륙이 나타났습니다. 특히 BindingDB(기존 데이터베이스) 에 없던 단백질 1,108 개는 완전히 새로운 발견입니다.
• 정확도: 사람이 일일이 정리한 데이터와 비교했을 때 91% 이상이 일치했습니다. 오히려 사람이 실수하기 쉬운 '단위 변환 실수 (예: 나노를 마이크로로 잘못 읽는 것)'는 AI 가 더 적게 했습니다.

4. 새로운 시험장: "H-Bench (진짜 실력 테스트)"

이 연구의 또 다른 큰 성과는 H-Bench라는 새로운 시험 문제를 만든 것입니다.

• 문제: 기존 AI 모델들은 이미 알고 있는 데이터만 보고 공부해서, 새로운 것을 만나면 잘 못 하는 경우가 많습니다. (비유: 기출문제만 외운 학생이 새로운 문제를 풀지 못하는 것)
• 해결: HARVEST 가 찾아낸 아무도 보지 못한 새로운 데이터로만 시험 문제 (H-Bench) 를 만들었습니다.
• 결과: 최신 AI 모델 (Boltz-2) 을 이 시험장에 넣었더니, 새로운 분자 구조나 새로운 단백질이 나오면 성능이 급격히 떨어졌습니다.
• 의미: "우리가 만든 AI 는 아직 진짜 '약물과 단백질이 만나는 물리 법칙'을 완전히 이해하지 못했고, 단순히 외운 것만 할 뿐이다"라는 사실을 증명했습니다.

5. 결론: "데이터의 민주화"

이 연구는 약물 개발의 게임 규칙을 바꿉니다.

• 과거: 거대 제약 회사나 비싼 구독료를 내는 기업만 이 '어두운 데이터'를 볼 수 있었습니다.
• 현재: HARVEST 덕분에 어떤 연구실이라도 이 데이터를 무료로 (또는 아주 싼 비용으로) 구해와서 AI 모델을 훈련시킬 수 있게 되었습니다.
• 미래: 이제 AI 가 약을 개발할 때, 더 넓고 다양한 데이터를 바탕으로 진짜 새로운 약을 찾아낼 수 있는 길이 열렸습니다.

한 줄 요약:

"컴퓨터가 읽지 못하던 수만 권의 특허 일기장을, AI 로봇이 하루 만에 모두 읽어내어 정리하고, 그 결과로 AI 가 약을 개발하는 능력을 한 단계 업그레이드할 수 있는 새로운 지도를 만들었습니다."

기술 요약

1. 문제 정의 (Problem)

• 데이터의 '어둠' (Dark Data): 제약 특허에는 수백만 개의 단백질 - 리간드 결합 데이터 (Structure-Activity Relationship, SAR) 가 포함되어 있으나, 이는 비정형화된 텍스트, 복잡한 표, 화학 구조도 등에 분산되어 있어 컴퓨터가 자동으로 처리하기 어렵습니다.
• 기존 접근법의 한계:
  • BindingDB와 같은 기존 데이터베이스는 수동 큐레이션에 의존하여 처리 속도가 느리고, 특허 데이터의 일부만 포함합니다.
  • SureChEMBL과 같은 도구는 화학 구조를 인덱싱할 수 있지만, 정량적 결합 값 (IC50, Ki 등) 과 생물학적 표적 (Target) 을 체계적으로 매핑하지 못합니다.
  • 이로 인해 AI 기반 약물 발견 모델은 훈련 데이터와 평가 데이터가 겹치는 '기억 (Memorization)' 현상에 시달리며, 새로운 화학 구조나 새로운 표적에 대한 일반화 (Generalization) 능력이 부족합니다.

2. 방법론 (Methodology)

저자들은 HARVEST(High-throughput Agent Retrieval of Values for Evaluated Small-molecules and Targets) 라는 다중 에이전트 (Multi-agent) LLM 파이프라인을 개발했습니다.

• 아키텍처: 복잡한 문서 이해를 위해 5 개의 전문화된 에이전트로 구성된 순차적 파이프라인을 사용합니다.
  1. Agent 1 (Target Extraction): 생물학적 표적 (단백질, 효소 등) 과 실험 조건을 식별합니다.
  2. Agent 2 (Activity Extraction): 정량적 측정값 (IC50, Ki, Kd, EC50) 을 추출합니다. Agent 1 의 컨텍스트를 주입하여 오매핑을 방지합니다.
  3. Agent 3 (Compound Mapping): 특허 내의 내부 별칭 (예: "Example 1") 을 IUPAC 명명법이나 임베디드 화학 식별자로 변환합니다.
  4. Agent 4 (Chemical Structure Resolution): ChemDraw 이진 파일 (CDX) 을 직접 파싱하여 표준화된 SMILES 문자열로 변환합니다. (MOL 파일의 손상 문제를 해결하기 위해 CDX 를 우선 사용).
  5. Agent 5 (Protein Target Resolution): 추출된 단백질 이름을 UniProt 식별자로 매핑합니다.
• 데이터 소스: USPTO(미국 특허청) 의 대량 XML 데이터 (APPDT) 를 사용하며, 화학 구조가 포함된 164,877 개의 특허를 대상으로 합니다.
• 전처리: 특허 가족 (Patent Family) 중복 제거를 위해 부모 - 자식 관계를 그래프로 구성하고, 가장 최근의 문서를 선택하여 데이터 중복을 제거했습니다.
• 비용 효율성: 문서당 약 $0.11의 비용으로 처리하며, 50 개의 문서를 병렬 처리하여 초당 2 건의 처리 속도를 달성했습니다.

3. 주요 기여 (Key Contributions)

1. HARVEST 데이터셋: 164,877 개의 특허에서 **336 만 개의 활성 기록 (Activity Records)**을 추출했습니다. 이는 BindingDB 의 특허 기반 데이터보다 약 3 배 더 많은 단백질 - 리간드 상호작용 (PLI) 을 포함합니다.
   • 새로운 발견: BindingDB 에 존재하지 않는 365,713 개의 고유한 화학 스캐폴드와 1,108 개의 단백질 표적을 복원했습니다.
2. H-Bench (Benchmark): HARVEST 에서 추출되었으나 기존 공개 저장소 (BindingDB 등) 에 없는 데이터로 구성된 구조적으로 보장된 홀드아웃 (Held-out) 벤치마크를 공개했습니다.
   • 목적: AI 모델이 훈련 데이터에 단순히 암기하는지, 아니면 실제 결합 물리학을 학습했는지 평가하기 위함입니다.
   • 구성: 'Valid' (새로운 화학 구조 + 새로운 표적), 'Common' (새로운 화학 구조 + 기존 표적) 등 두 가지 일반화 시나리오를 제공합니다.
3. 비용 및 속도 혁신: 수동 큐레이션이 55 년 이상 걸릴 작업을 1 주일 미만에 완료하여, 대규모 바이오액티비티 데이터 추출을 학술 연구 그룹도 접근 가능한 수준으로 낮췄습니다.

4. 결과 (Results)

• 정확도 (Accuracy):
  • 추출된 데이터와 수동 큐레이션된 BindingDB 데이터를 비교했을 때, 91% 일치율을 보였습니다.
  • 단위 변환 오류 (nM/µM 혼동 등) 발생률은 수동 큐레이션보다 낮았습니다.
  • Pearson 상관관계 계수 (r) 는 0.925 로 매우 높은 정량적 일치를 보였습니다.
• 데이터 확장성:
  • 전체 PLI 중 37.0% 는 BindingDB 에 존재하지 않는 새로운 상호작용이며, 43.4% 의 스캐폴드 클러스터도 신규입니다.
  • 특히 효소와 키나아제뿐만 아니라 전사 인자 등 기존에 데이터가 부족했던 표적 영역을 확장했습니다.
• 모델 평가 (Boltz-2 평가):
  • 최신 오픈소스 구조 기반 모델인 Boltz-2를 H-Bench 에서 평가한 결과, **2 차원 일반화 격차 (Two-dimensional Generalization Gap)**가 확인되었습니다.
  • 모델의 성능은 (1) 새로운 화학 구조와 (2) 이전에 데이터가 없던 새로운 단백질 표적 모두에서 급격히 저하되었습니다.
  • 이는 현재 AI 모델들이 훈련 데이터의 구조적 유사성에 의존하고 있을 뿐, 보편적인 결합 물리학을 완전히 학습하지 못했음을 시사합니다.

5. 의의 및 결론 (Significance)

• 데이터 민주화: HARVEST 는 수백 억 달러의 R&D 투자가 담긴 특허 데이터를 '어둠'에서 '가시화'하여, 고가의 상용 데이터베이스 구독 없이도 연구자들이 대규모 고품질 데이터를 활용할 수 있게 했습니다.
• AI 약물 발견의 한계 규명: H-Bench 를 통한 평가는 현재 AI 모델이 새로운 화학 공간과 생물학적 공간으로의 일반화에 실패하고 있음을 명확히 보여주었습니다. 이는 향후 모델 개발이 단순한 데이터 양 증가가 아닌, **불완전하게 특성화된 표적 (Undercharacterized Targets)**과 새로운 화학적 다양성을 포괄하는 방향으로 나아가야 함을 시사합니다.
• 확장 가능성: 이 접근법은 중국 특허 (CNIPA) 나 임상 기록 등 다른 비정형화된 과학 문서 영역으로도 확장 가능하며, LLM 추론 비용이 계속 감소함에 따라 '어둠의 데이터'를 구조화된 지식으로 전환하는 새로운 표준이 될 것입니다.

요약하자면, HARVEST 는 에이전트 AI 를 활용하여 제약 특허의 방대한 바이오액티비티 데이터를 저비용으로 대규모 추출하는 시스템을 제시하고, 이를 통해 AI 기반 약물 발견 모델의 일반화 한계를 규명하는 새로운 벤치마크 (H-Bench) 를 구축한 획기적인 연구입니다.