Structured Schemas for LLM-Modeler Collaboration in Quantitative Systems Pharmacology Model Calibration

이 논문은 대규모 언어 모델 (LLM) 의 환각 오류를 방지하고 정량적 시스템 약리학 (QSP) 모델 보정을 위한 데이터의 완전성과 재현성을 보장하기 위해, 구조화된 검증 스키마를 통해 LLM 과 모델러 간의 협업을 가능하게 하는 MAPLE 프레임워크를 제안하고 평가합니다.

핵심

🏥 비유: 거대한 레고 성을 짓는 일

약물 개발 연구자들은 우리 몸이라는 거대한 레고 성을 수학적으로 재현하려고 합니다. 이 성을 정확하게 짓기 위해서는 수많은 **레고 조각 (데이터)**이 필요한데, 이 조각들은 전 세계 과학 논문이라는 거대한 도서관에 흩어져 있습니다.

1. 문제점: 도서관 사서와 AI 의 실수

• 기존 방식 (인간 사서): 연구자들이 직접 도서관을 뒤져서 필요한 레고 조각을 찾아옵니다. 하지만 사람이 하니까 피곤하고, 사람마다 기록하는 방식이 달라서 나중에 성을 조립할 때 "이 조각이 어디서 왔지?"라고 헷갈리는 경우가 많습니다.
• 새로운 시도 (AI 사서): 최근에는 AI(대형 언어 모델, LLM) 가 도서관을 빠르게 뒤져서 조각을 찾아오게 합니다. 하지만 AI 는 **환각 (Hallucination)**이라는 병에 걸려 있습니다. 즉, 없는 조각을 있는 것처럼 꾸며내거나, 책장을 잘못 읽어 엉뚱한 숫자를 가져오는 실수를 자주 합니다. 이렇게 잘못된 조각으로 성을 지으면, 나중에 약이 효과가 없을 때 "왜 실패했지?"라고 원인을 찾기 어렵습니다.

2. 해결책: MAPLE (매플) 시스템 - "엄격한 검사관과 협력하는 AI"

저자들은 MAPLE이라는 새로운 시스템을 만들었습니다. 이는 AI 와 인간 연구자가 함께 일하는 새로운 협업 방식입니다.

• 구조화된 청사진 (Structured Schemas):
  AI 가 가져온 레고 조각을 그냥 쌓아두는 게 아니라, **엄격한 검사 기준 (스키마)**이 있는 상자에 넣습니다.

  • 상자 1 (실험실 데이터): 세포 배양 같은 작은 실험 데이터는 "이 조각은 이 부품에 쓰인다"라고 명확히 적습니다.
  • 상자 2 (임상 데이터): 실제 환자에게서 나온 데이터는 "이 조각은 전체 성의 균형에 영향을 준다"라고 적습니다.
  • 핵심 규칙: AI 가 가져온 숫자는 반드시 원본 책의 문장을 그대로 인용해야 합니다. "내가 본 것 같아"라는 추측은 허용되지 않습니다.

• 자동 검사관 (Validators):
  AI 가 가져온 데이터는 자동으로 세 가지 검사를 받습니다.

  1. 진위 확인: "이 DOI(논문 번호) 는 진짜 존재하는 책인가?"
  2. 인용 확인: "이 숫자가 원문 책에 진짜로 적혀 있는가?" (AI 가 지어낸 숫자를 잡아냅니다.)
  3. 코드 실행: "이 수식이 실제로 작동하는가?"

3. 협업의 과정: AI 는 '수집가', 인간은 '건축가'

이 시스템은 AI 가 모든 일을 대신하는 것이 아니라, AI 가 재료를 모으고 인간이 최종 결정을 내리는 방식입니다.

• AI 의 역할: 도서관을 빠르게 뒤져서 관련 문헌을 찾고, 데이터를 추출하며, 초안을 작성합니다.
• 인간의 역할: AI 가 가져온 데이터가 우리 모델에 정말 적합한지, 숫자가 맞는지, 해석이 올바른지 검토하고 수정합니다.
  • 연구 결과, AI 가 처음 가져온 데이터 중 65% 이상에서 인간 연구자가 "아니야, 이 부품은 저렇게 쓰는 게 아니야"라고 수정해야 했습니다.
  • 하지만 **대화형 (Interactive)**으로 일할 때 (AI 가 질문하고 인간이 답하며 실시간으로 수정) 는 훨씬 더 깔끔한 결과가 나왔습니다.

4. 결론: 더 튼튼한 성, 더 투명한 기록

이 방법을 사용하면 다음과 같은 이점이 있습니다.

• 투명성: "이 레고 조각은 2023 년 A 논문의 5 페이지에서 가져왔다"라고 출처가 명확하게 남습니다.
• 재현성: 다른 연구팀이 이 데이터를 받아도 같은 방식으로 성을 지을 수 있습니다.
• 신뢰: AI 가 지어낸 엉뚱한 숫자는 검사관에게 걸러지기 때문에, 최종 모델은 훨씬 더 신뢰할 수 있습니다.

💡 한 줄 요약

"AI 는 도서관에서 재료를 빠르게 모으는 '수습생'이고, 인간 연구자는 그 재료를 꼼꼼히 검사하고 성을 짓는 '건축가'입니다. MAPLE 시스템은 이 두 사람이 실수 없이 협력할 수 있도록 도와주는 '엄격한 검사 기준'입니다."

이 연구는 인공지능이 과학 연구를 완전히 대체하는 것이 아니라, 인간의 전문성과 AI 의 속도를 결합하여 더 정확하고 신뢰할 수 있는 약물 개발 모델을 만드는 길을 제시합니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

정량적 시스템 약리학 (QSP) 모델은 질병 생물학의 기작을 이해하고 약물 반응을 예측하는 데 필수적이지만, 모델의 보정 (Calibration) 을 위해서는 방대한 양의 문헌 데이터가 필요합니다. 기존에는 이 데이터를 수동으로 수집 및 정리하는 방식이 주를 이루었으나, 이는 다음과 같은 한계가 있었습니다.

• 비효율성과 불일치: 수동 큐레이션은 노동 집약적이며, 연구자나 프로젝트 간 문서화 방식이 일관되지 않아 재현성이 떨어집니다.
• LLM 의 한계: 대규모 언어 모델 (LLM) 을 활용한 자동 추출은 유연하지만, '할루시네이션 (허위 정보 생성)'과 '위조 (Fabrication)' 오류가 빈번하여 정량적 모델링에 직접 사용하기에는 위험합니다.
• 전통적 NLP 의 부재: QSP 모델링의 다양한 파라미터 유형에 일반화되지 못하며, 특정 태스크에 맞는 훈련 데이터가 필요합니다.

따라서, LLM 의 추출 능력과 인간 모델자의 전문성을 결합하되, LLM 의 오류를 체계적으로 검증할 수 있는 새로운 프레임워크가 필요했습니다.

2. 방법론: MAPLE 프레임워크 (Methodology)

저자들은 MAPLE (Model-Aware Parameterization from Literature Evidence) 라는 새로운 프레임워크를 제안했습니다. 이는 LLM 과 모델자 간의 협업 인터페이스로 작동하며, 다음과 같은 핵심 구성 요소로 이루어져 있습니다.

가. 구조화된 스키마 (Structured Schemas)

데이터 추출과 모델링 결정을 분리하기 위해 두 가지 상호 보완적인 YAML 스키마를 정의했습니다.

1. SubmodelTarget: 개별 파라미터를 제약하는 고립된 실험 (in vitro 등) 을 위한 스키마. 단순화된 전향 모델 (Forward Model, 예: 지수 성장 ODE) 을 통해 파라미터를 추정합니다.
2. CalibrationTarget: 전체 모델을 제약하는 임상 및 in vivo 엔드포인트를 위한 스키마. 전체 시스템 상태를 기반으로 계산된 관측치 (Observable) 를 통해 모델을 보정합니다.

• 공통 원칙: 모든 수치 데이터는 원문에서 직접 발췌된 텍스트 (verbatim snippet) 와 함께 기록되어야 하며, DOI, 저자, 출처 관련성 평가 (Species translation, Indication match 등) 가 필수적입니다.

나. 검증 및 유효성 검사 프레임워크 (Validation Framework)

LLM 의 오류를 감지하고 수정하기 위한 자동화된 검증 루프를 구축했습니다.

• 할루시네이션 탐지: 추출된 수치가 원문 텍스트 (snippet) 에 정확히 존재하는지 확인 (Value-in-snippet matching).
• 위조 방지: DOI 를 CrossRef 에 쿼리하여 실제 존재하는 논문인지 확인하고, 제목이 일치하는지 검증.
• 코드 실행 검증: 관측 함수 (Observable code) 를 더미 데이터로 실행하여 단위 오류나 논리적 오류를 사전에 발견.
• 외부 검증: Europe PMC 등을 통해 실제 논문 텍스트에서 발췌된 문구가 존재하는지 2 차 확인 (외부 API 사용).
• Pydantic 활용: Python 기반의 데이터 유효성 검사 라이브러리를 사용하여 YAML 파싱 시 자동 검증을 수행하고, 오류 발생 시 LLM 에게 구체적인 피드백을 주어 재시도 (Retry Loop) 를 유도합니다.

다. 모델 인식 검색 및 코드 생성

• 모델 인식 검색: 모델 구조 (반응 네트워크, 파라미터 정의 등) 를 LLM 프롬프트에 주입하여 관련 문헌을 더 정확하게 검색하도록 유도합니다.
• 코드 생성: 검증된 스키마를 기반으로 Julia(Turing.jl) 기반의 베이지안 추론 스크립트를 자동 생성합니다. 여러 소스의 데이터를 통합하여 공동 사후 분포 (Joint Posterior) 를 추정할 수 있도록 합니다.

3. 주요 결과 (Results)

연구진은 췌장관선암 (PDAC) QSP 모델 보정을 위해 MAPLE 를 평가했습니다.

• 데이터 규모: 18 개의 SubmodelTarget(개별 파라미터) 과 59 개의 CalibrationTarget(전체 모델 엔드포인트) 을 대상으로 실험.
• 자동화 성능:
  • 초기 추출 중 1 회 검증 통과율은 0% 였으며, 모든 항목이 최소 1 회 이상의 자동 재시도 (Retry) 를 필요로 했습니다.
  • 평균적으로 2.8 회 재시도, 7.9 분 소요, 항목당 약 21 만 토큰 사용.
  • 검증기 (Validator) 는 단위 오류 (38%), 사전 분포 설정 오류 (21%), 위조 (17%), 코드 오류 (17%) 등을 효과적으로 포착했습니다.
• 인간 큐레이션의 필요성:
  • Batch 추출 모드: 모델자가 Forward 모델 유형을 65%, 사전 파라미터를 46% 수정해야 했습니다.
  • Interactive 추출 모드: 모델자와 LLM 이 실시간으로 협업하여 추출한 경우, 후속 수정이 최소화되었습니다. 모델자의 전문 지식이 추출 과정에 직접 반영되어 최종 산출물의 품질이 높았습니다.
• 추론 결과: 생성된 Julia 스크립트를 통해 모든 파라미터가 수렴 (R-hat < 1.01) 했으며, 임상적으로 타당한 생물학적 값 (예: 종양 배가 시간 약 130 일) 을 도출했습니다.

4. 주요 기여 (Key Contributions)

1. LLM-모델자 협업 인터페이스: LLM 의 추출 능력과 인간 모델자의 판단력을 결합하는 구조화된 스키마를 제안하여, LLM 의 오류를 체계적으로 필터링하면서도 인간 전문가의 역할을 대체하지 않고 재구성했습니다.
2. 검증 중심의 워크플로우: 할루시네이션과 위조를 탐지하는 다층적 검증 시스템 (DOI, 텍스트 매칭, 코드 실행) 을 도입하여 정량적 모델링에 적합한 고품질 데이터를 확보했습니다.
3. 재현성 및 추적 가능성 (Provenance): 모든 데이터 추출에 원문 발췌구와 출처 관련성 평가를 포함시켜, 모델 파라미터의 출처와 불확실성을 명확히 추적할 수 있는 표준화된 포맷을 제공했습니다.
4. 자동화된 추론 파이프라인: 검증된 데이터를 즉시 베이지안 추론 코드 (Julia) 로 변환하여, 수동 스크립팅 없이도 통합 모델 보정이 가능하게 했습니다.

5. 의의 및 시사점 (Significance)

• 신뢰성 있는 QSP 모델링: LLM 의 자동화 이점을 누리면서도 과학적 엄밀성을 유지하여, 약물 개발 및 치료 전략 수립에 필요한 신뢰할 수 있는 QSP 모델 보정을 가능하게 합니다.
• 표준화된 문서화: 모델 팀 간 일관된 문서화 방식을 제공하며, 인력 교체 시에도 파라미터 선택의 근거가 손실되지 않도록 합니다.
• 불확실성 정량화: 종속적 데이터 (예: 마우스 데이터를 인간에 적용) 의 경우, 출처 관련성 평가를 통해 불확실성을 사전 분포 (Prior) 의 폭으로 자연스럽게 반영하도록 하여, 모델 예측의 신뢰도를 높입니다.
• 미래 방향: 멀티모달 LLM(이미지 인식) 을 결합하여 도표 (Figure) 에서의 데이터 추출을 자동화하고, 다양한 치료 영역으로 범위를 확장할 수 있는 기반을 마련했습니다.

결론적으로, 이 연구는 LLM 을 단순한 정보 추출 도구가 아닌, 엄격한 검증 프로세스 하에 인간 전문가와 협력하는 '지능형 보조 도구'로 위치시킴으로써, 정량적 시스템 약리학 분야의 데이터 처리 패러다임을 변화시켰습니다.