Optimizing Large Language Models for Causality Assessment in Pharmacovigilance: Developing a Performance Metric as Objective for Bayesian Hyperparameter Optimization

기술 요약: 약물감시 내 인과관계 평가를 위한 대규모 언어 모델 최적화

문제 정의
FDA 부작용 보고 시스템(FAERS)의 개별 사례 안전성 보고(ICSR) 규모가 급증함에 따라, 확장 가능하고 자동화된 인과관계 평가에 대한 긴급한 필요성이 제기되고 있다. 대규모 언어 모델(LLM)은 유망한 가능성을 보여주지만, 임상적으로 까다로운 과업—특히 나라뇨(Naranjo) 알고리즘의 시간적 개연성, 대안적 원인 및 객체적 증거 평가—에 대한 성능은 일상적인 사용을 위한 수준에는 미치지 못한다. 생물 의학 특화 LLM을 활용한 이전 연구들은 인간 전문가와 중간 정도의 일치도를 보였으나, 목록 등재 여부(listedness) 탐지나 복잡한 임상적 판단과 같은 특정 과제를 해결하는 데 실패했다. 또한, 추론 시 하이퍼파라미터 최적화, 특히 온도(temperature) 조절이 이 영역에서 LLM 성능을 개선할 수 있는지에 대한 연구는 아직 수행되지 않았다. 이러한 최적화의 핵심 장벽은 가우시안 프로세스(Gaussian Process, GP)와 호환 가능한 성능 지표의 부재이다. 기존의 척도들(이진 일치도, 서수적 등급 또는 원시 코사인 유사도)은 LLM 출력의 미묘한 차이를 포착하지 못하거나, 자발적 보고 데이터 특유의 희소하고 템플릿 중심적인 구조적 편향을 유발한다.

방법론
본 연구는 최적화 프레임워크를 개발하고 그 효능을 평가하기 위해 다단계 접근 방식을 채택하였다:

1. 데이터 큐레이션: 55,177건의 전체 풀(2025년 Q1-Q2 데이터 기반)에서 추출된 723건의 FAERS 사례를 층화 추출하였다. 사례들은 다양성을 확보하기 위해 해부학적 치료 화학적 분류(ATC) 및 MedDRA 고수준 그룹 용어(HLGT)에 매핑되었다.
2. 전문가 골드 스탠다드: 4명의 평가자(석사 과정생 3명 및 의사 1명)가 나라뇨 알고리즘을 사용하여 723건의 사례를 평가하였으며, 수치 점수와 추론 텍스트를 모두 제공하였다. 불일치는 합의를 통해 해결하여 인간 골드 스탠다드를 구축하였다.
3. 자동 평가: OpenAI의 GPT-5.2를 사고 사슬(Chain-of-Thought, CoT) 프롬프팅을 사용하여 평가하였다. 모델은 모든 나라뇨 질문에 대해 점수와 추론을 생성하였다.
4. 지표 개발: 최적화 목적 함수로 기능할 수 있는 네 가지의 복합적이고 GP 호환 가능한 지표를 설계하였다:
   • 가중 코사인 유사도 (Weighted Cosine Similarity, WCS): 추론 유사도와 점수 일치도를 동일한 가중치로 결합한다.
   • 정보 가중 일치도 (Information-Weighted Agreement Score, IWAS): 이진 점수 일치도를 정규화된 샤논 엔트로피(Shannon entropy)로 가중치를 두어, 점수 변동성이 없는 질문의 비중을 낮춘다.
   • 엔트로피 가중 일치도 및 코사인 유사도 (Entropy-Weighted Agreement and Cosine Similarity Score, EWACS): 정보가 풍부한 질문에 대해 코사인 성분을 유지하면서, 추론 유사도에 엔트로피 기반 가중치를 통합한다.
   • 합의 가중 코사인 유사도 (Consensus-Weighted Cosine Similarity, CWCS): GP 안정성을 위해 특별히 설계된 유계 곱셈 지표로, 소프트 점수 일치도와 재조정된 추론 유사도를 결합한다.
5. 베이지안 최적화: 마테른(Matérn) 5/2 커널과 향상 확률(Probability of Improvement, PoI) 획득 함수를 가진 가우시안 프로세스 대리 모델을 사용하여 온도 공간($T \in [0, 2]$)을 탐색하였다. 실험에는 그리드 스윕(grid sweeps), 사례별 최적화, 그리고 트리 구조 파젠 추정기(Tree-structured Parzen Estimator, TPE)를 이용한 교차 검증이 포함되었다.

주요 기여

• 지표 공식화: 본 논문은 약물감시 데이터의 제약 조건에 맞춤화된 네 가지 새로운 지표를 도입한다. 연구는 EWACS가 이 맥락에서 최적의 지표임을 식별하였으며, 엔트로피 가중치가 최적화 목적 함수가 점수 변동성이 없는 질문(질문 6~9)에 의해 지배되는 것을 방지하는 데 필수적임을 입증하였다.
• 하이퍼파라미터 조사: 정적인 베이스라인 구성을 넘어, 추론 시 온도 최적화를 조사한 최초의 연구로서 LLM 기반 인과관계 평가를 다룬다.
• 성능 벤치마킹: 본 연구는 최적화 전에도 GPT-5.2가 이전의 생물 의학 특화 모델(예: MedLlama3-8B)보다 나라뇨 알고리즘에서 우수한 성능을 보임을 입증하며 새로운 베이스라인을 설정하였다.

결과

• 베이스라인 성능: 베이스라인($T=0$)에서 GPT-5.2는 질문 5(대안적 원인)에서 74.1%, 질문 10(객체적 증거)에서 65.4%의 일치도를 달 기록하며 이전의 생물 의학 모델들을 능가하였다. 그러나 전체적인 분류 일치도는 45.0%에 그쳤다.
• 엔트로피 분석: 723건의 사례 분석 결과, 질문 79는 전문가 엔트로피가 0(균일한 점수)이었으며, 질문 69는 전문가 추론 템플릿이 거의 동일했다. 결과적으로 질문 5와 10만이 최적화를 위한 유효한 타겟이었다.
• 온도 효과:
  • 집단 수준: 온도에 따른 체계적인 집단 수준의 효과는 발견되지 않았다 ($\beta \approx 0, p > 0.9$). 온도와 출력 품질 사이의 관계는 보편적이지 않으며, 모든 사례에 적용되는 단일 최적 온도는 존재하지 않는다.
  • 사례별 최적화: 보편적인 최적점의 부재에도 불구하고, EWACS 가이드 베이지안 최적화는 전체 인과관계 분류 일치도를 45.0%에서 72.0%로 (+27 퍼센트 포인트) 향상시켰다.
  • 타겟 이득: 개선 효과는 "의심(Doubtful)" 사례(+42.9 pp)와 "가능성 있음(Possible)" 사례(+18.5 pp)에서 가장 두드러졌으며, 이는 베이스라인 모델($T=0$)이 사례를 "확실(Probable)"로 과잉 분류하던 체계적 편향을 효과적으로 교정했음을 보여준다.
• 지표 비교: CWCS가 GP를 위한 더 매끄러운 응답 표면을 제공했으나, EWACS는 엔트로피를 활용해 정보가 풍부한 질문에 집중함으로써 나라뇨 분류라는 특정 종단(endpoint)에 더 잘 부합하여 우수한 분류 결과를 냈다.

의의 및 주장
저자들은 본 연구가 보편적인 온도 최적점이 존재하지 않는 상황에서도 사례별 온도 최적화가 LLM 지원 약물감시를 강화하는 전략으로서 유효함을 입로 보여준다고 주장한다. 연구 결과는 LLM의 성능이 생성의 확률적 특성보다는 사례의 내용에 의해 주로 결정된다는 점을 시사한다. 최적화 탐색을 개별 사례 수준으로 직접 수행함으로써, 결정론적 베이스라인 모델이 겪는 체계적 추론 편향(예: 시간적 개연성 과대평가 또는 객체적 증거 과소평가)을 교정할 수 있다.

본 논문은 기존에 도메인 특화 학습의 필요성으로 여겨졌던 성능 격차가 범용 LLM의 발전(GPT-5.2가 전문 생물 의학 모델을 능가함)에 의해 상당 부분 해소되었음을 상정한다. 제안된 프레임워크는 다른 하이퍼파라미터 및 더 풍부한 데이터 소스(치료 타임라인과 탈락 기록이 존재하는 임상 시험 데이터 등)로 확장 가능한 모델 불가지론적(model-agnostic) 접근 방식으로 제시되며, 자동화 도구가 명확한 사례를 처리하고 모호한 사례는 인간의 검토를 요청하는 하이브리드 의사결정 지원 워크플로우를 향한 경로를 제공한다.