Few-Shot Biomedical Relation Extraction with Large Language Models: A Viable Alternative to Supervised Learning?

기술 요약: 대규모 언어 모델을 이용한 퓨샷 생물 의학 관계 추출 (Few-Shot Biomedical Relation Extraction)

문제 정의
생물 의학 관계 추출(BioRE)은 비정형 문헌을 구조화된 지식 그래프로 변환하는 데 매우 중요합니다. 그러나 기존의 접근 방식은 주로 지도 학습(supervised learning)에 의존하며, 이는 비용이 많이 드는 전문가 주석 데이터셋을 요구할 뿐만 아니라 희귀한 관계 유형이나 새로운 도메인으로 일반화하는 데 어려움을 겪는 경우가 많습니다. 대규모 언어 모델(LLM)은 프롬프트 기반 학습을 통해 저자원 환경에서 잠재적인 해결책을 제공할 수 있지만, BioRE에서의 성능은 이전 연구들에서 상당한 저조함부터 지도 학습 베이스라인과 경쟁할 만한 수준까지 다양하게 보고되는 등 일관되지 않은 모습을 보였습니다. 또한, 서로 다른 작업 형식(쌍별 분류 vs. 결합 생성)과 그에 따른 추출 품질 대 계산 효율성의 트레이드오프에 대한 체계적인 비교가 부족한 실정입니다.

방법론
저자들은 최근의 오픈 웨이트 LLM(Gemma-4 및 Qwen-3.5 제품군, 구체적으로 25~35B 파라미터 변체)을 이용한 프롬프트 기반 학습을 통해 퓨샷 BioRE를 조사합니다. 연구는 6개의 엔티티 유형과 8개의 관계 유형이 주석 처리된 PubMed 초록을 포함하는 BioREDirect 데이터셋을 대상으로 수행됩니다. 평가는 문장 수준 추출보다 장거리 의존성 때문에 더 까다로운 설정인 문서 수준 추출에 초점을 맞춥니다.

본 연구는 두 가지 주요 작업 형식을 비교합니다:

1. 쌍별 분류 (Pairwise Classification): 모델은 단일 주석 엔티티 쌍이 포함된 텍스트를 처리하고 관계 유형(또는 "None")을 예측합니다. 이는 후보 쌍당 한 번의 모델 호출을 필요로 합니다.
2. 결합 생성 (Joint Generation): 모델은 여러 주석 엔티티가 포함된 텍스트를 처리하고, 단 한 번의 호출로 지원되는 모든 (머리, 꼬리, 관계) 트리플을 생성합니다.
   • 정밀도-재현율(precision-recall) 트레이드오프를 분석하기 위해, 저자들은 $k$-제약 생성($k$-constrained generation) 설정을 도입합니다. 여기서 엔티티는 크기 $k$($k < N$, 전체 엔티티 수)를 가진 중첩된 하위 집합으로 나뉩로지며, 중첩된 하위 집합으로부터의 예측은 다수결 원칙에 의해 집계됩니다.

실험은 결정론적 디코딩(deterministic decoding)을 사용하며, 추론 능력(중간 추론 단계)의 유무에 따른 성능을 평가합니다. 평가지표로는 정밀도(Precision), 재현율(Recall), Micro-F1, Macro-F1(클래스 불균형을 고려하기 위함)과 함께 계산 효율성을 측정하기 위한 가중 토큰 비용 지표를 사용합니다.

주요 결과

• 지도 학습 베이스라인과의 성능 비교: 가장 성능이 좋은 퓨샷 모델(Qwen3.5-27B, 쌍별 분류 방식)은 0.44의 Micro-F1 점수를 달성하여, 이전의 퓨샷 결과(0.34)를 크게 상회했으나 지도 학습 기반인 PubMedBERT 베이스라인(0.56)에는 미치지 못했습니다.
• "Association" 클래스의 효과: 지도 학습 모델과의 성능 격차는 주로 모호하게 정의되어 데이터셋에서 폴백(fallback) 레이블 역할을 하는 "Association" 관계 유형 때문인 것으로 나타났습니다. 불균형한 클래스 간의 성능을 더 잘 포착하는 Macro-F1을 사용하여 평가했을 때, 프롬프트 기반 접근 방식은 지도 학습 베이스라인(0.45 대 0.38)을 능가했으며, 특히 Bind, Comparison, Cotreatment와 같은 희귀 관계 유형에서 두드러졌습니다.
• 작업 형식 간의 트레이드오프:
  • 쌍별 분류는 일관되게 더 높은 **재현율(recall)**을 달성하여, 최대 관계 커버리지가 필요한 애플리케이션에 적합합니다.
  • 결합 생성은 더 높은 **정밀도(precision)**를 보였으나 재현율은 낮았는데, 이는 불확실한 관계를 생략하는 자기회귀적 생성의 특성 때문으로 보입니다.
  • $k$-제약 생성은 정밀도, 재현율, 비용 사이의 균형을 맞출 수 있는 조절 가능한 절충안을 제공하여 실무자들이 이를 최적화할 수 있게 합니다.
• 계산 효율성: 결합 생성은 쌍별 분류에 비해 계산 비용을 최대 25배까지 줄여 훨씬 더 효율적이었습니다. 추론 기능을 활성화하면 성능이 향상되었으나(특히 Mixture-of-Experts 모델의 경우), 출력 토큰 생성량 증가로 인해 상당한 계산 비용이 발생했습니다. Mixture-of-Experts(MoE) 아키텍처는 밀집(dense) 모델보다 더 비용 효율적인 것으로 증명되었습니다.

의의 및 주장
본 논문은 퓨샷 LLM이 특히 저자원 환경이나 잘 정의된 특정 관계 유형을 다룰 때, 지도 학습의 유효한 대안이 될 수 있다고 주장합니다. 저자들은 LLM이 지도 학습 모델에 비해 성능이 낮게 나타나는 인식이 모델의 근본적인 한계라기보다는, 데이터셋의 불균형과 주석의 모호성(특히 "Association" 클래스)에서 기인한 결과물인 경우가 많다고 논증합니다.

연구의 핵심 요점은 다음과 같습니다:

1. Macro-F1은 불균형한 환경에서 BioRE를 평가하는 데 결정적인 지표이며, 이 지표에서 LLM은 지도 학습 베이스라인보다 희귀 관계에 대해 우수한 일반화 능력을 보여줍니다.
2. 작업 형식이 중요합니다: 쌍별 분류와 결합 생성 중 무엇을 선택할지는 단일한 "최적" 지표가 아니라, 정밀도/재현율 또는 비용과 같은 구체적인 애플리케이션 요구 사항에 따라 결정되어야 합니다.
3. 잘 정의된 스키마가 필수적입니다: 지시어 기반 LLM의 성능는 명확한 관계 정의에 크게 의존하며, 주석 체계의 모호성은 노이즈가 있는 데이터에 직접 학습된 모델보다 LLM에 더 큰 영향을 미칩니다.

저자들은 LLM이 아직 순수 Micro-F1 측면에서 지도 학습 베이스라인을 완전히 넘어서지는 못했지만, 유연성, 희귀 클래스에 대한 일반화 능력, 그리고 결합 생성을 통한 계산 효율성 덕분에 생물 의학 지식 추출을 위한 매력적인 옵션이 된다고 결론짓습니다.