기술 요약: LLM을 활용한 엔드투엔드 제로샷 생물 의학 관계 추출의 벤치마크

문제 정의

관계 추출(Relation Extraction, RE)은 생물 의학 자연어 처리(NLP)에서 매우 중요한 과제로, 비정형 과학 문헌을 구조화된 지식 그래프로 변환하여 가설 생성과 지식 발견을 유도하는 데 필수적입니다. 전통적으로 RE는 지도 학습(supervised learning)에 의존하며, 이는 개체와 그 관계를 식별하기 위해 전문적인 어노테이터가 참여하는 노동 집약적인 데이터셋 구축 과정을 필요로 합니다. 생물 의학 문헌의 급격한 증가(예: PubMed의 색인 논문 약 4,000만 건)와 함께, 수동 어노테이션의 부담은 병목 현상이 되고 있습니다.

대규모 언어 모델(LLM)의 등장은 제로샷 관계 추출(Zero-Shot Relation Extraction, ZSRE)이 지도 학습 방식을 대체하여 학습 데이터의 필요성을 제거할 수 있는지에 대한 질문을 던졌습니다. 그러나 ZSRE는 다른 NLP 작업과 비교했을 때 독특한 과제를 안고 있습니다. 단일 토큰이나 짧은 구절 출력을 요구하는 경우가 많은 질의응답(QA)과 달리, 생물 의학 RE는 길고 정확하며 일관된 형식의 구조화된 출력(예: 개체와 술어의 튜플) 생성을 요구합니다. 또한, 생물 의학 텍스트에는 복잡한 다중 문장 관계와 수많은 개체 유형이 포함되는 경우가 많아, LLM이 미세 조정(fine-tuning) 없이 어노테이션 가이드라인을 엄격히 준수하는 출력을 생성하는 것을 어렵게 만듭니다.

방법론

저자들은 7개의 다양한 생물 의학 데이터셋에 걸쳐 최첨단 LLM의 엔드투엔드 ZSRE 능력을 평가하기 위한 포괄적인 벤치마크를 제안합니다.

데이터셋

본 연구는 도메인, 텍text 길이, 개체/관계 유형의 다양성, 어노테이션 정밀도(언션 수준 vs. 개체 수준)가 각기 다른 7개의 데이터셋을 활용합니다:

• 언션 수준 (Mention-Level, ML): ADE (Adverse Drug Events), DCE (Drug Combination Extraction), ChemProt (Chemical-Protein interactions), DDI (Drug-Drug Interactions).
• 개체 수준 (Entity-Level, EL): CDR (Chemical-Induced Diseases), GDA (Gene-Disease Associations), BioRED (8개의 관계 유형과 높은 관계 밀도를 가진 복잡한 데이터셋).
  이 데이터셋들은 단일 문장 입력부터 전체 초록까지 다양하며, 관계의 수는 BioRED의 경우 초록당 1개에서 90개 이상까지 분포합니다.

모델

세 가지 OpenAI 모델이 평가되었습니다:

1. GPT-4: 표준적인 최첨단 모델.
2. OpenAI o1: 향상된 테스트 타임 사고 사슬(chain-of-thought) 추론 능력을 갖춘 모델.
3. GPT-OSS-120B: 오픈 웨이트 모델.

실험 설정

• 프롬프팅 전략: 모델은 자연어 지시문과 출력 템플릿을 사용하여 유도되었습니다. 구조화된 출력을 보장하기 위해 저자들은 OpenAI의 API 도구를 사용하여 JSON 생성을 활용하였으며, "명시적"(스키마 제공) 모드와 "추론된"(프롬프트 유도) 모드를 모두 실험하였습니다.
• 평가 지표: 저자들은 기존 문헌의 불일치 문제를 해결하기 위해 특정 성능 측정 지표를 개발했습니다. 개체 수준(EL) 작업의 경우, 추출된 개체 언션이 어떠한 골드(gold) 개체 언션과도 일치하고, 개체 유형이 정확하며, 관계 유형이 정확하면 정답으로 간-주됩니다. 언션 수준(ML) 작업의 경우, 정확한 스팬 매칭(exact span matching)이 요구됩니다. 전체 테스트 세트에 대해 정밀도(Precision), 재현율(Recall), F1 점수를 계산했습니다.

주요 기여

1. 포괄적 벤치마크: 하나 또는 두 개의 데이터셋에 국한되었던 이전 연구들과 달리, 본 연구는 다중 문장 관계와 다양한 개체/술어 유형을 포함하여 복잡성의 스펙트럼을 아우르는 7개의 데이터셋에 걸쳐 ZSRE를 평가합니다.
2. 엔드투엔드 집중: 본 연구는 모델이 사전 어노테이션된 개체 스팬 없이 개체를 식별하고 이를 술어와 연결해야 하는 엔드투엔드 RE를 엄격하게 평가하며, 이는 관계 분류(relation classification)보다 훨씬 어려운 작업입니다.
3. 비교 분석: 본 논문은 제로샷 LLM과 최첨단 지도 학습 방식 간의 직접적인 비교를 제공하여, 성능 격차와 ZSRE의 구체적인 실패 모드를 강조합니다.
4. 오류 분석: 저자들은 부분적 개체 매칭, 고밀도 문맥에서의 과소 예측, 도메인 특화 용어의 환각(hallucination)과 같은 구체적인 약점을 식별하기 위해 상세한 오류 분석을 수행합니다.

결과

실험 결과, LLM 기반 ZSRE는 단순한 작업에서는 지도 학습 성능에 근접하고 있으나, 복잡한 데이터셋에서는 상당한 격차가 존재함이 드러났습니다.

• 성능 트렌드:
  • 단순 데이터셋: 관계 유형이 적고(1~2개) 입력이 짧은 데이터셋(ADE, DCE, CDR, GDA)에서 ZSRE 성능은 경쟁력이 있으며, GPT-OSS-120B가 가장 높은 F1 점수(예: ADE에서 72.5, DCE에서 73.7)를 달성했습니다.
  • 복잡한 데이터셋: 복잡도가 높고(4~8개 관계 유형) 문맥이 긴 데이터셋(ChemProt, DDI, BioRED)에서는 성능이 크게 하락합니다. 예를 들어, BioRED에서 GPT-4는 9.1의 F1만을 기록한 반면, GPT-OSS-120B는 21.5에 도달했습니다.
• 모델 비교:
  • GPT-OSS-120B는 모든 데이터셋에서 일관되게 GPT-4보다 우수한 성능을 보였으며, 종종 평균적으로 약 4 F1 포인트의 차이로 앞섰습니다.
  • OpenAI o1은 추론 능력 덕분에 복잡한 데이터셋(ChemProt, BioRED, DDI)에서 일반적으로 GPT-4보다 우수한 성능을 보였으나, 단순한 데이터셋에서는 GPT-4와 유사한 성능을 보였습니다.
  • GPT-4는 일반적으로 다른 두 모델에 비해 성능이 낮았으며, 특히 복잡한 추론이 필요하거나 다중 관계를 처리해야 하는 작업에서 그러했습니다.
• 지도 학습 방식과의 비교: 미세 조정된 소규모 모델을 사용하는 지도 학습 방식은 일반적으로 ZSRE보다 우수한 성능을 보이며, 특히 ChemProt(격차 약 40 F1 포인트)에서 두드러집니다. 그러나 ADE와 같은 단순한 데이터셋에서는 ZSRE가 지도 학습 베이스라인의 성능에 근접합니다.

오류 분석

저자들은 몇 가지 결정적인 실패 모드를 식별했습니다:

• 과소 예측(Under-prediction): 인스턴스에 다수의 골드 관계가 포함되어 있을 때 모델이 관계를 놓치는 경향이 있어 낮은 재현율로 이어집습니다.
• 부분 매칭(Partial Matching): 거의 정확하지만 추가 단어를 포함하거나 필요한 단어를 누락하는 개체 언션을 추출하는 빈번한 오류가 발생합니다(예: "psychosis" 대신 "methamphetamine-induced psychosis"를 추출).
• 경계 문제(Boundary Issues): 모델은 정확한 개체 경계를 찾는 데 어려움을 겪으며, 종종 불연속적인 스팬을 결합하거나 텍스트에 없는 용어를 환각합니다(예: 텍스트에는 "interleukin (IL)-10"만 있는데 "interleukin-10"이라고 예측).
• 복잡도 민감도: 관계 유형의 수와 관계 밀도가 증가함에 따라 성능이 저하되며, 이는 현재의 LLM이 길고 정확한 추출이라는 "상승적으로 까다로운(synergistically demanding)" 요구 사항을 처리하는 데 어려움을 겪고 있음을 시사합니다.

의의 및 주장

본 논문은 LLM을 통한 ZSRE가 저복잡도 생물 의학 작업(짧은 텍스트, 적은 관계 유형)에 대해 지도 학습 방식의 실행 가능한 대안이 될 수 있으며, 과도한 어노테이션 부담 없이 지식 큐레이션을 자동화하는 경로를 제공한다고 주장합니다. 그러나 저자들은 복잡하고 밀도가 높은 생물 의학 텍스트의 경우, ZSRE가 특히 재현율과 정확한 개체 경계 추출 측면에서 현재 지도 학습 성능을 따라잡는 데 어려움을 겪고 있음을 강조합니다.

연구는 LLM이 지도 학습 방식에 점점 다가가고는 있지만, 아직 고도의 전문성이 요구되는 생물 의학 지식 발견 분야에서 미세 조정된 전문 모델을 완전히 대체할 수는 없다고 결론짓습니다. 저자들은 "제로샷"의 약속이 특정 작업의 복잡도와 위양성/위음성의 결과에 크게 의존한다는 점을 경고합니다. 또한 프리트레이닝 코퍼스에서의 데이터 오염 가능성(비록 미미할 것이나)을 언급하면서도, BioRED와 같은 복잡한 데이터셋에서의 낮은 점수는 모델이 단순히 정답 라벨을 암기하고 있는 것이 아님을 시사한다고 주장합니다.

궁극적으로 본 논문은 현실적인 벤치마크 역할을 하며, ZSRE가 어노테이션 비용을 줄여주기는 하지만, 생물 의학 데이터베이스에 광범위하게 자동 배포되기 전에 반드시 해결해야 할 출력 일관성 및 개체 경계 정밀도 측의 새로운 과제를 도입한다는 점을 보여줍니다.