Large Language Models for Biomedical Article Classification

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대규모 언어 모델 (LLM) 은 텍스트 생성뿐만 아니라 이해와 추론 능력도 뛰어나며, 추가적인 미세 조정 (fine-tuning) 없이도 다양한 NLP 작업에 적용 가능합니다. 특히 제로샷 (zero-shot) 또는 퓨샷 (few-shot) 프롬프팅을 통해 레이블이 없는 데이터나 소량의 데이터로도 분류 작업이 가능하다는 점이 매력적입니다.
• 문제: 기존의 텍스트 분류 방법은 대량의 레이블된 학습 데이터가 필요하며, 이는 비용과 시간이 많이 듭니다. 특히 생물의학 논문과 같은 전문 분야에서는 클래스 간 경계가 모호하고 클래스 불균형 (class imbalance) 이 심한 경우가 많아 기존 머신러닝 모델의 적용에 한계가 있습니다.
• 연구 목적: LLM 이 생물의학 논문의 체계적 문헌 검토 (Systematic Literature Review) 에 포함 여부를 판단하는 이진 분류 작업에서 얼마나 유효한지, 그리고 어떤 설정 (프롬프트, 출력 처리, 퓨샷 예시 선택 등) 이 가장 효과적인지 체계적으로 분석하는 것입니다.

2. 방법론 (Methodology)

연구는 15 개의 약물군 관련 주제 (Drug Class Review, DCR 데이터셋) 에 대한 15 개의 이진 분류 작업을 수행했습니다.

2.1 사용된 모델

• 오픈 소스 모델: Llama 3.1 8B Instruct, Llama 3.1 70B Instruct, Mistral 7B v0.3 Instruct, Gemma 2 9B Chat.
• 상용 모델 (비교 실험): OpenAI 의 GPT-4.1 mini 및 GPT-4.1 nano.
• 기반선 (Baseline) 모델: 나이브 베이즈 (Naive Bayes), 랜덤 포레스트 (Random Forest), 미세 조정된 트랜스포머 모델 (DeBERTa, SciDeBERTa-v2).

2.2 실험 설계 및 변수

연구는 다음과 같은 다양한 변수를 체계적으로 실험했습니다:

1. 프롬프트 복잡성: 단순 (Simple), 중간 (Medium), 복잡 (Complex) 프롬프트 및 시스템/유저 메시지 구성 방식 비교.
2. 출력 처리 방법 (Output Processing):
   • 단순 텍스트 (단어) 출력.
   • JSON 형식 출력.
   • 모델에게 점수 (0~5) 를 요청하여 확률로 변환.
   • 핵심 기법: 모델이 생성한 첫 번째 토큰의 확률 분포를 기반으로 클래스 확률을 계산 (Token Probabilities).
3. 퓨샷 예시 수 (Few-Shot Count): 0 개 (Zero-shot) 부터 4 개까지의 예시 수 변화에 따른 성능 분석.
4. 예시 선택 방법 (Example Selection):
   • 무작위 선택.
   • 의미적 유사성 기반 선택 (all-MiniLM-L6-v2, all-distilroberta-v1, all-mpnet-base-v2 임베딩 모델 사용).
   • 클래스 균형 조정 (Class Rebalancing) 적용 여부.
5. 고급 기법 (Advanced Techniques):
   • 사고의 사슬 (Chain of Thought, CoT).
   • 사고의 나무 (Tree of Thoughts, ToT).
   • 문서 분할 (Chunking).

2.3 평가 지표

• 정확도, 정밀도, 재현율, F1 점수, 매튜스 상관 계수 (MCC).
• 주요 지표: 정밀도 - 재현율 곡선 아래 면적 (AUPRC). 이는 클래스 불균형이 심한 데이터셋에서 특히 중요한 지표입니다.
• 5-fold 교차 검증 (Stratified 5-fold Cross-Validation) 을 사용하여 평가했습니다.

3. 주요 기여 (Key Contributions)

1. 체계적인 출력 처리 방법 비교: 기존 연구들이 주로 텍스트 출력 (클래스 라벨) 에만 집중했던 것과 달리, 토큰 확률을 기반으로 클래스 확률을 추정하는 방법의 유효성을 입증했습니다. 이는 임계값 조정을 통해 결정 경계를 유연하게 설정할 수 있게 합니다.
2. 다양한 퓨샷 전략 평가: 예시 수, 선택 방법 (무작위 vs 의미적 유사성), 클래스 균형 조정 등 다양한 퓨샷 설정이 생물의학 분류에 미치는 영향을 심층 분석했습니다.
3. 고급 기법의 실용성 검증: Chain of Thought, Tree of Thoughts, Chunking 등 복잡한 프롬프트 엔지니어링 기법이 실제 분류 성능 향상에 기여하는지 검증했습니다.
4. 생물의학 도메인 특화 평가: 15 개의 서로 다른 약물군 주제에 대한 광범위한 실험을 통해 LLM 의 일반화 능력을 평가했습니다.

4. 실험 결과 (Results)

• 출력 처리 방법:
  • 모델이 생성한 **첫 번째 토큰의 확률을 기반으로 클래스 확률을 계산하는 방법 (Token-Word/Token-JSON)**이 다른 모든 방법 (단순 텍스트, JSON, 점수 요청) 보다 AUPRC 에서 가장 우수한 성능을 보였습니다.
  • 모델에게 직접 점수를 요청하는 방법도 단순 텍스트 출력보다는 좋았으나, 토큰 확률 기반 방법에는 미치지 못했습니다.
• 프롬프트 및 예시:
  • 프롬프트의 복잡성보다는 사용자 메시지에 구체적인 질문 (예: "이 초록을 포함해야 하는가?") 을 포함하는 것이 성능 향상에 도움이 되었습니다.
  • 퓨샷 (Few-shot) 설정이 제로샷보다 훨씬 우수했습니다. 특히 1 개의 예시만 추가해도 성능이 크게 향상되었으나, 3~4 개 이상으로 늘리는 것은 추가적인 성능 향상을 가져오지 못하거나 오히려 감소하는 경향이 있었습니다.
  • 의미적 유사성 기반 예시 선택이 무작위 선택보다 훨씬 좋았으며, 임베딩 모델의 종류 (MiniLM, RoBERTa, MPNet) 에 따른 차이는 미미했습니다.
  • 예시 선택 시 클래스 균형을 인위적으로 맞추는 것은 오히려 성능을 저하시켰습니다.
• 고급 기법:
  • Chain of Thought, Tree of Thoughts, Chunking 등의 고급 기법은 계산 비용은 증가시켰으나 AUPRC 성능은 오히려 저하시키거나 유의미한 향상을 보이지 않았습니다.
• 모델 비교:
  • 전통적 모델 vs LLM: 대부분의 데이터셋에서 나이브 베이즈, 랜덤 포레스트, 미세 조정된 SciDeBERTa 등 전통적 모델이 LLM 보다 우수한 성능을 보였습니다.
  • LLM 간 비교: Llama 3.1 8B 모델이 70B 모델보다 평균 AUPRC 에서 약간 더 좋은 결과를 보였습니다. 상용 모델 (GPT-4.1) 과 오픈 소스 모델 간의 큰 성능 차이는 발견되지 않았습니다.
  • 성능 수치: LLM 의 평균 AUPRC 는 제로샷에서 약 0.4, 퓨샷에서 약 0.5 로, 나이브 베이즈 (0.5) 나 랜덤 포레스트 (0.5~0.55) 와 비슷한 수준에 도달했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용적 권장 사항:
  • LLM 을 텍스트 분류기에 사용할 때는 **소수의 퓨샷 예시 (3~4 개)**를 의미적 유사성 기반으로 선택하여 프롬프트에 포함하는 것이 가장 효과적입니다.
  • 토큰 확률을 활용하여 클래스 확률을 추정하는 것이 가장 신뢰할 수 있는 결과를 제공합니다.
  • 복잡한 프롬프트 기법 (CoT, ToT 등) 보다는 직관적이고 명확한 질문을 포함하는 프롬프트가 더 효율적입니다.
• 한계 및 시사점:
  • LLM 은 충분한 레이블된 데이터가 있는 경우 전통적 모델보다 계산 비용이 훨씬 많이 들며 성능 면에서도 우월하지는 않습니다.
  • 하지만 **레이블된 데이터가 극히 부족하거나 없는 상황 (Zero-shot/Few-shot)**에서는 전통적 모델에 버금가는 성능을 발휘할 수 있어, 전문 분야 (생물의학 등) 에서의 활용 가치가 높습니다.
  • 향후 연구에서는 더 다양한 모델, 더 적은 수의 퓨샷 예시 상황에서의 성능, 그리고 LLM 내부 임베딩을 활용한 추가 분류기 학습 등을 탐구할 필요가 있습니다.

이 논문은 LLM 이 단순한 생성 모델이 아닌, 효율적인 텍스트 분류기로서도 유효할 수 있음을 입증하고, 이를 위한 최적의 설정 (프롬프트, 출력 처리, 퓨샷 전략) 에 대한 구체적인 가이드라인을 제시했다는 점에서 의의가 있습니다.