FMI@SU ToxHabits: Evaluating LLMs Performance on Toxic Habit Extraction in Spanish Clinical Texts

논문 요약: 스페인어 임상 텍스트에서의 유해 습관 (Toxic Habits) 추출을 위한 LLM 성능 평가

1. 문제 정의 (Problem)

• 배경: 임상 사례 보고서 및 퇴원 요약서에는 방대한 양의 비정형 (unstructured) 임상 데이터가 존재하며, 이는 자동화된 분석을 어렵게 만듭니다. 특히 2021 년 기준 15~64 세 인구 중 약 2 억 9 천 6 백만 명이 정신활성 약물을 사용한 것으로 추정되어, 약물 남용 및 유해 습관 (Tobacco, Alcohol, Cannabis, Drug) 에 대한 구조화된 정보 추출은 공중보건 및 임상 연구에 매우 중요합니다.
• 과제: BioCreative IX 워크숍의 'ToxHabits' 공유 태스크에 참여하여, 스페인어 임상 텍스트에서 유해 물질 사용 및 남용을 나타내는 개체명 (Named Entities) 을 인식하고, 이를 **4 가지 카테고리 (담배, 알코올, 대마초, 약물)**로 분류하는 Named Entity Recognition (NER) 작업을 수행하는 것이 목표였습니다.
• 난제: 기존 LLM 은 개체의 시작 및 종료 인덱스 (Entity Boundaries) 를 정확하게 식별하는 데 어려움을 겪으며, 특히 비영어권 (스페인어) 임상 텍스트에서의 성능 검증이 부족했습니다.

2. 방법론 (Methodology)

연구팀은 OpenAI 의 LLM 을 활용한 다양한 접근법을 실험하였으며, GPT-4.1을 기반으로 한 Few-shot Prompting 기법이 가장 효과적이었습니다. 주요 프로세스는 다음과 같습니다.

• 데이터 전처리:
  • 임상 보고서를 두 개의 연속된 개행 문자를 기준으로 섹션으로 분할하여 입력 텍스트 길이를 줄임 (짧은 입력이 더 정확한 개체 추출에 유리함을 확인).
  • 학습 데이터 (Train set) 에서 무작위로 5 개의 예시를 샘플링하여 In-context Learning 을 적용.
• 프롬프트 엔지니어링:
  • Few-shot Prompting: 5 개의 예시와 작업 설명을 포함한 프롬프트를 구성하여 모델이 각 카테고리 (담배, 알코올, 대마초, 약물) 에 해당하는 구문을 추출하도록 유도.
  • 구조화된 출력: 모델의 구조화된 출력 기능을 활용하여 추출된 구문을 명시적으로 분리.
  • 중복 처리: 추출된 구문이 텍스트 내에서 겹치는 경우 (Overlap), 학습 데이터의 경향성을 반영하여 더 짧은 범위를 선택.
• 최적화 도구:
  • DsPy 라이브러리를 사용하여 실험 수행.
  • MIPROv2 (Multiprompt Instruction Proposal Optimizer): 프롬프트 자동 최적화를 통해 성능을 약 1% 향상.
  • 수동 최적화: 자동 최적화보다 정밀도 (Precision) 와 F1 점수를 약 1% 더 높인 수동 프롬프트를 개발 (최대 토큰 수 16,000 까지 확장 및 Temperature 1 설정).
• 평가 지표:
  • 표준 정밀도, 재현율, F1 점수.
  • 부분 일치 (Partial Match) 지표: Gold 표준 개체가 예측된 개체에 완전히 포함되는 비율 (GC) 및 올바른 유형까지 일치하는 비율 (GCT) 을 추가로 측정.

3. 주요 결과 (Results)

• 테스트 세트 성능:
  • 제안된 GPT-4.1 Few-shot (5 예시) 모델이 F1 점수 0.65 (정밀도 0.59, 재현율 0.72) 를 기록하여 가장 좋은 성능을 보였습니다.
  • Zero-shot 설정은 Few-shot 보다 약 6% 낮은 F1 점수를 기록했습니다.
  • 사전 기반 (Dictionary) 베이스라인은 높은 재현율 (0.87) 을 보였으나 정밀도가 낮아 (0.46), 하이브리드 접근법 (사전 + GPT) 은 오히려 성능을 저하시켰습니다.
  • **BERT 기반 모델 (Spanish Clinical RoBERTa)**은 개발 세트 (Dev set) 에서 F1 0.79 로 더 높은 성능을 보였으나, 테스트 세트 제출 시에는 LLM 기반 모델이 최종 순위에서 더 좋은 결과를 얻었습니다.
• 오류 분석:
  • 주요 오류 원인은 개체 경계 (Boundary) 인식의 부정확성입니다. 모델은 종종 유해 습관 언급에 포함된 부정어 (negation) 나 맥락 정보 (사용량, 방법 등) 를 함께 추출하여 개체 범위를 과도하게 확장했습니다.
  • Gold 표준 개체가 모델이 추출한 긴 구문에 포함되는 비율 (GC) 은 약 78~83% 로 높았으나, 정확한 경계 매칭은 어려웠습니다.
  • GPT-4.5 Preview 는 개체 유형 분류에서 많은 오류를 보였습니다.

4. 주요 기여 (Key Contributions)

1. 비영어권 임상 NER 에 대한 LLM 평가: 스페인어 임상 텍스트에서 유해 습관 추출을 위한 LLM 성능에 대한 체계적인 평가와 벤치마크를 제공했습니다.
2. Few-shot Prompting의 효과 입증: 제로샷 (Zero-shot) 보다 퓨샷 (Few-shot) 프롬프팅이 스페인어 임상 NER 태스크에서 훨씬 더 효과적임을 입증했습니다.
3. 자동화 및 최적화 도구 활용: DsPy 라이브러리와 MIPROv2 옵티마이저를 활용하여 프롬프트를 자동 및 수동으로 최적화하는 프로세스를 제시했습니다.
4. 오류 패턴 분석: LLM 이 유해 습관 언급을 추출할 때 발생하는 경계 오류 (과도한 맥락 포함) 와 부정어 처리의 중요성을 구체적으로 분석했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 다국어 임상 NER 의 가능성: LLM 은 소수의 예시만으로도 다국어 (스페인어) 환경에서 유망한 개체 추출 성능을 보이며, 영어 중심의 기존 연구에서 소외되었던 언어 영역에서의 가능성을 열었습니다.
• 향후 연구 방향:
  • 경계 정제 (Boundary Refinement): LLM 이 추출한 긴 구문에서 정확한 개체 범위를 결정하기 위한 후처리 (Post-processing) 단계나 경계 분류 모델 도입이 필요합니다.
  • 의미적 유사성 기반 예시 선택: kNN 기반 Few-shot 학습을 통해 각 레코드에 가장 적합한 예시를 선택하면 성능이 더 향상될 것으로 기대됩니다.
  • 통합 접근: 추출 (Extraction) 과 속성 분류 (Attribute Classification) 를 별도의 모델이 아닌 하나의 LLM 파이프라인으로 통합하는 것이 효율적일 수 있습니다.

이 연구는 LLM 기반 NER 이 미세 조정된 BERT 모델만큼의 정확도를 즉시 달성하지는 못했지만, 다국어 임상 텍스트 처리를 위한 유망한 방향성을 제시하고 있으며, 향후 후처리 기법과 결합 시 성능이 크게 개선될 수 있음을 시사합니다.