Curation and Extraction of Drug-Related Entities from Reddit Platform

기술 요약: Reddit 플랫폼으로부터 약물 관련 개체 수집 및 추출

문제 제기
의사들은 주로 임상적 과다복용 사례를 통해 불법 약물에 대해 학습하므로, 실제 사용 패턴, 용량 및 효과에 대한 이해가 제한됩니다. 반면, 약물 사용자는 Reddit과 같은 소셜 미디어 플랫폼에서 1 차 경험을 자주 공유하며, 이는 공식적인 의학 용어와 종종 다른 새로운 정신활성 물질 (NPS) 및 구어체 용어에 대한 통찰력을 제공합니다. 이전 연구들은 추적 목적으로 소셜 미디어를 활용해 왔으나, 약물명뿐만 아니라 보고된 용량과 효과도 주석된 표준화되고 큐레이션된 데이터셋의 부재는 심각한 문제입니다. 기존 개체명 인식 (NER) 데이터셋은 특정 물질로 제한되거나, 구조화된 임상 서술에 의존하여 비구조화된 사용자 생성 텍스트를 다루지 못하거나, 용량 및 부작용에 대한 주석이 결여되어 있습니다. 이러한 격차는 임상 용어와 구어체 온라인 담론 사이의 간극을 메우고 신흥 공중보건 위협을 식별할 수 있는 NLP 모델 개발을 방해합니다.

방법론
이러한 과제를 해결하기 위해 저자들은 REDOSE(REddit Drug DOSe and Effect) 라는 포괄적인 데이터셋 및 벤치마킹 프레임워크를 소개했습니다.

• 데이터 큐레이션: 이 데이터셋은 7 개의 약물 관련 서브레딧 (예: r/fentanyl, r/heroin, r/suboxone) 에서 수집된 6,435 개의 고유 문서로 구성됩니다. 데이터는 Reddit API(praw) 를 사용하여 추출되었으며, 사용자 이름 및 지리적 위치와 같은 메타데이터는 개인 정보를 보호하기 위해 제거되었습니다. 중복 게시물은 필터링되었습니다.
• 주석 과정: Board-certified 의료 독성학자가 훈련 및 테스트 세트를 주석 달았고, 두 명의 의학 과학 학생이 검증 세트를 주석 달았습니다. 주석 체계는 세 가지 개체 유형에 초점을 맞췄습니다:
  • DRUG: 신경전달물질을 제외한 약물, 비타민 또는 허브.
  • DOSE: 물질의 양과 단위.
  • EFFECT: 물질로 인한 신체적 또는 정신적 상태 변화.
  • 다중 개체 문서에 맞게 조정된 방법을 사용하여 주석자 간 일치도 (IAA) 를 계산한 결과, 점수는 0.75 였습니다.
• 모델 개발 및 벤치마킹: 이 연구는 세 가지 범주의 모델을 평가했습니다:
  1. BERT 기반 모델: BaseBERT, BioBERT, BiomedBERT 를 미세 조정했습니다. 또한 BaseBERT 와 BioBERT 에 CRF 및 LSTM 레이어를 추가하여 성능 향상을 평가했습니다.
  2. 대규모 언어 모델 (LLM): GPT-4 와 Llama-3(8B 및 70B 변형) 을 원샷 프롬핑팅 (one-shot prompting) 을 사용하여 테스트했습니다.
  3. 검색 증강 생성 (RAG): LLM 을 위해 훈련 코퍼스에서 상위 5 개의 가장 유사한 예시를 추출하여 프롬프트에 추가하는 검색 기반 접근 방식을 개발하여 정적 퓨샷 (few-shot) 예시의 한계를 극복하고자 했습니다.
• 평가: 지표에는 스패닝 수준 정밀도, 재현율 및 F1 점수가 포함되었습니다. LLM 의 경우 수치적 용량에 대한 토큰화 문제로 인해 문서 수준 지표를 사용했습니다.

주요 결과

• 데이터셋 통계: REDOSE 는 15,469 개의 문장에 걸쳐 6,267 개의 주석된 개체 (DRUG 4,784 개, EFFECT 750 개, DOSE 733 개) 를 포함합니다.
• BERT 성능:
  • BiomedBERT는 높은 정밀도 (0.907) 와 함께 DRUG추출에서 가장 높은 F1 점수 (0.843) 를 달성했습니다.
  • BaseBERT는 BERT 변형 중 DRUG에 대한 가장 높은 재현율 (0.873) 과 가장 높은 전체 마이크로 평균 F1 점수 (0.826) 를 달성했습니다.
  • EFFECT 추출: 모든 BERT 기반 모델은 EFFECT 추출에서 현저히 어려움을 겪었으며, F1 점수는 BiomedBERT 의 0.043 에서 BaseBERT 의 0.298 까지 다양했습니다. CRF+LSTM 레이어를 추가하면 EFFECT F1 점수가 약간 향상되었으나 (BioBERT+CRF+LSTM 의 경우 최대 0.291), 다른 카테고리에서 더 간단한 모델보다 크게 우월하지는 않았습니다.
• LLM 성능:
  • Llama-3 70B는 DRUG추출에서 GPT-4 를 능가했습니다 (F1 = 0.79 대 0.72).
  • GPT-4는 EFFECT추출에서 뛰어난 성능을 보였으며, 재현율이 0.41 로 Llama-3 70B 의 0.04 보다 높았으며, 이는 EFFECT 에 대한 가장 좋은 전체 F1 점수 (0.12) 를 기록했습니다.
  • RAG 영향: RAG 접근 방식은 Llama-3 8B 의 DRUG 추출 재현율 (44% 에서 80% 로) 과 F1 점수 (0.55 에서 0.75 로) 를 크게 향상시켰으나, EFFECT 추출에 대한 향상은 미미했습니다.
• 비교 분석: 일부 예상과 달리, 미세 조정된 BERT 모델 (특히 BaseBERT) 은 약물 추출에 있어 전반적인 재현율과 F1 점수에서 LLM 보다 우월했습니다. 저자들은 이를 Reddit 의 사용자 생성 텍스트가 엄격한 의학 전문 용어보다는 일반 언어 코퍼스와 더 잘 부합하기 때문이라고 설명합니다.

의의 및 기여
이 논문은 세 가지 주요 기여를 주장합니다:

1. REDOSE 데이터셋: 약물, 용량 및 효과에 대한 상세한 주석과 함께 온라인 플랫폼에서 수집된 최초의 데이터셋을 도입했습니다. 이는 공식 의료 기록에서 종종 놓치는 환자 큐레이션 내러티브 및 구어체 용어 (예: "fent", "SEA #4") 를 포착하여 신흥 물질 탐지를 위한 모델을 훈련할 수 있는 자원을 제공합니다.
2. 벤치마킹: 이 연구는 소셜 미디어 컨텍스트의 의료 NER 작업에 대해 전통적인 미세 조정 BERT 모델과 현대 LLM(원샷 및 RAG 기반 모두) 간의 공정한 비교를 제공합니다.
3. 모델 분석: 이 연구는 모델 행동에 대한 심층 분석을 제공하여, LLM 이 방대한 지식 베이스를 보유하고 있음에도 불구하고 미세 조정 없이는 의료 NER 에 필요한 특정 빈도 분포와 엄격한 경계 정의에 어려움을 겪을 수 있음을 강조합니다. 또한 도메인별 언어와 다른 사용자 생성 콘텐츠에는 더 간단한 모델이 더 적합할 수 있음을 확인합니다.

저자들은 REDOSE 가 신흥 동향을 탐지하고 공중보건 지침을 informing 하는 데 필요한 약물 사용 연구에서 NLP 를 발전시키는 데 중요한 자원으로 기능한다고 결론지으며, 향후 작업은 데이터셋 편향을 해결하고 멀티모달 통합을 탐구해야 한다고 지적합니다.