Few shot chain-of-thought driven reasoning to prompt LLMs for open ended medical question answering

기술 요약: 개방형 의료 질의응답을 위한 퓨샷(Few Shot) 사고 사슬(Chain-of-Thought) 기반 추론

문제 정의

본 논문은 현재 의료 분야에서의 대규모 언어 모델(LLM) 활용 시 발생하는 한계점, 특히 의료 질의응답(QA)에서의 한계를 다룹다. LLM은 환자의 질의를 해석하는 데 유망한 가능성을 보이지만, 기존의 USMLE-MedQA와 같은 벤치마크는 객관식 문제(MCQ) 형식으로 구성되어 있다. 이러한 형식은 임상의가 미리 정의된 선택지 없이 진단을 내려야 하는 실제 임상 현장의 시나리오를 반영하지 못한다. 표준적인 프롬프팅 방법들은 실제 임상 실무에서 사용되는 점진적이고 전향적인 추론보다는, 주어진 선택지를 평가하는 "제거식(eliminative)" 추론에 의존하는 경gos이 있다. 따라서 개방형 임상 의사결정을 모사하고 응답의 검증 가능성을 보장할 수 있는 데이터셋과 프롬프팅 전략이 절실히 필요하다.

방법론

1. 데이터셋 구축: MEDQA-OPEN

저자들은 MEDQA-MCQ 데이터셋을 변형한 MEDQA-OPEN을 제안한다. 이 데이터셋은 다음과 같은 과정을 통해 표준 MCQ를 개방형 질문으로 변환한다:

• 객관식 선택지를 제거함.
• 질문을 개방형으로 재구성함.
• 임상의가 승인한 추론 과정이 포함된 정답을 포함함.
  또한, 의료 전문가로부터 추출한 25개의 복잡한 실제 의료 질의응답 쌍을 포함하는 CLINICIANCASES 데이터셋을 생성하였다.

2. 프롬프팅 전략

본 연구는 두 가지 구별되는 프롬프팅 방법론을 평가하고 비교한다:

• MCQ-ELIMINATIVE / ELIMINATIVE: Liévin 등(2022)의 연구를 변형한 것으로, 모델이 가용한 선택지들을 순회하며(MCQ의 경우), 임상적 맥락에 근거하여 특정 답안을 수용하거나 거부하는 과정을 명시적으로 추론하는 사고 사슬(CoT) 접근 방식을 채택한다.
• CLINICR (Clinical Reasoning): 임상의의 전향적이고 점진적인 추론을 모사하도록 설계된 새로운 5-샷(5-shot) CoT 프롬프트이다. 이 방식에서 모델은 선택지를 평가하는 대신 다음 과정을 수행한다:
  1. 관련 환자 병력을 복사함.
  2. 감별 진단을 위한 정신적 구조를 형성함.
  3. 새로운 맥락 정보(징후, 검사 결과)가 처리됨에 따라 잠재적 진단을 점진적으로 추가하거나 삭제함.
  4. 사전 정의된 목록에 의존하지 않고 최종 진단에 도달함.

3. 순방향-역방향(Forward-Backward) 접근법 및 검증

개방형 생성에 내재된 불확실성을 처리하기 위해, 저자들은 순방향-역방향(Forward-Backward) 프레임워크를 제안한다:

• 순방향 단계 (Forward Step): CLINICR 프롬프트를 사용하여 여러 잠재적 답변(감별 진단)을 샘플링한다.
• 역방향 단계 (Backward Step): 생성된 옵션들을 하나의 최종 진단으로 좁힌다. 이는 두 가지 방법을 통해 이루어진다:
  • MCQ-ELIMINATIVE: 샘플링된 옵션들을 새로운 MCQ 세트로 취급하고, 제거식 프롬프트를 사용하여 최적의 답안을 선택한다.
  • 검증기 (Verifier/Reward Model): 질문과 추론 과정이 주어졌을 때 특정 옵션이 정답일 가능성을 예측하도록 훈련된 보상 모델(Llama-2-7B 및 Llama-2-70B 기반)을 사용한다. 가장 높은 스칼라 보상을 가진 옵션이 선택된다.

4. 검증기 훈련

검증기는 질문-추론-답변(Question-Reasoning-Answer) 삼중항이 정답인지 오답인지를 구별하도록 MEDQA-MCQ 데이터셋을 통해 훈련되었다. 훈련 데이터에는 다음이 포함된다:

• 정답 삼중항(레이블 1) 및 오답 삼중항(레이블 0).
• 후보 답안에 대해 CoT 추론이 생성된 증강 데이터.
• 파인튜닝은 보상 모델링 손실(reward modeling loss)을 사용하여 Llama-2 모델에 저차원 적응(LoRA) 방식으로 수행되었다.

주요 결과

MCQ 대 개방형 성능 비교

• MCQ 설정 (MEDQA-MCQ): 표준 MCQ 데이터셋에서 MCQ-ELIMINATIVE 프롬프트가 MCQ-CLINICR 프롬프트보다 약간 우세하거나 대등한 성능을 보였다 (예: Llama-2-70B에서 정확도 52% 대 50%). 이는 선택지가 제공될 경우, 제거식 전략이 충분하며, 점진적 추론의 복잡성을 더하는 것이 큰 이점을 주지 못함을 시사한다.
• 개방형 설정 (MEDQA-OPEN & CLINICIANCASES): CLINICR 전략이 ELIMINATIVE 전략보다 유의미하게 높은 성능을 보였으며, 특히 규모가 작은 Llama-2-7B 모델에서 두드러졌다.
  • MEDQA-OPEN에서 CLINICR은 83%(7B) 및 87%(70B)의 의료 전문가 일치도를 달성한 반면, ELIMINATIVE는 56%(7B) 및 84%(70B)를 기록했다.
  • ELIMINATIVE 방식은 선택지가 없는 상황에서 고전하였으며, 모델 파라미터로부터 필요한 정보를 효과적으로 추출하는 데 실패하는 경우가 많았다.

검증의 영향

**검증기(Verifier)**를 활용한 순방향-역방향 접근법은 저자원 환경(Llama-2-7B)에서 가장 높은 성능을 나타냈다:

• MEDQA-OPEN에서 CLINICR-Verifier 방법은 단 7%의 불일치율로 **87%**의 전문가 일치도를 달형했다.
• 이 접근법은 7B 모델에서 30%의 높은 불일치율을 보인 ELIMINATIVE 방법을 지속적으로 능가했다.
• 70B 모델의 경우, 모든 방법이 양호한 성능을 보였는데, 이는 더 큰 모델은 덜 정교한 프롬프팅을 사용하더라도 정보를 효과적으로 추출할 수 있음을 나타내지만, 검증기가 여전히 견고한 선택 기능을 제공했다.

의의 및 주장

본 논문은 **점진적이고 추론 중심적인 프롬프팅(CLINICR)**이 개방형 의료 QA에서 제거식 추론보다 우월하다고 주장한다. 그 이유는 이것이 제한된 목록에서 선택하는 것이 아니라, 감별 진단을 형성하고 증거에 따라 이를 정교화하는 임상의의 실제 인지 과정을 모사하기 때문이다.

주요 기여는 다음과 같다:

1. MEDQA-OPEN: 개방형 의료 추론을 평가하기 위한 새로운 데이터셋.
2. CLINICR: MCQ를 위해 설계된 최신 CoT 프롬프트와 비교하여, 실제 임상 시나리오를 모사하는 데 있어 훨씬 뛰어난 성능을 입증한 프롬프팅 전략.
3. 검증 메커니즘: 수동적인 옵션 제거를 대체할 수 있는 유효한 대안으로서 보상 모델 검증기를 도입하여, 의료 환경에서 LLM 출력의 신뢰성을 향상시킴.

저자들은 LLM이 자연어를 처리할 수 있지만, 의료 분야에서는 정확성과 검증 가능성이 무엇보다 중요하다는 점을 강조한다. 이들의 연구는 LLM을 효과적인 임상 지원 시스템으로 배치하기 위해서는, 단순한 옵션 선택을 넘어 구조화되고 점진적인 추론 및 엄격한 응답 검증으로 상호작용 전략이 나아가야 함을 시사한다. 본 연구는 현재 Llama-2 모델에 국한되어 있다는 점을 언급하며, 향-후 연구에서 다른 아키텍처로의 일반화 가능성과 비매개변수적 지식 소스(예: RAG)의 통합을 탐구해야 한다고 밝히고 있다.