When Chain-of-Thought Backfires: Evaluating Prompt Sensitivity in Medical Language Models
이 논문은 의료용 대형 언어 모델 (MedGemma) 에서 체인 오브 씽킹 (CoT) 과 같은 일반적인 프롬프트 기법이 오히려 성능을 저하시키며, 프롬프트 민감도가 높고 로지스틱 확률 기반의 클로즈 점수 (cloze scoring) 가 더 신뢰할 수 있는 대안임을 보여줍니다.
이 논문은 **"의사용 AI(대형 언어 모델) 가 의외로 매우 까다롭고, 우리가 흔히 쓰는 '명령법'이 오히려 독이 될 수 있다"**는 놀라운 사실을 발견한 연구입니다.
비유하자면, 이 연구는 **"훌륭한 요리사 (AI) 가 있는데, 손님이 요리를 시킬 때 너무 상세한 레시피를 알려주거나, 재료 순서를 바꿔달라고 하면 오히려 맛없는 요리를 내온다"**는 것을 실험으로 증명했습니다.
주요 내용을 쉬운 비유와 함께 설명해 드릴게요.
1. "생각해 봐!"라고 말하면 오히려 망친다 (Chain-of-Thought 의 역효과)
일반적인 믿음: AI 에게 "단계별로 생각해보고 답을 내줘"라고 하면 (이를 'Chain-of-Thought'라고 합니다), 더 똑똑해져서 정답을 잘 맞출 거라고 생각했습니다.
실제 결과: 의과대학생용 AI 에게는 정반대였습니다. "생각해 봐"라고 시키니 오히려 정답률이 5.7% 나 떨어졌습니다.
비유: 마치 수학 문제를 풀 때, 머릿속에 이미 정답이 있는 천재에게 "자, 이제부터 1 단계, 2 단계로 하나하나 설명해 봐"라고 강요하는 상황과 같습니다. 천재는 원래 바로 답을 알았는데, 설명하느라 헷갈려서 실수를 저지르는 거죠.
왜 그럴까? 의료 전문 AI 는 훈련 과정에서 이미 복잡한 의학 지식을 내재화하고 있습니다. 굳이 말로 설명하라고 하면, 오히려 그 과정에서 스스로를 혼란스럽게 하거나, "아, 이건 드문 경우니까 A 가 아닐 거야"라고 생각하다가 정작 A 가 정답인 경우를 틀리게 됩니다.
2. 답안지 순서만 바꿔도 AI 는 당황한다 (위치 편향)
현상: AI 가 문제를 풀 때, 보기 (A, B, C, D) 의 순서만 살짝 바꿔도 59.1% 의 경우에 답을 완전히 바꿔버렸습니다.
비유:시험지 지문은 그대로인데, 보기 순서만 뒤섞였을 때, AI 는 문제의 내용을 읽지 않고 "아, 이번엔 B 가 정답이겠지"라고 순서만 보고 찍는 것과 같습니다.
위험성: 실제 진료에서 AI 가 "약 A 를 드세요"라고 했다가, 보기 순서만 바뀌자 "약 B 를 드세요"라고 한다면? 이는 환자 안전에 치명적입니다. AI 가 내용을 이해한 게 아니라, 순서라는 '단서'에 의존하고 있다는 뜻입니다.
3. 글의 앞부분을 잘라내면 AI 는 아예 길을 잃는다 (문맥의 중요성)
실험: 긴 의학 논문 (문맥) 을 AI 에게 주었을 때, 글의 앞부분을 잘라내면 AI 는 정답률이 0 에 수렴할 정도로 떨어졌습니다. 하지만 글의 뒷부분을 잘라내면은 거의 영향을 받지 않았습니다.
비유:여행 가이드북의 '서문'과 '목적지 소개'를 떼어내면 여행자가 길을 잃지만, '마지막 요약'을 떼어내면 큰 상관이 없는 것과 같습니다.
교훈: AI 는 글의 시작 부분에서 "이게 무슨 이야기지?"라는 방향 감각을 얻습니다. 시작을 잘라내면 AI 는 완전히 방황합니다.
4. AI 는 "말"보다 "마음속 생각"이 더 정확하다 (Cloze Scoring)
발견: AI 가 직접 말을 만들어내는 것 (생성) 보다는, AI 가 마음속으로 각 보기에 대해 "이게 정답일 확률이 얼마나 높지?"라고 계산한 수치를 직접 읽어내는 방법이 훨씬 정확했습니다.
비유:학생이 시험지를 풀 때, "왜 이 답이 맞는지" 긴 논술로 설명하는 것보다, "내 머릿속에서 이 답이 가장 확실히 느껴져"라고 고개를 끄덕이는 것이 더 정확할 수 있다는 뜻입니다.
결과: AI 가 말로 설명하는 과정에서 실수를 하거나, 설명을 잘못 써서 정답을 못 찾는 경우가 많았습니다. AI 가 실제로는 더 많은 지식을 가지고 있었지만, 그 지식을 "말"로 꺼내는 과정에서 망가진 것이었습니다.
5. 결론: 의사는 AI 를 어떻게 써야 할까?
이 연구는 우리에게 중요한 교훈을 줍니다.
너무 많이 말하지 마라: AI 에게 "단계별로 생각해보라"거나 "예시를 보여줘라"고 하는 건 오히려 방해가 될 수 있습니다. 그냥 "정답은?"이라고 간단히 물어보는 게 나을 때가 많습니다.
순서에 주의하라: AI 의 답이 순서 때문에 바뀔 수 있으니, 여러 번 순서를 바꿔서 물어보고 대다수의 의견이 일치할 때만 믿어야 합니다.
앞부분을 잘라내지 마라: 문맥을 줄여야 한다면 끝부분을 잘라내세요. 시작 부분은 절대 건드리면 안 됩니다.
말보다 숫자를 믿어라: AI 가 직접 글을 쓰는 것보다, AI 가 각 보기에 대해 가진 '확률 수치'를 직접 확인하는 방식이 훨씬 안전하고 정확합니다.
한 줄 요약:
"훌륭한 의료 AI 가 있는데, 우리가 너무 많이 지시하거나 순서를 바꿔주면 오히려 멍청해집니다. AI 가 '말'로 설명하는 것보다 '마음속 계산'을 직접 보는 게 더 똑똑하고 안전합니다."
이 연구는 의료 현장에서 AI 를 쓸 때, 단순히 "정답률"만 보고 믿지 말고, 어떻게 질문을 던지느냐 (프롬프트) 가 얼마나 중요한지, 그리고 AI 의 약점 (순서 의존성, 설명 오류) 을 어떻게 보완할지 알려줍니다.
1. 문제 제기 (Problem)
대규모 언어 모델 (LLM) 이 의료 분야에서 점차 활용되고 있지만, 프롬프트 포맷의 미세한 변화에 대한 모델의 민감도가 제대로 규명되지 않았습니다.
기존 통념의 한계: 일반 목적 LLM 에서 유효한 프롬프트 엔지니어링 기법 (Chain-of-Thought, Few-shot 학습 등) 이 도메인 특화 의료 모델에도 동일하게 적용되어 성능을 향상시킨다는 가정이 널리 퍼져 있습니다.
실제 위험: 의료 환경에서는 입력 데이터의 포맷, 질문 순서, 문맥 제시 방식이 벤치마크 조건과 다를 수 있습니다. 이러한 변형에 모델이 어떻게 반응하는지 이해하지 못한 채 배포할 경우, 신뢰할 수 없는 진단 결과를 초래할 수 있습니다.
핵심 질문: 의료 전문 모델 (MedGemma) 에도 CoT(Chain-of-Thought) 나 Few-shot 예시가 성능 향상을 가져오는가, 아니면 오히려 역효과를 내는가?
2. 연구 방법론 (Methodology)
저자들은 구글의 의료 전문 모델인 MedGemma(4B 및 27B 파라미터) 를 대상으로 MedMCQA(4,183 개 질문) 와 PubMedQA(1,000 개 질문) 데이터셋을 사용하여 4 가지 주요 실험 축을 통해 체계적인 평가를 수행했습니다.
실험 1: 프롬프트 제거 연구 (Prompt Ablation)
10 가지 프롬프트 전략 (Zero-shot 직접 답변, Zero-shot CoT, Few-shot 직접/CoT, 정답만 등) 을 비교하여 정확도와 위치 편향 (Position Bias) 을 측정.
실험 2: 선택지 순서 민감도 (Option Order Sensitivity)
MedMCQA 의 선택지 순서를 무작위 섞기, 회전 (rotate), 오답 교환 등 다양한 방식으로 변형하여 모델의 예측이 얼마나 자주 바뀌는지 (Flip Rate) 측정.
실험 3: 증거 조건화 (Evidence Conditioning)
PubMedQA 에서 문맥 (초록) 의 제시 방식을 11 가지로 변경 (전체, 앞쪽 잘라내기, 뒤쪽 잘라내기, 중간 잘라내기, 핵심 문장 추출 등) 하여 문맥의 위치와 양이 정확도에 미치는 영향 분석.
실험 4: 강건성 기반 대안 (Robustness Baselines)
Cloze Scoring: 텍스트 생성을 거치지 않고 다음 토큰의 로그 확률 (Log-probability) 을 기반으로 정답 선택지 (A-D) 중 가장 확률이 높은 것을 직접 선택.
Permutation Voting: 여러 선택지 순서로 추론한 후 다수결로 최종 답을 도출.
CoT Self-Consistency: CoT 를 여러 번 샘플링하여 다수결로 답을 결정.
3. 주요 결과 (Key Results)
A. CoT 와 Few-shot 의 역효과
CoT 의 성능 저하: CoT 프롬프팅을 사용한 경우, 직접 답변 (Zero-shot direct) 에 비해 정확도가 5.7% 감소했습니다. (MedGemma 는 의료 텍스트 학습을 통해 이미 구조화된 추론을 내재화하고 있어, 명시적인 CoT 지시가 오히려 방해가 됨).
Few-shot 의 악영향: Few-shot 예시를 추가한 경우 정확도가 11.9% 하락했으며, 위치 편향 (Position Bias) 이 0.14 에서 0.47 로 3 배 이상 급증했습니다. 모델은 예시의 유용한 형식보다는 예시에서 우연히 발견한 패턴 (Spurious patterns) 을 학습하게 됩니다.
B. 극심한 선택지 순서 민감도
Flip Rate 59.1%: 선택지 순서를 무작위로 섞었을 때 모델이 정답을 59.1% 의 확률로 변경했습니다.
위치 의존성: 모델은 선택지의 내용보다는 위치 (Position) 에 더 의존하여 답변하는 경향이 강했습니다. 회전 (Rotation) 변형 시 정확도가 최대 27.4%p 하락했습니다.
C. 문맥 잘라내기의 비대칭적 영향
앞쪽 잘라내기 (Front-truncation): 초록의 앞부분을 50% 잘라내면 정확도가 13.8% (4B 모델) 로 떨어졌으며, 이는 문맥이 아예 없는 경우 (34.5%) 보다도 나빴습니다.
뒤쪽 잘라내기 (Back-truncation): 반면, 뒷부분을 50% 잘라내면 전체 문맥 사용 시 정확도 (45.8%) 의 97% (44.5%) 를 유지했습니다.
결론: 모델은 초록의 시작 부분 (Orientation) 에 의존하며, 끝부분이 잘려나가도 큰 영향이 없습니다.
D. Cloze Scoring 의 우월성
최고의 성능: 텍스트 생성을 거치지 않고 토큰 확률로 정답을 선택하는 Cloze Scoring이 모든 기법 중 가장 높은 정확도를 기록했습니다.
4B 모델: 51.8% (Zero-shot 직접 답변 47.6% 대비 우위)
27B 모델: 64.5% (전체 문맥 조건 38.2% 보다 26.3%p 높음)
의미: 모델이 "알고 있는 지식"은 생성된 텍스트보다 훨씬 많으며, 생성 및 파싱 파이프라인이 성능 저하의 주원인임을 시사합니다. 위치 편향 또한 Cloze Scoring 에서 현저히 낮았습니다.
4. 주요 기여 및 시사점 (Contributions & Significance)
의료 LLM 에 대한 프롬프트 엔지니어링의 재평가: 일반 LLM 에서 검증된 CoT 나 Few-shot 기법이 의료 도메인 모델에서는 오히려 성능을 저하시킬 수 있음을 실증했습니다.
강건한 배포 전략 제시:
Cloze Scoring: 설명 가능성 (Explainability) 이 필수적이지 않은 경우, 생성 파이프라인을 우회하여 정확도를 극대화하는 최선의 방법입니다.
Permutation Voting: 선택지 순서 민감도를 완화하기 위해 여러 순서로 추론 후 다수결을 적용하는 것이 효과적입니다.
문맥 처리 전략: RAG(검색 증강 생성) 시스템에서 문맥을 잘라낼 때는 뒤쪽 (End) 을 잘라야 하며, 앞쪽을 잘라내서는 안 됩니다. 또한, 전체 초록보다는 핵심 문장 (Results section 등) 만 추출하는 것이 더 효과적입니다.
임상적 안전성 경고: 프롬프트의 작은 변화가 오답을 유도할 수 있으며, 이는 단순히 통계적 오류가 아닌 위험한 약물 처방 (예: 금기 약물 선택) 으로 이어질 수 있음을 사례를 통해 경고했습니다.
모델 크기 (Scale) 에 대한 새로운 관점: 27B 모델이 생성 기반 평가에서는 4B 보다 낮게 나왔으나, Cloze Scoring 에서는 압도적으로 높은 성능을 보였습니다. 이는 "모델의 지식은 크기에 비례하지만, 이를 표현하는 생성 파이프라인이 병목 현상"임을 보여줍니다.
5. 결론
이 논문은 의료용 LLM 의 배포 시 표준 프롬프트 엔지니어링 기법의 무분별한 적용이 위험할 수 있음을 경고합니다. 대신 Cloze Scoring, 선택지 순서 무작위화 및 투표, 뒤쪽 문맥 잘라내기와 같은 실용적인 완화 전략을 통해 모델의 내재된 지식을 더 신뢰할 수 있게 활용할 수 있음을 입증했습니다. 의료 AI 의 안전하고 신뢰할 수 있는 배포를 위해서는 도메인 특화 모델에 대한 엄격한 프롬프트 민감도 테스트가 필수적입니다.