기술 요약: 최첨단 LLM 의 조기 종결 정량화 및 완화

문제 정의

본 논문은 의학에 적용된 대규모 언어 모델 (LLM) 에서의 치명적이면서도 간과된 실패 모드인 **조기 종결 (premature closure)**을 다룹니다. 임상 실무에서 조기 종결은 충분한 정보가 수집되기 전에 진단이나 계획을 확정하는 인지적 오류입니다. 저자들은 LLM 조기 종결을 "불확실성 하의 부적절한 확정"으로 정의하며, 이는 안전한 응답을 지지하지 않는 정보가 있을 때 답변을 제공하거나, 구체적인 임상 지침을 제시하거나, 위험한 지시를 따르는 것을 의미합니다.

핵심 문제는 현재 의료 AI 벤치마크가 종종 정답이 존재한다고 가정하고 그 선택을 보상함으로써, 모델이 어떤 옵션도 적절하지 않을 때 이를 인식할 수 있는지 테스트하지 못한다는 점입니다. 이는 모델이 도움이 되는 것처럼 보이지만, 명확화, 자제, 에스컬레이션, 또는 거부가 필요한 상황에서 자신감 있고 구체적이며 잠재적으로 해로운 지침을 생성하는 안전 위험을 초래합니다.

방법론

이 연구는 구조화 및 개방형 의료 작업에 대해 두 가지 조건 (기저 프롬프트 및 안전 지향 프롬프트) 하에서 다섯 가지 최첨단 LLM(GPT-5.4, Claude Opus 4.7, Grok 3, Gemini 2.5 Pro, DeepSeek R1) 을 평가했습니다.

1. 구조화된 객관식 평가

저자들은 정답 옵션을 포함하는 "답할 수 없는" 항목을 포함하도록 두 가지 표준 벤치마크인 MedQA(USMLE 스타일) 와 AfriMed-QA(아프리카 전역 컨텍스트) 를 수정했습니다.

• INTACT 항목: 정답 옵션을 유지했습니다.
• NOTA(위 항목 없음) 항목: 정답 옵션을 완전히 제거하여 오답만 남겼습니다.
• 지표: **거짓 행동률 (False Action Rate)**로, 모델이 자제하는 대신 답변을 선택한 NOTA 항목의 비율로 정의됩니다.
• 프롬프팅: 안전 프롬프트는 옵션이 명확히 옳지 않다면 모델이 자제하도록 명시적으로 지시했습니다.

2. 개방형 평가

저자들은 HealthBench(861 개 질문) 와 HealthBench Professional(191 개 적대적 레드팀 쿼리) 을 활용했습니다.

• HealthBench: 미지정 저위험, 미지정 긴급, 충분한 컨텍스트, 불확실성 민감 사례를 포함했습니다.
• 적대적 쿼리: 모델을 과도하게 자신감 있거나 위험한 답변으로 유도하도록 설계되었습니다 (예: 급성 충수염 징후가 있는 환자를 퇴원시키도록 모델에 지시).
• 지표:
  • 조기 종결률: 자제/명확화/에스컬레이션이 더 안전한 상황에서 모델이 구체적인 지침을 제공했는지 이진 레이블링.
  • 루브릭 점수: 의사가 작성한 기준에 따른 적절성 행동 일치도 점수 (위험한 지침에 대한 부정적 패널티부터 적절한 행동에 대한 긍정적 가산점까지).
• 프롬프팅: 안전 프롬프트는 상황이 긴급하다면 추측하기보다 불확실성을 표현하거나, 명확화를 요청하거나, 즉각적인 치료를 권장하도록 모델에 지시했습니다.

3. 평가 프로토콜

응답은 의사가 작성한 루브릭에 대비하여 LLM 판정자 (GPT-5.4 및 Claude Opus 4.7) 를 사용하여 평가되었습니다. 통계적 유의성은 쌍대 이진 결과에 대한 맥네마르 검정과 루브릭 점수에 대한 윌콕슨 부호 순위 검정을 사용하여 테스트되었습니다.

주요 결과

구조화 작업 (MedQA 및 AfriMed-QA)

• 기저 실패: 모델들이 자주 답할 수 없는 NOTA 항목에서 답변을 선택했습니다. 기저 거짓 행동률은 높았습니다: MedQA 에서 55–81%, AfriMed-QA 에서 **53–82%**였습니다.
• 안전 프롬프팅의 영향: 안전 프롬프팅은 거짓 행동률을 유의하게 감소시켰습니다 (평균 약 70% 에서 약 48% 로 하락). 그러나 잔여 실패가 지속되어 비율이 여전히 상당했습니다 (예: Claude Opus 4.7 은 65–66% 로 유지됨).
• 트레이드오프: 대부분의 모델의 경우 거짓 행동을 줄이는 것이 답할 수 있는 (INTACT) 항목의 정확도에 유의미한 영향을 미치지 않았습니다 (평균 1.0% 포인트 감소). 그러나 Grok 3 은 거짓 행동 감소가 유효 항목의 낮은 정확도와 동반되는 트레이드오프를 보였습니다.

개방형 작업 (HealthBench 및 적대적)

• 기저 성능: 조기 종결은 특히 미지정 저위험 시나리오에서 흔했습니다 (모델 간 기저율 73–96%). 모델들은 위험 신호가 명시된 긴급 사례에서 더 잘 수행했습니다.
• 적대적 취약성: 적대적 쿼리에서 기저 조기 종결은 심각했습니다. 다섯 개 모델 중 네 개가 >70% 의 사례에서 위험한 지침을 확정했습니다. 특히 Grok 3과 DeepSeek R1은 음의 기저 루브릭 점수 (−10.3% 및 −8.4%) 를 보였는데, 이는 적절한 요소에 대한 가산점보다 위험한 행동에 대한 패널티가 더 컸음을 나타냅니다.
• 완화의 한계: 안전 프롬프팅은 적대적 쿼리에서 조기 종결을 9–20% 포인트 감소시키고 루브릭 점수를 개선했습니다 (예: Grok 3 은 −10.3% 에서 +4.9% 로 개선). 그러나 안전 프롬프팅을 사용하더라도 모든 모델이 여전히 적대적 쿼리의 대다수에서 조기에 확정했습니다. 가장 낮은 잔여율은 50.8% (Claude Opus 4.7) 였습니다.

중요성 및 주장

본 논문은 최첨단 LLM 이 답변하지 말아야 할 때 답변하려는 경향이 평가 형식을 초월하는 지속적인 실패 모드라고 주장합니다. 저자들은 발견 사항의 중요성과 관련하여 다음과 같은 구체적인 주장을 합니다:

1. 프롬프팅의 한계: 안전 지향 프롬프팅은 조기 종결을 줄이는 유용하고 저비용이며 즉시 배포 가능한 수단이지만, 결정적인 해결책은 아닙니다. 특히 적대적이고 모호한 시나리오에서 상당한 잔여 실패가 남아 있습니다.
2. 선택적 민감도: 모델들은 명시적인 긴급 신호 (위험이 명백할 때 에스컬레이션) 에 선택적으로 민감하게 반응하는 것처럼 보이지만, 겉보기에 무해한 시나리오에서 누락된 컨텍스트에는 둔감합니다. 이는 불충분한 정보로 인해 추론이 불가능할 때 인식하는 능력인 "메타 추론"의 격차를 시사합니다.
3. 평가 격차: 정답의 정확성을 강조하는 현재 벤치마크는 불확실성 처리를 평가하지 못합니다. 저자들은 적절한 자제를 명시적으로 보상하고 미지정 및 적대적 시나리오를 포함하는 평가 프레임워크를 요구합니다.
4. 시스템적 요구 사항: 조기 종결을 해결하는 것은 프롬프트 엔지니어링 그 이상을 필요로 합니다. 자제를 명시적으로 보상하는 훈련 목표, 개선된 불확실성 보정, 명확화 또는 에스컬레이션을 위한 메커니즘을 포함한 시스템 수준의 설계 변경이 필요합니다.
5. 임상적 함의: 임상가와 의료 시스템에 대해 이 발견들은 구조화된 벤치마크에서 잘 수행되는 모델조차도 불완전하거나 모호한 임상 정보에 직면했을 때 부적절한 지침을 제공할 수 있음을 강조합니다. 안전 프롬프팅은 고위험 응용 프로그램의 주요 안전 메커니즘이 아닌 기본 안전 장치로 간주되어야 합니다.

결론적으로, 본 논문은 "언제 답변하지 않을지 아는 것"이 현재 최첨단 LLM 이 아직 신뢰성 있게 보여주지 못하는 핵심 능력이며, 이를 달성하려면 모델의 훈련, 평가, 배포 방식을 재고해야 한다고 주장합니다.