기술 요약: 불충분한 정보 하의 추론 모델에서 탐지-거부 간극 해소

1. 문제 제기

대규모 추론 모델 (LRMs) 은 의료 AI 와 같은 고위험 분야에서 increasingly 배포되고 있으며, 사용자 질의에는 종종 중요한 정보 (예: 누락된 증상, 검사 결과, 또는 맥락) 가 부족합니다. 본 연구에서 확인된 치명적인 실패 양상은 모델이 중간 추론 과정에서 문제가 미구현 (under-specified) 임을 인지함에도 불구하고, 이러한 인식을 최종 답변 거부로 전환하지 못한다는 점입니다. 대신 모델은 추론을 계속 진행하며 누락된 전제를 지어내고, 근거 없는 확정적인 답변을 생성합니다.

저자들은 이 현상을 **탐지 - 거부 간극 (detection-to-abstention gap)**으로 공식화했습니다. 이는 모델이 불충분한 정보를 탐지하는 능력 (탐지율, DR) 과 그 탐지에 기반하여 행동하여 거절하는 능력 (전체 거부율, OAR) 사이의 불일치를 의미합니다. 표준 강화 학습 (RL) 및 프롬프팅을 포함한 기존 방법들은 탐지 능력을 향상시키지만 간극을 해소하지는 못해, "탐지하지만 거부하지는 않는" 모델들을 남깁니다. 이는 지지되지 않는 답변이 거절보다 더 해로울 수 있는 안전-중요 (safety-critical) 환경에서 특히 위험합니다.

2. 방법론: 판사 - 후 - 해결 (Judge-Then-Solve, JTS)

이 간극을 해소하기 위해 본 논문은 **판사 - 후 - 해결 (JTS)**을 제안합니다. 이는 추론 수준 제어 프레임워크입니다. 거부를 단순히 최종 답변 스타일로 취급하는 것과 달리, JTS 는 이를 솔루션 생성 이전에 이루어지는 명시적 제어 결정으로 재정의합니다.

핵심 메커니즘

JTS 는 추론 과정을 두 가지 명확한 단계로 분해합니다:

1. 답변 가능성 판단: 모델은 먼저 다음을 포함하는 구조화된 <answerability_judge> 블록을 생성해야 합니다:
   • 맥락 감사: 제공된 맥락이 고유한 유효한 답변을 지지하는지 분석합니다.
   • 무결성 점검: 누락된 전제나 모호함을 검증합니다.
   • 결론: ANSWERABLE(답변 가능) 또는 UNANSWERABLE(답변 불가) 의 이진 결정입니다.
2. 조건부 실행:
   • UNANSWERABLE인 경우: 모델은 즉시 추론을 종료하고 거부 응답을 출력해야 합니다.
   • ANSWERABLE인 경우: 모델은 동일한 추론 블록 내에서 솔루션 생성을 계속합니다.

학습 전략

JTS 는 두 단계 학습 과정을 통해 구현됩니다:

1. 지도 학습 웜업: 모델은 JTS 구조로 포맷된 1,091 개의 궤적 데이터셋으로 미세 조정됩니다. 이 단계는 거부를 직접 최적화하기보다는 프레임워크의 구조적 사전 지식 (즉, <answerability_judge> 블록과 즉시 종료 규칙) 을 가르칩니다.
2. 구조화된 보상을 통한 강화 학습 (RL): 모델은 복합 보상 함수 $R(y)$를 사용하여 그룹 상대 정책 최적화 (GRPO) 로 최적화됩니다:
   • 포맷 보상 ($R_{format}$): 엄격한 JTS 구조 (유효한 태그, 결론 배치) 를 강제합니다.
   • 일관성 보상 ($R_{consistency}$): 판단 (예: UNANSWERABLE) 과 최종 출력 (예: 답변 제공) 사이의 모순을 패널티로 부과합니다.
   • 작업 보상 ($R_{task}$): 미구현 질문에 대한 올바른 거부와 잘 정의된 질문에 대한 올바른 답변을 보상하며, 해결 가능한 질문에 대한 잘못된 거부는 패널티로 부과합니다.
   • 길이 조절 보상 ($R_{length}$): "과도한 사고 (overthinking)"를 억제하도록 설계된 조건부 신호입니다.
     • 모델이 거부에 실패한 미구현 질문의 경우, 탐지 후 즉시 종료를 장려하기 위해 더 짧은 궤적이 보상됩니다.
     • 모델이 올바르게 답변하지 못한 잘 정의된 질문의 경우, 완전한 추론을 장려하기 위해 더 긴 궤적이 약간 선호됩니다.

3. 주요 기여

1. 탐지 - 거부 간극의 공식화: 모델이 누락된 정보를 탐지하지만 거부에 실패하는 특정 실패 양상을 식별하고 정의하여, 단순한 탐지 실패와 구별합니다.
2. 판사 - 후 - 해결 프레임워크: 솔루션 생성 전에 명시적인 답변 가능성 약속을 강제하는 새로운 추론 제어 패러다임으로, 추론 궤적을 효과적으로 게이트 (gating) 합니다.
3. 조건부 길이 조절: "탐지 후 숙고" 실패를 표적으로 하는 보상 메커니즘으로, 모델이 불충분함을 탐지하자마자 추론을 중단하도록 장려하면서 해결 가능한 문제에 대해서는 추론 깊이를 유지합니다.
4. 실증적 검증: 의료 분야 (MedIQ) 를 포함한 여러 벤치마크에서 밀집형 (DeepSeek-R1-Distill-Qwen-14B) 과 전문가 혼합 (Qwen3-30B-A3B-Thinking) 모델 모두에 대한 포괄적인 평가를 수행했습니다.

4. 실험 결과

실험은 누락된 전제 (MIP) 데이터셋과 AbstentionBench 의 네 가지 하위 집합 (MMLU-History, MMLU-Math, GPQA-Diamond, MedIQ) 에서 수행되었습니다.

• 간극 해소: JTS 는 **탐지 시 거부 (A@D)**를 크게 향상시켜 DeepSeek 의 경우 99.8%, Qwen 의 경우 99.3% 로 포화 수준에 근접시켰습니다. 이는 모델이 누락된 정보를 탐지하면 해당 탐지에 신뢰성 있게 대응함을 의미합니다.
• 전체 성능:
  • DeepSeek: OAR 이 베이스 (18.6%) 에서 JTS (88.5%) 로 증가했습니다.
  • Qwen: OAR 이 베이스 (21.1%) 에서 JTS (72.4%) 로 증가했습니다.
• 효율성: JTS 는 불필요한 숙고를 종료함으로써 미구현 질문에서의 평균 응답 길이를 크게 단축합니다 (예: DeepSeek 의 경우 약 2,600 토큰에서 약 350 토큰으로).
• 잘 정의된 질문: JTS 는 해결 가능한 질문에서 원시 답변율과 정확도에 약간의 트레이드오프를 도입하지만, 토큰당 **효율성 (정확도/1K 토큰)**을 크게 향상시켜 더 간결하고 효과적인 추론을 시사합니다.
• 불확실성 분석: 토큰 수준의 엔트로피 분석은 JTS 모델이 베이스 모델에 비해 누락된 전제 주변에서 더 높은 불확실성 (엔트로피) 을 유지함을 보여줍니다. 베이스 모델은 과도하게 확신하는 경향이 있는 반면, 이러한 불확실성 인식이 거부 행동을 주도합니다.
• 2 차 관찰: 누락된 전제 데이터로 학습하는 것 (단순 RL 포함) 은 Omni-Math 와 같은 어렵지만 답변 가능한 수학 문제에서 "비효율적인 자기 성찰"과 망설임을 줄이는 것으로 관찰되었으며, 이로 인해 중등도에서 고난이도 범위에서 pass@8 점수가 약간 향상되었습니다.

5. 의의 및 주장

본 논문은 신뢰할 수 있는 거부가 고위험 분야에서 LRMs 의 안전한 배포에 필요한 추론 제어의 중요한 형태라고 주장합니다. 이 연구의 의의는 다음과 같습니다:

• 안전성: 모델이 의료 및 기타 안전-중요 맥락에서 지지되지 않는 답변을 거부하도록 학습시켜 해로운 환각 생성을 방지할 수 있음을 입증했습니다.
• 메커니즘: 거부에 실패하는 경우가 종종 능력의 문제가 아니라 (탐지 후 추론을 계속하는) 제어 문제임을 보여주었으며, 이는 추론 궤적을 구조화함으로써 해결될 수 있음을 보였습니다.
• 효율성: 답변 불가능한 궤적의 조기 종료가 계산 낭비와 추론 시간을 줄인다는 것을 증명했습니다.

저자들은 JTS 가 거부를 향상시키지만 잘 정의된 질문에서 잘못된 거부를 약간 증가시킬 수 있음을 겸손하게 지적하며, 이는 안전-중요 응용 분야에서 수용 가능한 트레이드오프라고 평가합니다. 또한 평가에 LLM-as-a-judge 에 의존한다는 점과 전체 파라미터 RL 학습의 계산 비용과 같은 한계점도 인정합니다.