Second Guess: Detecting Uncertainty Through Abstention and Answer Stability in Small Language Models

기술 요약: 두 번째 추측: 소규모 언어 모델에서 추첨과 답변 안정성을 통한 불확실성 감지

문제 제기
대규모 언어 모델 (LLM) 은 불확실할 때 답변을 유보하기보다 종종 확신에 찬 잘못된 답변을 생성합니다. 이 문제는 100 억 개 미만의 파라미터를 가진 트랜스포머 기반 생성 모델로 정의되는 소규모 언어 모델 (SLM) 에 특히 심각합니다. SLM 은 즉각적인 인간 감독 없이 자율적으로 작동해야 하며 계산 제약이 있는 에지 및 모바일 환경에 점점 더 배포되고 있어, 신뢰할 수 있는 불확실성 감지가 필수적입니다. 유보 기능을 활성화하기 위한 기존 방법들은 중대한 한계를 안고 있습니다: 훈련 기반 접근법은 모델 가중치 접근과 재훈련을 요구하며; 모델이 정확하게 자기 평가를 하지 못하기 때문에 종종 실패하는 자기 보고식 신뢰도에 의존하는 프롬프트 기반 방법은; 그리고 샘플링 기반 합의 방법은 자원 제약이 있는 SLM 에는 적합하지 않은 과도한 계산 오버헤드를 초래합니다.

방법론: 두 번째 추측 (Second Guess)
본 논문은 내부 모델 상태나 파라미터에 대한 접근이 필요 없는 객관식 질문 응답 (MCQA) 을 위한 경량 파라미터 없는 프롬핑 기법인 "두 번째 추측"을 제안합니다. 이 방법은 모델이 가용 옵션에 관계없이 일관된 답변을 제공하는 것은 안정된 지식을 가진 모델이며, "모르겠습니다" 옵션이 도입되었을 때 불안정한 행동을 보이는 것은 불확실한 모델이라는 경험적 통찰에 기반합니다.

이 기법은 질문당 두 번의 순전파 (forward passes) 를 포함합니다:

1. 원본 프롬프트: 모델은 표준 4 개의 답변 선택지 ($C = \{c_1, c_2, c_3, c_4\}$) 로 프롬프트되어 응답 $R_1$을 생성합니다.
2. 확장된 프롬프트: "모르겠습니다" 옵션이 선택지 집합에 무작위 위치에 삽입되어 ($C' = \{c_1, c_2, c_3, c_4, \text{"I don't know"}\}$), 모델이 다시 프롬프트되어 응답 $R_2$를 생성합니다.

최종 출력 $R$은 두 응답을 비교하여 결정됩니다:

• $R_1 = R_2$인 경우, 원래 답변이 유지됩니다.
• $R_1 \neq R_2$인 경우 (새로운 답변이 무엇이든 상관없이), 출력은 유보 ("모르겠습니다") 로 분류됩니다.

이 접근법은 두 프롬프트 간의 답변 불일치를 불확실성의 신호로 효과적으로 간주하며, 질문당 두 번의 쿼리만 요구합니다.

실험 설정
저자들은 2B 에서 8B 파라미터까지의 네 가지 지시 미세 조정 SLM(Mistral-7B, Llama-3.1-8B, IBM Granite-3.3-2B, Qwen3-4B) 을 CommonsenseQA, QASC, MMLU-Pro, SuperGPQA 네 가지 MCQA 벤치마크에 걸쳐 평가했습니다. 평가에는 기본 모델과 저랭크 적응 (LoRA) 을 사용하여 미세 조정된 모델이 모두 포함되었습니다.

이 방법은 여러 베이스라인과 비교되었습니다:

• 원본 프롬프트: 확장이 없는 표준 MCQA.
• 확장된 프롬프트: 처음부터 "모르겠습니다"가 포함된 단일 통과 접근법.
• 자기 평가: 모델이 자신의 답변을 검증하는 2 단계 전략.
• 엔트로피 임계값 설정: 고엔트로피 출력을 유보로 변환하는 사후 방법.

주요 결과
평가에는 정밀도, 오류율, 그리고 잘못된 답변과 원래 정답이 있음에도 불구하고 모델이 유보한 경우를 결합한 복합 위험 (Composite Risk) 의 세 가지 지표를 사용했습니다.

1. 복합 위험 감소: 두 번째 추측은 모든 기본 모델과 데이터셋에서 **10.81%**의 가장 높은 복합 위험 개선을 달성하여, 동일한 쿼리 수 (두 번) 를 사용하는 최상의 베이스라인 (자기 평가의 7.69%) 을 능가했습니다.
2. 미세 조정에 대한 강건성: 미세 조정된 모델에서 두 번째 추측은 **8%**의 복합 위험 개선을 유지했습니다. 반면, 엔트로피 기반 방법은 모델의 신뢰도가 높아져 토큰 엔트로피가 불확실성 감지에 덜 유익해짐에 따라 미세 조정된 모델에서 크게 저하되었습니다.
3. 기본 성능과의 역관계: 논문은 모델의 기본 정확도와 두 번째 추측으로 얻은 개선 사이에는 역관계가 있음을 규명했습니다. 기본 정확도가 낮은 모델 (예: SuperGPQA 에서 약 32% 정확도를 보인 Llama) 은 25% 를 초과하는 가장 큰 위험 감소를 보인 반면, 고성능 모델은 modest 하거나 개선이 없었습니다.
4. 개선 메커니즘: 답변 전환에 대한 분석은 위험 감소가 주로 "모르겠습니다"의 명시적 선택이 아니라 **옵션 전환 (option switching)**을 감지함으로써 비롯됨을 밝혔습니다. 불확실한 모델들은 "모르겠습니다" 옵션이 추가되었을 때 일관되게 유보 토큰을 선택하기보다 잘못된 옵션 사이를 전환하는 경향이 있었습니다.

의의 및 주장
본 논문은 두 번째 추측이 안전-중요 및 자율적 맥락에서 SLM 의 신뢰성을 개선하기 위한 실용적이고 접근 가능한 해결책을 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

• 파라미터 없음: 하이퍼파라미터 튜닝이나 모델 가중치 접근이 필요 없습니다.
• 계산 효율성: 두 번의 순전파만 요구하므로 샘플링 기반 방법이 너무 비용이 많이 드는 블랙박스 SLM 및 에지 장치에서 실행 가능합니다.
• 저성능 모델에 효과적: 오류 감소가 가장 중요한 더 작고 능력이 부족한 모델의 신뢰성 격차를 특히 대상으로 합니다.

저자들은 모델 규모와 기본 성능이 증가함에 따라 방법의 유용성이 감소하며, 평가에 체인 오브 씽킹 (CoT) 추론이 포함되지 않아 베이스라인 역량이 변경될 수 있음을 인정하며 방법의 한계를 지적합니다. 그러나 본 연구는 복잡한 아키텍처 변경 없이 유보를 유도할 수 있는 불확실성의 강건하고 감지 가능한 신호로서 행동적 불안정성 (답변 전환) 을 확립했습니다.