기술 요약: 단일 프롬프트 정확도가 놓치는 것: 언어 모델의 다변량 신뢰성 감사

문제 제기

단일 프롬프트 정확도는 언어 모델 (LM) 을 벤치마킹하는 지배적인 지표이나, 특히 로컬 또는 온디바이스 배포를 목적으로 하는 1–8B 파라미터 범위의 소형 언어 모델 (SLM) 에 있어 신뢰성에 대한 불완전한 그림을 제공합니다. 배포된 모델은 평균적인 정확도뿐만 아니라 견고한 신뢰 신호, 하위 시스템용 파싱 가능한 출력, 그리고 프롬프트 변화 하에서의 안정성도 필요합니다. 현재의 평가는 단일 정확도 수치, 고정된 프롬프트 템플릿, 그리고 불투명한 평가 파이프라인에 의존함으로써 중요한 실패 모드를 종종 가립니다. 본 논문은 신뢰성에 관한 결론이 모델 자체만큼이나 평가 파이프라인 (지표 정의, 평가자 논리, 프롬프트 변형) 에 달려 있다고 주장합니다.

방법론

저자들은 15 개의 오픈 가중치 SLM(1B–8B 파라미터) 에 대해 다변량 신뢰성 감사를 수행했으며, 주요 분석은 10 개의 인스트럭트 (instruct) 모델에 집중되었습니다. 평가는 세 가지 분류 작업 (SST-2, MNLI, AG News) 과 두 가지 추론 작업 (ARC-Challenge, MMLU-Pro) 으로 구성된 다섯 가지 벤치마크를 포괄했습니다.

실험 설계:

• 프롬프트 변형: 각 모델 - 데이터셋 쌍은 다섯 가지 서로 다른 프롬프트 변형 하에서 평가되었습니다: surface_paraphrase(표면적 재문장), instruction_reorder(지시문 순서 변경), fewshot_3(3 예시), format_change(형식 변경), 그리고 implicit_framing(암시적 프레임). 이러한 변형은 근본적인 작업을 고정하면서 문구, 지시문 순서, 컨텍스트 내 조건부, 출력 형식, 그리고 프레임을 변경합니다.
• 지표: 모든 (모델 × 데이터셋 × 변형) 셀에 대해 연구는 다음을 기록했습니다:
  • 정확도: 객관식 작업의 경우 첫 번째 생성된 문자에서 채점.
  • 토큰 확률 보정: 원시 첫 번째 토큰 확률과 레이블 세트 정규화 확률을 모두 사용하여 기대 보정 오차 (ECE) 로 측정.
  • 언어적 신뢰도 보정: 후속 프롬프트를 통해 수집된 언어적으로 보고된 신뢰도의 ECE 로 측정.
  • 언어적 파싱률 (VPR): 수치적 신뢰도를 추출할 수 있는 응답의 비율.
  • 프롬프트 교란 확산: 형식 변경이 아닌 변형들 간의 최대 정확도와 최소 정확도 차이.
• 인프라: 모든 실행은 단일 NVIDIA L4 GPU 에서 bfloat16 정밀도, 탐욕적 디코딩 (greedy decoding), 고정된 무작위 시드 (42) 를 사용하여 vLLM 으로 수행되었습니다.

주요 발견

1. 평가 선택은 실패를 생성하거나 숨길 수 있음

이 연구는 모델을 변경하지 않고도 신뢰성 결론을 크게 바꾸는 두 가지 평가 측 실패 모드를 식별합니다:

• 평가자 - 프롬프트 불일치: ARC-Challenge 벤치마크에서, 연쇄 사고 (CoT) 추론을 유도하는 format_change 변형으로 전환하면 표준 "첫 번째 문자" 평가자에 의해 채점될 때 보고된 정확도가 치명적으로 하락했습니다 (상대적으로 72–88% 하락). CoT 출력의 첫 번째 토큰은 종종 답변 레이블이 아닌 추론 단어 (예: "The...", "Let...") 입니다. 두 가지 독립적인 복구 절차 (정규식 재파싱과 제약 디코딩) 는 각각 손실된 성능의 93.8% 와 102.7% 를 회복시켰습니다. 이는 실패가 모델의 추론 능력에 있는 것이 아니라 평가자 논리에 있음을 나타냅니다.
• 보정 정의 민감성: 토큰 확률 보정의 정의는 ECE 값에 상당한 영향을 미칩니다. 원시 첫 번째 토큰 확률에서 유효한 레이블에 대한 확률의 합으로 나누는 레이블 세트 정규화 확률로 전환하면 셀당 ECE 가 평균 절대값 0.149 만큼 변경되었습니다. 극단적인 경우 (예: SST-2 format_change 에서의 Mistral-7B) 변화는 0.825 였습니다.

2. 신뢰 신호는 취약함

• 언어적 과신: MMLU-Pro 에서 모든 주요 인스트럭트 모델은 실제 정확도와 토큰 확률 신뢰도보다 훨씬 높은 신뢰도를 언어적으로 보고했습니다. 언어적 ECE 와 토큰 ECE 사이의 격차는 일관되게 양수 (+0.286 ~ +0.582) 였으며, 이는 체계적인 과신을 나타냅니다.
• 파싱 가능성 붕괴: 언어적 신뢰도는 항상 추출 가능한 것은 아닙니다. 예를 들어, Mistral-7B-Instruct 는 모든 데이터셋에서 surface_paraphrase 변형에 대해 0.80 VPR 임계값을 실패했습니다 (예: SST-2 에서 VPR = 0.002). 이 실패는 변형 특이적입니다. 동일한 모델은 다른 변형에서는 임계값을 통과했습니다. 이러한 셀들을 단일 스칼라로 집계하면 20–25% 의 출력이 파싱 불가능하다는 사실을 숨기게 됩니다.

3. 파라미터 수는 견고성의 나쁜 대리 지표임

이 연구는 더 큰 모델이 프롬프트 교란에 더 견고하다는 가설을 검증했습니다. 10 개의 인스트럭트 모델 (1–8B) 에 걸쳐 파라미터 수와 프롬프트 교란 확산 사이의 상관관계는 약하고 불일치했습니다 (Spearman $\rho$는 -0.244 에서 0.474 사이, 모든 $p > 0.10$).

• 비단조성: 더 작은 모델이 때로는 더 큰 모델보다 더 견고했습니다. 예를 들어, Phi-4-mini(3.8B) 의 SST-2 확산은 0.084 였지만, Mistral-7B(7.2B) 의 확산은 0.500 이었습니다.
• 모델 군집화: 견고성 패턴은 파라미터 수보다 모델 패밀리 내에서 더 구조화되어 나타났습니다 (예: 두 Qwen 모델 모두 SST-2 에서 견고함). 다만 저자들은 각 패밀리당 샘플 크기가 제한적이므로 이는 기술적 설명이라고 지적합니다.

기여

본 논문은 세 가지 주요 기여를 합니다:

1. 평가 측 실패 모드의 식별: 보정 정규화 민감성과 프롬프트 - 평가자 불일치가 모델 성능과 무관하게 신뢰성 결론을 극적으로 바꿀 수 있음을 입증합니다.
2. 신뢰도와 파싱 가능성의 공동 보고: 셀별 언어적 신뢰도 방향과 언어적 파싱률을 보고하는 프레임워크를 도입하여, 신뢰도가 동시에 과신적일 수 있고 선택적으로 파싱 불가능할 수 있음을 드러냅니다.
3. 견고성에 대한 경험적 증거: 1–8B 범위에서 파라미터 수가 프롬프트 견고성의 나쁜 대리 지표임을 보여주는 데이터를 제공하여, 확장성이 안정성을 보장한다는 가정에 도전합니다.

중요성과 권장 사항

저자들은 SLM 에 대한 신뢰성 결론이 모델의 고유한 속성이 아니라 평가 파이프라인에 의존적이라고 주장합니다. 따라서 재현성과 배포 준비 상태를 보장하기 위해 SLM 신뢰성 감사를 위한 보고 체크리스트를 제안합니다:

• ECE 정규화 공개: 토큰 확률 ECE 가 원시 정의 또는 레이블 세트 정규화 정의를 사용하는지 명시적으로 밝히십시오.
• 평가자 논리 공개: 생성된 텍스트를 채점하는 데 사용된 정확한 규칙 (예: 첫 번째 문자 일치 대 정규식) 을 명시하십시오.
• 완전한 생성물 보관: 대체 평가자 하에서 재채점이 가능하도록 원시 출력 텍스트를 저장하십시오.
• 언어적 파싱률 보고: 모델 수준 스칼라가 아닌 셀별 VPR 을 명시적인 포함 임계값과 함께 보고하십시오.
• 신뢰도 주장 재현: 여러 유도 문구 (예: 소수점 대 백분율) 하에서 언어적 신뢰도를 테스트하십시오.
• 프롬프트 교란 확산 보고: 파라미터 수에 의존하는 대신 견고성을 비교할 때 정확도 alongside 확산 지표를 포함하십시오.

본 논문은 SLM 벤치마크가 실제 세계 모델 선정을 안내하기 위해서는 결론을 가능하게 만드는 평가 가정을 설명해야 하며, 단일 리더보드 점수를 넘어 포괄적인 "배포 준비 상태 프로파일"로 나아가야 한다고 결론지었습니다.