기술 요약: 확산 언어 모델(Diffusion Language Models)의 표현-신뢰도 격차 규명

문제 정의

LLaDA 및 DREAM과 같은 확산 언어 모델(DLM)은 순차적인 토큰 생성 방식이 아닌, 넓은 컨텍스트를 사용하여 전체 시퀀스를 드러내는 방식으로 텍스트를 생성한다. 이러한 메커니즘은 입력 노이즈에 대한 잠재적 강건성을 시사하지만, 실증적 테스트 결과 노이즈 조건에서 결정적인 실패 모드인 **표현-신뢰도 격차(Representation-Confidence Gap)**가 발견되었다.

DLM이 입력 노이즈(예: 문자의 위치 바뀜, 치환, 삽입 또는 삭제)에 직면했을 때, 모델의 내부 상태는 오류를 정확하게 감지한다. 그러나 최종 출력 신뢰도 점수는 정확도가 크게 떨어졌음에도 불구하고 여전히 최대치에 가깝게 유지된다. 결과적으로, 정답과 오답의 순위를 올바르게 매기는 모델의 능력이 무작만큼(AUROC $\approx$ 0.5) 저하된다. 이는 모델이 정답에 대해 "확신이 없는" 상태임에도 불구하고 보고된 점수는 "확신하는" 상황을 초래한다.

본 논문은 이것이 단순히 점수가 너무 높거나 낮은 캘리브레이션(calibration) 문제가 아니라, 구조적인 **순위 결함(ranking deficit)**임을 밝혀냈다. 온도 스케일링(temperature scaling)이나 사후 캘리브레이션(post-hoc calibration)과 같은 표준적인 해결책은 신뢰도 점수의 크기를 조정할 수는 있지만, 정답의 순서를 재배열하는 데는 실패한다. 또한, 입력 수준의 오류 탐지기는 노이즈가 섞인 프롬프트를 식별하는 데는 정확하지만, 모든 후보 답변에 동일한 점수를 부여하기 때문에 특정 정답과 오답을 구별하는 데는 무용하다.

방법론

1. 진단 분석

저자들은 네 가지 유형의 텍스트 노이즈 하에서 LLaDA-8B와 DREAM-7B를 논리 퍼즐(GSM8K, ARC-Challenge)로 평가했다. 이들은 다음 지표들을 측정했다:

• 정확도(Accuracy): 정답을 맞힌 비율.
• 캘리브레이션(Calibration): 신뢰도와 정확도 사이의 일치도(기대 캘리브레이션 오차, ECE).
• 순위 품질(Ranking Quality): AUROC(Receiver Operating Characteristic Curve 아래 면적)를 사용하여 정답과 오답을 분리하는 능력.

주요 결과:

• 내부 탐지: 동결된 내부 상태는 깨끗한 텍ex와 노이즈가 섞인 텍스트를 거의 완벽하게 구분할 수 있다 (AUROC > 0.99).
• 신뢰도 붕괴: 노이즈 발생 시 DLM의 정확도는 크게 떨어지지만(예: 0.56에서 0.37로), 평균 신뢰도는 높게 유지된다(0.988에서 0.982로). 정답과 오답 사이의 신뢰도 격차는 무시할 수 있는 수준(0.0022)으로 줄어든다.
• 표준 해결책의 실패: 온도 스케일링은 캘리브레이션 오차를 줄이지만 순위 AUROC는 무작위 수준에 머물러 있게 한다. 입력 수준의 오류 신호는 질문 전체의 신뢰도를 이동시키지만, 후보 답변들의 순서를 재배열하지는 못한다.

2. 제안된 해결책: 잠재적 정답성 판독 (Latent Correctness Readout, LCR)

기본 모델을 수정하지 않고 손실된 순위 능력을 회복하기 위해, 저자들은 **잠재적 정답성 판독(LCR)**을 제안한다.

• 메커니즘: LCR은 **정답 토큰(answer tokens)**의 은닉 상태(hidden states)에 특화되어 작동하는 경량 선형 프로브(linear probe)이다.
• 과정:
  1. 추출: 특정 레이어 $\ell^*$에서 정답 토키에 해당하는 은닉 상태 $h_i$를 평균하여 단일 벡터 $\bar{h}$를 형성한다.
  2. 점수 산출: 단순 로지스틱 함수 $r = \sigma(u^\top \bar{h} + b)$를 통해 정답 확률을 추정한다.
  3. 학습: 파라미터 $(u, b)$는 라벨이 지정된 소규모 캘리브레이션 세트(예: 200개의 노이즈 프롬프트)를 사용하여 이진 교차 엔트로피(binary cross-entropy)로 적합된다. 이때 기본 DLM의 가중치는 완전히 동결된 상태를 유지한다.
  4. 적용: 추론 시, LCR 점수를 사용하여 답변의 순위를 매기거나 중단(abstention, 점수가 임계값 $\tau$ 미만인 경우 답변을 유보)을 트리거한다.

작동 원리: 입력 수준의 탐지기와 달리, LCR은 생성된 정답의 구체적인 표현을 조사한다. 본 논문은 DLM이 높은 내부 일관성(노이즈가 섞인 문제를 올바르게 '재구성'하는 능력)을 유지하더라도, 정답 토큰의 은닉 상태에는 실제 의도(정답 여부)로부터의 괴리가 인코딩되어 있으며, 최종 신뢰도 점수는 이 신호를 무시한다는 점을 주장한다.

주요 기여

1. 표현-신뢰도 격차의 정의: 본 논문은 노이즈 조건에서 DLM이 정확도 저하에도 불구하고 높은 신뢰도를 유지하는 현상을 공식적으로 정의하며, 특히 단순한 캘리브레이션 문제가 아닌 순위 능력의 붕괴를 강조한다.
2. 실패 모드의 구조적 분석: 저자들은 표준적인 해결책(온도 스케일링, 일관성 학습, 입력 수준 라우팅)이 후보 답변의 상대적 순서를 변경하지 못하기 때문에 실패함을 입증한다. 또한 입력 수준의 신호는 답변 수준의 변별력에는 불충분함을 보여준다.
3. 잠재적 정답성 판독 (LCR): 기본 모델의 학습 없이 동결된 은닉 상태로부터 순위 능력을 회복하는 새로운 추출 도구이다. 이는 추가적인 텍스트 생성 단계가 필요 없으며 기본 모델의 가중치를 건드리지 않는다.
4. 실증적 검증: 본 연구는 정답을 위한 신호가 모델의 내부 상태 안에 존재하지만 최종 신뢰도에는 반영되지 않음을 증명하며, 이 신호를 추출함으로써 선택적 예측(selective prediction)을 개선할 수 있음을 보여준다.

결과

성능 지표

• 순위 회복: 노이즈 하의 GSM8K에서 기본 모델의 선택적 AUROC는 0.575(무작위 수준)이다. LCR은 모델 업데이트 없이 이를 0.665로 개선한다.
• 오류 감소: 50% 커버리지(상위 50%의 답변만 유지)에서, 유지된 답변의 오류율은 0.575(기본 모델)에서 0.495(LCR)로 감소한다.
• 샘플링과의 비교: 여러 샘플을 생성하는 것(Self-Consistency)이 더 높은 순위 점수(예: 10개 샘플 사용 시 0.842)를 얻지만, 이는 높은 계산 비용을 초당한다. LCR은 추가 생성 비용 없이 "공짜"로 순위 향상을 제공하며, 하나의 샘플과 결합했을 때(0.754) 단일 추가 생성(0.711)과 유사한 성능을 보인다.
• 일반화: LCR은 다양한 노이즈 유형(키보드 치환, 삽입) 간에 전이되지만, 작업 의존적이다. 이는 11개 벤치마크 중 5개(예: ARC, GSM8K)에서 성능을 개선하지만, 다른 벤치마크(예: WinoGrande, CommonsenseQA)에서는 성능이 저하되거나 실패한다.

확인된 한계점

• 작업 의존성: 이 도구는 모든 작업에 보편적으로 일반화되지 않는다. 적용 가능성을 판단하기 위해 훈련 데이터 마진에 기반한 스크리닝 휴리스틱이 필요하다.
• 성능 상한: LCR은 여러 샘플을 생성하는 방법(예: $k \ge 2$인 Self-Consistency)을 능가하지 못한다.
• 캘리브레이션 요구 사항: 스칼라 조정 방식과 달리, 특정 배포 작업에 대한 라벨링된 캘리브레이션 세트가 필요하다.

의의 및 주장

본 논문은 노이즈 조건에서 확산 언어 모델의 더 시급한 제한 사항은 전체 정확도가 아니라 **확신의 신뢰성(certainty reliability)**이라고 주장한다. 정확도는 표준적인 매칭 학습을 통해 회복될 수 있지만, 신뢰도 점수는 여전히 오해의 소지가 있다.

이 연구의 주요 의의는 내부의 진실은 존재하지만 출력 신호와는 단절되어 있음을 입증했다는 데 있다. LCR은 불확실한 질문을 안전하게 건너뛰기 위해 필요한 정보가 정답 토큰의 은닉 상태 속에 살아남아 있음을 증명한다. 이 신호를 추출함으로써, 거대한 언어 모델을 재학습하거나 여러 번의 생성 과정을 거치지 않고도 선택적 예측을 개선할 수 있다.

저자들은 LCR을 모든 시나리오를 위한 최종 제품이 아니라, DLM에서 표현-신뢰도 격차가 실재하고 측정 가능한 현상이며, "숨겨진" 정답 신호가 경량화된 동결된 판독을 통해 접근 가능하다는 것을 보여주는 **개념 증명(proof of concept)**으로 제시한다. 그들은 높은 신뢰도 점치의 집중은 오해를 불러일으키는 표면적 증상이며, 핵심 문제는 표준적인 수학적 조정을 통해서는 해결할 수 없는 순위 순서의 상실이라는 점을 강조한다.