On the Effect of Uncertainty on Layer-wise Inference Dynamics

문제 정의
대규모 언어 모델(LLM)이 더욱 유능해짐에 따라, 환각(hallucination)을 탐지하고 신뢰성을 확보하기 위해 이들의 내부적인 불확실성 인식을 이해하는 것이 매우 중요해지고 있습니다. 기존 연구들은 모델이 은닉 상태(hidden states) 내에 불확실성을 인코딩한다는 사실을 입증했지만, 이러한 불확실성이 추론의 *역학(dynamics)*에 어떻게 영향을 미치는지, 즉 모델이 불확실한 예측과 확실한 예측을 레이어 전반에 걸쳐 다르게 처리하는지 여부는 아직 충분히 탐구되지 않았습니다. 핵심 질문은 모델이 인식론적 불확실성(지식의 부재)에 직면했을 때 추론 궤적(예: 더 많은 레이어를 사용하거나 확신 성장 패턴을 변경하는 것)을 조정하는가 하는 것이며, 이는 추론 시점에 불확실성을 탐지할 수 있는 메커니즘을 제공할 수 있습니다.

방법론
저자들은 중간 은 hiding state를 어휘 공간의 로짓 분포로 디코딩하는 Logit Lens의 변형인 Tuned Lens를 사용하여 레이어별 추론 역학을 분석함으로써 이를 조사합니다. 본 연구는 **인식론적 불측성(epistemic uncertainty)**에 초점을 맞추며, 이는 정답이 선택지에 포함된 다지선다형(MCQ) 문제에서 오답을 내는 경우로 정의됩니다.

실험 설정은 다음과 같습니다:

• 모델: Llama-3-8B, Llama-3-8B-Instruct, Vicuna-13B, Mistral-7B-Instruct-v0.1, Mistral-Nemo-Instruct-2407 (총 5종).
• 데이터셋: 11개의 다양한 MCQ 데이터셋 (ANLI, ARC, BoolQ, CommonsenseQA, HellaSwag, LogiQA, MMLU, QASC, QuAIL, RACE, SciQ 포함).
• 지표:
  1. 확률 궤적(Probability Trajectories): 정답 및 오답에 대해 각각 집계된, 상위 순위 예측값과 하위 순위 예측값의 레이어별 토큰 확률 진화 양상.
  2. 예측 깊이(Prediction Depth, PD): 모델이 답변에 "확정(commit)"하는 특정 레이어 (정의: 상위 예측이 이전 레이어와 달라진 후 이후 안정적으로 유지되는 레이어).
  3. 상관관계 분석: 정답 오답 여부와 PD 사이의 피어슨 상관계수, 그리고 과업 숙련도(Cohen's Kappa로 측정)와 정답/오답 출력 간의 PD 차이 사이의 관계.

주요 결과

1. 정렬된 추론 역학: 정답과 오답의 확률 궤적은 놀라울 정도로 일치합니다. 두 경우 모두 유사한 레이어에서 확신도가 급격히 상승하며, 모델은 출력이 궁극적으로 옳은지 혹은 불확실한지와 관계없이 특정 레이어에서 최종 출력을 결정하는 것으로 보입니다. 이는 불확실한 사례를 위해 별도의 추론 역학을 갖도록 하는 명확한 궤적의 분리는 존재하지 않음을 시사합니다.
2. 예측 깊이의 일관성: 모든 모델과 데이터셋에서 예측 깊이의 분포는 정답과 오답에 대해 유사하게 나타납니다. 모델은 불확실성과 관계없이 동일한 레이어에서 최종 예측을 확정합니다.
3. 오답과의 약한 상관관계: 정답 오답 여부와 PD 사이의 피어슨 상관계수 중 97%가 양수였으나, 그 크기는 일반적으로 미미했습니다 (80%의 상관계수가 0.300 미만). 이는 오답이 더 나중 레이어에서 확정되는 경도(tendency)가 약간 있음을 시사하지만, 그 효과는 매우 작습니다.
4. 유능한 모델에서의 적응성 발현: 미묘한 발견으로서, 모델의 과업 숙련도(Kappa 점수)와 정답/오답 간의 예측 깊이 차이 사이에 양의 선형 상관관계가 있음이 밝혀졌습니다. 구체적으로 Llama-3-8B와 Mistral-7B-Instruct는 통계적으로 유의미한 양의 상관관계($p < 0.05$)를 보였으며, 이는 모델의 역량이 높아질수록 불확실성에 대한 추론 깊이의 적응 정도 또한 증가할 수 있음을 시사합니다.

주요 기여

• 역학에 대한 실증적 증거: 본 논문은 불확실한 입력을 더 깊게 또는 다르게 처리할 것이라는 가설과 달리, 표준 LLM이 불확실성 여부와 관계없이 대체로 균일한 추론 역학을 보인다는 광범위한 실증적 증거를 제공합니다.
• 단순한 탐지 방식에 대한 도전: 모델의 내부 의사결정 과정이 불확실한 출력에 대해 눈에 띄게 분리되지 않는다는 점은, 단순한 레이어별 방법(예: 확신도 기반의 조기 종료 또는 레이어 확정)을 활용한 불확실성 탐지의 실효성에 의문을 제기합니다.
• 역량 의존적 적응성: 본 연구는 적응적 추론 역학이 높은 모델 역량의 창발적 속성일 수 있다는 관찰을 도입하여, 과업 숙련도와 불확실성에 대한 추론 깊이의 민감도를 연결했습니다.

의의 및 주장
저자들은 자신들의 연구가 해석 가능성(interpretability) 방법론을 사용하여 불확실성과 추론 사이의 관계를 어떻게 조사할 수 있는지 보여준다고 주장합니다. 본 연구의 주요 의의는 부정적인 결과(negative result)에 있습니다. 즉, 불확실한 출력에 대해 뚜렷한 추론 역학이 결여되어 있다는 점은 불확실성 탐지를 위해 단순한 궤적이나 깊이 지표가 아닌, 더 복잡하고 정교한 해석 가능성 접근법이 필요함을 의미합니다. 또한, 현재의 모델들은 레이어별 처리 과정에서 불확실성을 대체로 무시하지만, 더 유능한 모델들은 적응적 행동을 보이기 시작할 수 있다는 점을 들어, 이는 모델 스케일링 및 불확실성 처리 연구의 잠재적 경로를 제시합니다. 저자들은 향-후 더 유능한 모델에 대한 추가 테스트와 알려진 지식에 대한 다양한 수준의 불확실성 및 환각을 고려한 엄격한 분석이 이러한 탐색적 발견을 검증하는 데 필요하다고 결론짓습니다.