기술 요약: 대규모 언어 모델의 신뢰성에 대한 계산적 기초

문제 정의

신뢰할 수 있는 신뢰도(모델 자신의 답변이 정답일 확률)는 대규모 언어 모델(LLM)의 신뢰할 수 있는 배포를 위한 전제 조건이다. 기존 문헌은 예측 정확도(정답 여부와 얼마나 잘 상관되는가)와 보정성(보고된 확률이 경험적 빈도와 얼마나 잘 일치하는가)을 기준으로 신뢰도 신호를 광범위하게 평가해 왔으나, 근본적인 질문은 여전히 해결되지 않은 채 남아 있다: 신뢰도 신호 자체가 계산적으로 무엇을 나타내는가?

답변 토큰 확률이나 언설적 보고(verbal reports)와 같은 현재의 신호들은 흔-히 정답의 예측 변수로 취급된다. 그러나 이러한 신호들이 단순히 비-베이지안(non-Bayesian) 방식으로 증거를 결합하는 휴리스틱 선호도 점수인지, 아니면 **잠재적 결정 변수(latent decision variable)**의 단조적 판독값(monotonic readout)으로 기능하는지는 불분명하다. 계산 신경과학에서 잠재적 결정 변수는 통사적 과정 모델(normative process model) 하에서 통계적 결정 신뢰도(SDC, statistical decision confidence) 즉, 정답 확률을 계산하기에 충분한, 노이즈가 섞인 내부 증거 표현이다. 휴리스틱 점수와 통사적 판독값을 구분하는 것은 모델 신뢰도의 내부 메커니즘을 이해하는 데 매우 중요하다.

방법론

저자들은 답변 로짓(answer logit)이 잠재적 결정 변수의 판독값으로 작동하는지 테스트하기 위해, 계산 신경과학의 통사적 모델인 통계적 결정 신뢰도(SDC) 프레임워크를 채택한다. 본 연구는 **답변-로짓 차이(LD = $\ell_A - \ell_B$)**를 후보 판독값으로 집중 조명한다.

이를 테스트하기 위해, 저자들은 세 가지 뚜렷한 결정 체계(decision regimes)에 걸쳐 SDC 프레임워크가 예측하는 네 가지 질적 징후를 평가한다:

1. 정신물 함수(Psychometric Function): 선택 확률은 부호가 있는 자극 강도(signed stimulus strength)에 따라 단조 증가해야 한다.
2. 부호화된 증거(Signed Evidence Encoding): 부호가 있는 LD는 부호가 있는 자극 강도에 따라 단조 변화해야 한다.
3. 시행별 신뢰도(고정 강도 예측): 고정된 객관적 자극 강도에서, LD의 크기($|LD|$)는 정답 여부를 예측해야 한다. 이는 LD의 시행 간 변동이 단순히 객관적 난이도의 변화가 아니라 내부 노이즈를 반영하는지를 테스트한다.
4. Folded-X 패턴: 자극 강도가 증가함에 따라, $|LD|$는 정답 시에는 증가하고 오답 시에는 감소해야 한다. 이 기하학적 징후는 높은 강도의 오답이 노이즈가 잠재적 결정 변수를 결정 경계 너머로 밀어냈을 때만 발생한다는 점에서 기인한다.

실험 설정:

• 모델: 세 가지 멀티모달 비-추론 모델(Qwen2.5-VL 7B, Gemma 3 12B, Gemma 4 12B)과 한 가지 멀티모달 추론 모델(Gemini Flash 3).
• 태스크:
  • 지각적 변별(Perceptual Discrimination): 자극 강도를 실험적으로 제어할 수 있는 세 가지 합성 시각 태스크(대비, 객체 크기, 형태 범주화). 결정론적 모델에서 시행 간 변동을 유도하기 위해, 저자들은 태스크와 무관한("nuisance") 특징들(예: 공간적 지터, 점의 실현 방식)을 무작위화함으로써 각 강도 수준에서 다수의 자극 예시를 생성했다.
  • 기억 기반 결정(Memory-Based Decision): 세계 지식 인출을 요구하는 도시 인구 비교 태스크.
  • 복잡한 시각적 추론(Complex Visual Reasoning): 가우시안 블러(Gaussian blur)가 적용된 CLEVR 태스크(개수 동일성, 객체 존재 여부).
• 행동 검증: 내부 신뢰도(LD로부터 도출됨)가 정답 확률 60% 미만임을 시사할 경우 답변을 유보하도록 모델에게 지시하는 절제(abstention) 태스크가 수행되었다.

주요 결과

1. 지각 태스크에서의 증거 인코딩 및 잠재 변수 징후

세 가지 지각 태스크 전반에 걸쳐 모델들은 네 가지 SDC 징후를 모두 충족했다:

• 정신물 및 부호화된 인코딩: 선택 확률과 부호가 있는 LD는 자극 강도에 따라 단조롭게 변화하여, 모델이 태스크 관련 증거를 인코딩함을 확인했다.
• 고정 강도 예측: 객관적인 자극 난이도가 일정하게 유지될 때도, 더 큰 $|LD|$는 유의미하게 높은 정확도를 예측했다(예: 대비 태스크에서$|LD|$를 자극 강도 모델에 추가했을 때 AUROC가 0.864에서 0.907로 향상됨). 이는 LD가 객관적 난이도를 넘어 시행별 결정 증거를 전달함을 입증한다.
• Folded-X 패턴: 정답 여부와 자극 강도 사이의 상호작용은 특유의 folded-X 기하학적 구조를 생성했다. 정답 시에는 자극 강도가 높아질수록 $|LD|$가 증가했고, 오답 시에는 자극 강도가 높아질수록$|LD|$가 감소했다. 이는 Qwen, Gemma 3, Gemma 4에서 관찰되었으며, Gemma 3의 대비 태스크에서 단 하나의 사소한 예외(오답 분기가 역전되지 않고 평탄하게 나타남)가 있었으나, 강도 내 예측력은 여전히 강력했다.

2. 기억 및 추론으로의 일반화

• 기억 기반 결정: 도시 인구 태스크에서 인출된 지식의 노이즈로 인해 정신물 함수는 완만했다. 그러나 잠재적 결정 변수 징후는 유지되었다: $|LD|$는 고정된 인구 증거 빈도 내에서 정답 여부를 예측했으며, folded-X 패턴도 존재했다(Gemma 3에서 더욱 뚜렷함). 이는 객관적 자극 축이 모델의 내부 증거에 대한 노이즈 섞인 대리물(proxy)일 때도 LD가 잠재적 결정 증거의 판독값으로 작동함을 나타낸다.
• 복잡한 시각적 추론 (CLEVR): 가우시안 블러가 적용된 CLEVR 태스크에서, 첫 두 가지 징후(부호가 있는 증거 축에 의존)는 직접 적용하기 어려웠다(블러는 특정 답변을 선호하기보다 정보를 제거하기 때문). 그러나 세 번째 징후는 유지되었다: $|LD|$는 블러 강도 및 장면 제어 변수를 넘어 정답 여부를 예측했다. 다만, folded-X 패턴은 관찰되지 않았다(오답 분기가 음수가 아닌 평탄하거나 양의 값을 가짐). 저자들은 이를 복잡한 추론에 대한 알려진 통사적 과정 모델의 부재로 돌렸다.

3. 행동적 결과

절제 태스크에서 모델들은 LD 신호에 기반하여 낮은 신뢰도의 답변을 선택적으로 유보했다.

• 모델들은 87.7%의 시행에서 답변을 유보하며 고신뢰도 응답에만 전념했다.
• 확정된 시행에서의 정확도는 베이스라인인 92.2%에서 99.95%로 상승했다.
• 절제 정책은 객관적 자극 강도보다 내부 LD 신호를 더 잘 추적했으며, 결과적인 행동은 $|LD|$에 대한 이상적인 임계값(threshold)에 근접했다.

의의 및 주장

본 논문은 신뢰도 신호가 정답 여부를 예측한다는 경험적 관찰을 넘어, 멀티모달 LLM의 신뢰성에 대한 계산적 설명을 제공한다.

• 잠재적 결정 변수 판독값: 주요 주장은 단순 지각 및 기억 기반 태스크와 같이 통사적 과정 모델을 명시할 수 있는 환경에서, 답변 로짓이 단순한 휴리스틱 선호도 점수가 아니라 잠재적 결정 변수의 단조적 판독값으로 작동한다는 것이다. 이 변수는 원칙적으로 현재의 선택이 정답일 사후 확률을 계산하기에 충분하다.
• 통합 프레임워크: 본 연구는 SDC를 생물학적 지능과 인공 지능 전반의 신뢰도를 연구하기 위한 통합적 계산 프레임워크로 확립한다. 이는 답변 로짓이 통사적 판독값으로 기능하는 조건과 휴리스틱 점수로 기능하는 조건을 구분한다.
• 한계 및 경계: 저자들은 복잡한 추론 태스크(CLEVR)에서 folded-X 패턴이 나타나지 않은 것이 반드시 SDC의 실패를 의미하는 것은 아니라고 겸허히 언급한다. 대신, 이는 프레임워크의 현재 경계를 보여준다. 즉, 복잡한 추론에 대한 명시적인 통사적 과정 모델 없이는 구체적인 기하학적 징후를 도출하거나 테스트할 수 없다. 결과는 LD가 복잡한 태스크에서도 정답 여부에 대한 시행별 정보를 전달하고 있지만, 적절한 과정 모델이 개발되기 전까지는 그것이 통사적 잠재 변수인지에 대한 지위는 미결 상태로 남아 있음을 시사한다.

요약하자면, 본 연구는 단순 지각 및 기억 기반 결정에서 LLM의 신뢰도 신호가 생물학적 시스템에서 발견되는 잠재적 결정 변수와 구조적으로 동형(isomorphic)임을 입증하며, 모델 신뢰도를 해석하기 위한 엄격한 기초를 제공한다.