기술 요약: 대규모 언어 모델의 잘못된 고정점

1. 문제 제기

대규모 언어 모델 (LLM) 의 고신뢰도 오류 (할루시네이션) 는 종종 "취약한" 실패로 해석되어, 입력이나 내부 상태에 작은 교란이 가해지면 잘못된 답변이 쉽게 흔들려야 함을 시사합니다. 본 논문은 이러한 가정에 도전하며 **잘못된 고정점 (False Fixed Points)**의 존재를 제안합니다. 이는 모델이 국소적으로 안정적이고, 내부적으로 일관되며, 자신감 있게 틀린 상태에 머무는 것을 의미합니다.

해결된 핵심 문제는 국소적 안정성(교란에 대한 강건성)과 진실 추적(판단의 정확성) 사이의 불일치입니다. 저자들은 모델이 추론이 취약해서가 아니라, 잘못된 판단이 안정적인 내부 역학에 의해 "고정"되어 실패한다고 주장합니다. 이를 **안정된 오교정 (stable miscalibration)**이라고 명명합니다.

2. 방법론

이론적 프레임워크: 칸트적 피드백과 제어 이론

본 논문은 두 가지 렌즈를 통해 문제를 조명합니다:

1. 칸트적 자기 제한: 칸트의『순수 이성 비판』을 차용하여, "비판"을 규제적 피드백 게이트로 간주합니다. 모델이 답변을 확정하기 전에, 정당화된 판단의 조건이 충족되었는지 확인하는 정책이 필요합니다 (예: 질문이 답변 가능한가? 답변이 개념적으로 일관된가?). 이는 의무의 안정성과 그 의무의 진실성을 분리합니다.
2. 선형 - 가우시안 상태 공간 모델: 안정성과 진실을 분리하기 위해 저자들은 최소한의 선형 제어 모델을 사용합니다. 폐루프 오차 연산자 $\Phi = A - KH$를 정의합니다. 수학적으로 시스템이 잘못된 상태에 수렴하면서도 유계된 안정적인 오차 역학 ($\rho(\Phi) < 1$) 을 가질 수 있음을 증명합니다. 이는 "잘못된 고정점"에 대한 이론적 유사체 역할을 합니다.

지표 및 프로브

본 논문은 이러한 개념을 정량화하기 위해 구체적인 지표를 도입합니다:

• $H_{Risk}$ (추상적 지수): 4 가지 설명자로 구성된 선형 시불변 (LTI) 시스템을 위한 이론적 지수입니다. 불안정성 마진, 조건화, 통합 민감도, 혁신 증폭이 포함됩니다.
• $H_{proxy}$ (LLM 감사 대리 지표): 사후 도메인 감사를 위한 운영적, 레이블 인식 점수입니다. 다음을 결합합니다:
  • 정책 변동 ($V_i$): 다양한 정책 조건 (강제 답변, 신중한 기권, 자기 비판) 에 따른 자가 보고 신뢰도의 표준 편차.
  • 과신 오답 질량 ($O_i$): 강제 답변 기준이 고신뢰도 ($\ge 0.8$) 의 잘못된 답변을 생성했는지를 나타내는 이진 플래그.
• 내부 민감도 프로브: "취약성" 가설을 테스트하기 위해 저자들은 입력 임베딩의 작은 가우시안 교란에 대한 숨겨진 상태 이동의 크기 ($S_\ell$) 를 측정합니다. 확신 있는 정답 (CC) 항목과 과신 오답 (OCW) 항목을 비교합니다.

실험 설정

• 모델: 세 가지 오픈 가중치 지시 튜닝 모델: Llama-3.1-8B, DeepSeek-R1-Distill-Llama-8B, Qwen2.5-7B.
• 데이터: 11 개의 주제 도메인에 걸친 532 개의 짧은 단일 턴 이진 사실 항목.
• 정책:
  • C0: 강제 답변 기준 (예/아니오를 말해야 함).
  • C1: 신중한 판단 (부족하게 명시된 질문에 대해서만 기권 허용).
  • C2: 자기 비판적 판단 (단일 샷 위험 인식 정책).
  • C3-R: 사전에 선언된 "정당성 차단자"(예: 모호한 데이터, 사용 불가 정보) 와 확정을 위한 고정 임계값을 갖춘 더 엄격한 사후 명시적 피드백 게이트.

3. 주요 결과

A. 안정성은 취약성을 의미하지 않음 (잘못된 고정점)

"틀리면 취약하다"는 가설과 모순되는 중심적인 실증적 발견이 도출되었습니다.

• 민감도 분석: CC 와 OCW 그룹 간의 숨겨진 상태 민감도 ($S_\ell$) 를 비교했을 때, 차이는 미미했습니다.
  • Llama-3.1: OCW 는 CC 보다 2.2% 더 민감했을 뿐입니다.
  • Qwen2.5: OCW 는 0.4% 더 민감했을 뿐입니다.
  • DeepSeek-R1: 6.1% 증가 ($\pm 10\%$ 오차 범위 내에서 결론적이지 않음).
• 결론: 과신 오답은 확신 있는 정답보다 체계적으로 국소적으로 더 취약하지 않습니다. "틀린" 답변은 종종 "올바른" 답변만큼 국소적으로 관성적입니다. 이는 안정된 오교정의 존재를 지지합니다.

B. 기권의 트레이드오프

기권 인식 정책 (C1, C2) 을 도입하면 과신 오답 확정은 줄어들지만, 커버리지 비용이 발생합니다.

• OC-오답 감소: C1 은 고신뢰도 실수를 21.1%(C0) 에서 2.8% 로 줄였고, C2 는 6.4% 로 줄였습니다.
• 커버리지 비용: 이 감소는 답변률의 상당한 하락을 동반했습니다 (C1: 42.7%, C2: 57.1% 대 C0: 100%).
• 도메인 의존성: 자기 비판의 효용은 도메인에 따라 달랐습니다. 의학 역학 및 사회 통계에서 가장 큰 이득을 제공했지만, 기술 표준 및 문학/미디어 분야에서는 이득이 없거나 (또는 부정적 효용을 보였습니다).

C. $H_{proxy}$ 감사 점수

제안된 $H_{proxy}$ 점수는 정책 수준 신뢰도 변동이 과신 오류와 일치하는 도메인을 성공적으로 식별했습니다.

• 이는 자기 비판 정책 (C2) 의 기준선 (C0) 대비 성과 향상과 강한 양의 순위 상관관계 ($\rho = 0.71$) 를 보였습니다.
• 직접적인 레이블 인식 지표 (예: C0 오류율) 가 순수한 순위 결정에서는 더 좋았지만, $H_{proxy}$ 는 감사를 정책 이동과 오답 질량으로 분해한다는 점에서 독특하며, 개입을 적용할 영역에 대한 해석적 가치를 제공합니다.

D. 명시적 피드백 게이트 (C3-R)

확정 전에 엄격한 "정당성 차단자"를 강제하는 C3-R 파일럿은 과신 오답 확정을 성공적으로 억제했습니다 (1.5% 로 감소). 그러나 이는 커버리지에 심각한 비용이 따랐습니다 (효용 선택 임계값에서 13.4% 로 하락) 그리고 단순한 C2 프롬프트보다 명확한 손실 이점을 제공하지는 않았습니다. 이는 칸트적 피드백 게이트가 안전을 격리할 수는 있지만, 단독으로는 성능 향상 정책이 아니라는 것을 시사합니다.

E. 모델별 인식적 프로파일

본 논문은 모델 아키텍처에서 뚜렷한 행동을 관찰합니다:

• Qwen2.5: 큰 스펙트럼 노름과 활성화 크기에도 불구하고 매우 낮은 국소 민감도를 보입니다. 저자들은 이것이 고신호대잡음비 (High-SNR) 관성 때문이라고 가설을 세웁니다. 큰 내부 상태 (RMSNorm 으로 정규화됨) 가 교란의 상대적 영향을 압축하여 궤적을 "관성적"으로 만든다는 것입니다.
• DeepSeek-R1: 더 높은 국소 민감도와 더 소박한 활성화 노름을 보여, 더 "반응적"인 내부 체제를 시사합니다.

4. 주장 및 의의

본 논문은 증거의 강도가 다양한 세 가지 주요 주장을 제기합니다:

1. 개념적 프레임 (강함): 안정성과 진실 추구는 별개의 인식적 차원입니다. 모델은 국소적으로 안정적이면서 자신감 있게 틀릴 수 있습니다. 이는 선형 제어 모델과 칸트적 피드백 유추에 의해 지지됩니다.
2. 부정적 취약성 결과 (강함): 테스트된 영역에서 과신 오답 항목은 확신 있는 정답 항목보다 체계적으로 국소적으로 더 취약하지 않습니다. 고신뢰도 할루시네이션에 대한 "취약한 계산" 설명은 숨겨진 상태 민감도 프로브에 의해 지지되지 않습니다.
3. 감사 및 메커니즘 (중간/탐색적):
   • $H_{proxy}$는 기권 정책이 가장 관련 있는 도메인을 식별하는 데 유용한 사후 감사 도구입니다.
   • 안정된 오교정은 감사에 유용한 범주이며, 고신호대잡음비 관성(교란 압축) 이나 표상 압축(진실 관련 구분이 저차원 의미 영역으로 붕괴됨) 과 같은 메커니즘에 의해 주도될 수 있습니다.

의의:
본 논문은 강건성 (안정성) 이 진실과 혼동되어서는 안 된다고 주장합니다. 현재의 신뢰성 지표는 종종 답변이 일관되거나 불확실한지에 초점을 맞추지만, 이 연구는 모델이 자신감 있게 그리고 안정적으로 틀릴 수 있음을 강조합니다. 저자들은 향후 안전 연구가 인식적 안정성(교란에 대한 강건성) 과 진실 추적을 분리하여 측정해야 하며, "잘못된 고정점"은 단순한 자기 수정이나 교란 테스트가 탐지하지 못할 수 있는 특정하고 안정적인 실패 모드임을 제안합니다.

논문에서 인정된 한계:

• 선형 - 가우시안 모델은 트랜스포머 역학의 기계적 환원이 아닌 최소한의 추상화입니다.
• LLM 연구는 작은 이진 사실 감사 세트와 특정 오픈 가중치 모델로 제한됩니다.
• $H_{proxy}$는 배포 시 불확실성 추정기가 아닌 사후 감사 점수입니다.
• 표상 압축과 고신호대잡음비 관성은 경험적으로 확립되기 위해 추가적인 기하학적 진단 (예: 유효 랭크, 이방성) 이 필요한 제안된 메커니즘입니다.