Descriptive versus Regulatory Uncertainty in Bounded Predictive Systems

기술적 요약: 경계 예측 시스템에서의 기술적 설명 대 규제적 불확실성

문제 제기
본 논문은 현재 대규모 언어 모델 (LLM) 의 근본적인 안전 및 인식론적 한계를 다룹니다: 진정한 지식과 자신감 있는 환각을 구분하지 못한다는 점입니다. 현재 담론은 모델의 능력에 초점을 맞추고 있지만, 저자들은 인식론적으로 유익한 불확실성을 가진 시스템과 불확실성이 단지 기질적 산물인 시스템 사이의 더 중요한 구분이 존재한다고 주장합니다.

핵심 문제는 열역학적 분리로 규명됩니다. 물리적 컴퓨팅 시스템에서 Landauer 의 원리는 비가역적 비트 연산이 최소 에너지 비용 ($k_B T \ln 2$) 을 수반한다고 규정합니다. 그러나 현재 LLM 에서는 이 열역학적 비용이 출력의 인식론적 질과 무관하게 불변입니다. 모델이 인과적으로 근거된 유도를 생성하든 자신감 있는 환각을 생성하든, 하드웨어 (예: A100 GPU) 가 방출하는 에너지는 동일합니다. 결과적으로 시스템의 불확실성 (Shannon 엔트로피로 측정됨) 은 오류를 처벌하기 위해 물리적 비용 함수에 참여하는 신호인 "규제적"인 것이 아니라, 출력 분포의 통계적 속성인 "기술적 설명적"인 것입니다.

이론적 틀
저자들은 다음 두 개념을 통해 이 구분을 형식화합니다:

1. 열역학적 분리: 시스템의 출력 Shannon 엔트로피 ($H_{out}$) 와 인과적 정확도 ($\alpha$) 가 물리적 기질 상태에 조건부로 통계적으로 독립적일 때, 해당 시스템은 열역학적으로 분리된 것입니다. 이러한 시스템에서 연산당 에너지 비용은 인식론적 오류에 따라 증가하지 않습니다 ($\partial E_{cost}/\partial \epsilon = 0$).
2. Softmax 분리 정리: 저자들은 고정된 가중치와 고정된 추론 온도를 가진 트랜스포머에서 토큰 수준의 Shannon 엔트로피가 가중치, 온도, 그리고 문맥의 결정론적 함수임을 증명합니다. 이는 문맥이 분포 내 검색을 요구하든 분포 외 (OOD) 인과적 일반화를 요구하든 구조적으로 독립적입니다. 온도가 에너지적 결과를 가지는 물리적 열역학 시스템과 달리, 트랜스포머의 "계산적 온도"($\tau$) 는 분리된 하이퍼파라미터입니다.

방법론
열역학적 분리 가설을 실증적으로 검증하기 위해 저자들은 두 가지 크기 차이에 걸친 세 가지 Llama 모델 (3B, 8B, 70B 파라미터) 에 걸쳐 토큰 수준의 Shannon 엔트로피와 작업 정확도를 측정하는 실험을 수행했습니다.

• 작업 세트: 인과적 요구 사항이 증가하는 세 가지 범주로 구성된 18 개 작업 세트를 구축했습니다:
  • 케플러 작업: 잘 확립된 물리적 관계의 검색 (패턴 검색).
  • 뉴턴 작업: 새로운 매개변수 구성에 대한 인과적 연산자의 적용 (인과적 유도).
  • 뉴턴 OOD 작업: 모든 합리적인 학습 범위 너머로 설계된 매개변수 영역에서의 유도 (급진적 분포 변화).
• 모델: llama3.2:3b, Llama-3.1-8B-Instruct, Llama-3.1-70B-Instruct.
• 측정:
  • 엔트로피: 확률적 샘플링 노이즈를 최소화하기 위해 낮은 추론 온도 ($\tau = 0.1$) 에서 토큰 수준의 logprobs 로부터 추출.
  • 정확도: 수학적으로 검증된 정답에 대한 인간 평가를 통해 평가. 응답이 유효한 유도를 통해 올바른 결론에 도달한 경우에만 1 점으로 채점되었으며, 잘못된 결과를 가진 그럴듯한 내러티브는 0 점으로 채점.
• 통계 분석: 각 모델 내에서 범주 간 엔트로피와 정확도를 비교하기 위해 Welch t-검정을 사용했습니다.

주요 결과
실험 결과는 열역학적 분리에 대한 강력한 증거를 제공합니다:

1. 엔트로피 평탄화: 세 가지 모델 모두에서 세 가지 작업 범주 전반에 걸쳐 토큰 수준의 Shannon 엔트로피가 통계적으로 평탄했습니다.
   • 모델 내 엔트로피 범위는 미미했습니다 (0.011–0.028 nats), 사전에 지정된 평탄화 임계값인 0.10 nats 보다 훨씬 낮았습니다.
   • 엔트로피 비교에 대한 모든 쌍별 p-값은 유의하지 않았습니다 ($p \ge 0.568$).
2. 정확도 분산: 극명하게 대조적으로, 작업 정확도는 작업 범주와 모델 크기에 따라 극적으로 변했습니다 (0% 에서 100% 까지).
   • 70B 모델은 케플러 작업에서 100% 정확도를 달성했고, 뉴턴 작업에서는 67%, 뉴턴 OOD 작업에서는 17% 만 달성했습니다.
   • 정확도에서 이러한 거대한 분산이 있었음에도 불구하고 엔트로피는 일정하게 유지되었습니다.
3. 규모 불변성: 분리는 작은 모델의 속성이 아닌 아키텍처 불변성입니다. 더 큰 모델이 더 낮은 기준선 엔트로피 (더 높은 확신) 로 작동했음에도 불구하고, 난이도 수준 전반에 걸친 엔트로피의 평탄함은 모든 규모에서 지속되었습니다. 모든 모델은 OOD 작업에서 동일한 낮은 정확도 (17%) 로 수렴했으며, 이에 상응하는 불확실성 증가는 없었습니다.

의의 및 주장
본 논문은 현재 LLM 이 구조적 안전 결함을 가지고 있다고 주장합니다: "동시에 최대 확신과 최대 오류를 가질 수 있다"는 점입니다.

• 안전 함의: 엔트로피가 정확도와 분리되어 있으므로, 토큰 수준 엔트로피는 안전 필터를 위한 신뢰할 수 있는 확신 신호로 기능할 수 없습니다. 엔트로피에 의존하여 신뢰할 수 없는 출력을 플래그하는 시스템은 지식과 허구 사이의 구분에 대해 "기능적으로 맹목"입니다.
• 아키텍처적 한계: 이는 사후 수정, 미세 조정, 또는 확대로 해결 가능한 보정 문제가 아닙니다. 이는 열역학적 기질이 인식론적 오류에 무관심한 고정 가중치 추론의 근본적 결과입니다.
• 향후 방향: 저자들은 "규제적 불확실성"을 달성하기 위해서는 열역학적 결합이 필요하다고 제안합니다. 즉, 연산의 에너지 비용이 인식론적 오류에 따라 증가해야 합니다. 저자들은 예측 오류가 오류 의존적 에너지 비용으로 실시간 가중치 업데이트를 유도하는 내재적 비용 모듈을 가진 뉴로모픽 아키텍처가 이 격차를 메울 수 있다고 제안하며, 이를 통해 허구를 물리적으로 비싸게 만들고 시스템의 바닥 상태를 이해와 정렬시킬 수 있다고 주장합니다.

본 논문은 진정한 인식론적 근거는 열역학적 기질 상태와 정보 처리 비용 사이의 인과적 결합을 필요로 한다고 결론지으며, 이는 현재 배포된 모든 LLM 에 결여된 속성이라고 명시합니다.