기술 요약: 양자화된 신경 계산의 자원 이론 (A Resource Theory of Quantized Neural Computation)

1. 문제 정의

본 논문은 양자화된 신경망의 근본적인 구조적 질문을 다룬다: 고정된 입출력 맵(input–output map)에 대해, 추가적인 저비트 잔차 계산(depth)이 결여된 수치 정밀도를 언제 대체할 수 있는가?

전통적인 양자화는 정밀도 손실을 국소적인 근사 문제(예: 가중치를 저비트 값으로 교체하는 것)로 간다. 본 논문은 이 문제를 **대상 특정적 자원 이론(target-specific resource theory)**으로 재정의한다. 본 논문은 다음을 질문한다:

1. 고정된 호라이즌(horizon) 동안 저비트 시스템의 무한 깊이 극한은 무엇인가?
2. 깊이가 증가함에 따라 이 극한에 얼마나 빠르게 도달하는가?
3. 이 극한이 실제 실행 단계에서 생존하기 위해 어떤 수치적 또는 라우팅 자원(메타데이터, 산술 시맨틱, 스케줄)이 확장되어야 하는가?

핵심 과제는 구조적 표현 가능성(structural representability) (연산 라이브러리가 이론적으로 표현할 수 있는 것)과 구현 가능성(implementation feasibility) (유한한 산술 및 라우팅이 그 표현을 보존할 수 있는지 여부)를 구분하는 것이다.

2. 방법론 및 프레임워크

본 논문은 깊이 $D$인 저비트 학생(student) 모델을, 선언된 저비트 연산 라이브러리 $\mathcal{G}_b$로부터 필드를 선택하는 **순수 스케줄(pure schedule)**로 모델링하며, 이는 고정된 호라이즌 $T$에 대해 작동한다. 또한 각 순간마다 라이브러리 필드에 대한 확률 벡터를 허용하는 완화된 제어(relaxed control) 프레임워크를 도입하여, 폐쇄 완화 도달 집합(closed relaxed reachable set) $\mathcal{R}_{\Omega, \text{rel}}$을 정의한다.

주요 모델링 구성 요소:

• 리프티드 상태 공간 (Lifted State Space): 상태는 단일 궤적이 아닌 완전한 입력 인덱스 맵을 나타내는 바나흐 공간 $Z = C(\Xi; \mathbb{R}^q)$로 리프팅된다. 이는 명시적으로 선언되지 않는 한 서로 다른 입력에 대해 서로 다른 스케줄을 선택하는 것을 방지한다.
• 구조적 바닥 (Structural Floor): 타겟 맵 $F^\star$와 폐쇄 완화 도달 집합 사이의 거리인 $E_{\Omega, \infty}(F^\star)$이다. 이것은 정확한 점근적 극한이며, 주어진 라이브러리에 대해 깊이를 늘려도 이 바닥 아래로 오차를 줄일 수 없다.
• 자원 분해 (Resource Decomposition): 총 오차는 세 가지 별개의 반경으로 분해된다:
  1. 합성 오차 ($C_{\text{syn}}/D$): 완화된 집합을 유한한 순수 스케줄로 근사하는 비용.
  2. 메타데이터 오차 ($C_{\text{meta}} 2^{-s/m}$): $s$ 비트로 학습된 딕셔너리를 기술하는 비용.
  3. 산술/실행 오차 ($A_D$): 유한 정밀도, 누적, 포화 및 라우팅으로 인한 손실.

이론적 도구:

• 균형 스위칭 (Balanced Switching, 온라인 심플렉스 라운딩): 순수 스케줄이 유한한 접두사 불일치(prefix discrepancy) 내에서 완화된 제어를 추적할 수 있음을 보장하는 보조정리로, 1차 수렴 속도를 이끌어낸다.
• 횔더 정규성 (Hölder Regularity): 필드 의존성이 유한 변동(bounded variation)이 아닌 $\vartheta$-횔더(Hölder)인 경우 수렴 속도를 $O(D^{-\vartheta} + D^{-1})$로 확장한다.
• 하이브리드 시스템 이론 (Hybrid Systems Theory): 경로 변경 네트워크(예: Mixture-of-Experts)를 사용하여 트랜스버설리티(transversality) 조건과 소규모 이득 정리(small-gain theorems)를 통해 라우팅 불일치로 인한 상태 오차를 분석한다.
• 프리멀-듀얼 인증 (Primal-Dual Certification): HJB 부해(subsolution), 서포트 증인(support witnesses), 점유 측도(occupation measures)를 사용하여 훈련 전 구조적 바닥에 대한 엄격한 하한 및 상한을 제공한다.

3. 주요 기여 및 결과

A. 구조적 바닥이 결정적 불변량이다

본 논문은 선언된 딕셔너리 가족에 대해, 유한 깊이 시스템의 오차가 타겟과 폐쇄 완화 도달 집합 사이의 거리에 수렴함을 증명한다.

• 결과: 만약 구조적 바닥이 양수라면, 어떤 옵티마이저나 깊이 증가도 이를 제거할 수 없다. 만약 0이라면, 타겟은 구조적으로 표현 가능하다.
• 시사점: 타당성(feasibility)은 단순히 명목상의 비트 너비가 아니라, 타겟에 대한 연산 라이브러리의 기하학적 구조에 의해 결정된다.

B. 1차 깊이 비용(First-Order Depth Price)은 필수적이다

본 논문은 특정 조건 하에서 오차가 정확히 $O(D^{-1})$로 감소함을 확립한다.

• 고정 교사 역설 (Fixed-Teacher Converse): 구성된 이진 잔차 재귀(및 ReLU MLP와 비균등 어텐션에서의 신경망적 실현)는 고정된 타겟이 $D^{-1}$ 오차율을 요구함을 보여준다.
• 매칭 법칙 (Matching Law): 오차가 $\Theta(L^{-1})$인 정밀한 비교기와 구조적 바닥이 0인 저비트 시스템이 있을 때, 정확도 매칭을 위해서는 $D = \Theta(L)$이 필요하다.

C. 실행 산술은 깊이의 이점을 역전시킬 수 있다

"깊이가 정밀도를 대체한다"는 명제는 특정 실행 모델 없이는 거짓이라는 것이 핵심 발견이다.

• 전체 상태 쓰기-백 (Full-State Write-Back): 모든 마이크로스텝이 고정된 그리드에 전체 상태를 기록하는 경우, 오차 엔벨로프는 $E \approx E_\infty + C/D + D\rho_z$가 된다. 이는 유한한 최적 깊이를 갖는 U자형 엔벨로프를 생성한다. 즉, 더 깊은 네트워크는 잔차 업데이트를 동결시켜 오히려 성능을 악화시킬 수 있다.
• 증분 오차 피드백 (Increment Error Feedback): 양자화 잔차를 캐리 레지스터(carry register)에 저장하면 오차가 텔레스코핑(telescope)된다. 이는 $O(D^{-1})$ 법칙을 보존하며, 제한된 레지스터 너비를 가진 공통 격자(lattice) 상에서 정확한 정수 실현을 허용한다.

D. 메타데이터와 깊이는 별개의 자원이다

학습된 딕셔너리(codebook)와 스케줄 깊이는 서로 다른 자원이다.

• 할당 법칙 (Allocation Law): 총 예산 하에서, 로그 스케일의 메타데이터 성장($s \sim \log D$)은 코드북 이산화가 1차 합성 깊이와 일치하도록 유지하기에 충분하다.
• 패킹 역설 (Packing Converse): 정보 이론적 경계는 가족 형태의 타겟을 근사하기 위해 스케줄 레이블과 글로벌 메타데이터 모두에 비용을 지불해야 함을 보여준다.

E. 라우팅은 하이브리드 안정성을 요구한다

하드 라우팅(예: MoE)을 가진 네트워크의 경우, 단순한 마진 논리만으로는 불충분하다.

• 트랜스버설리티 (Transversality): 경로 변경은 격리되어야 하며 트랜스버설(transversal)해야 한다.
• 소규모 이득 조건 (Small-Gain Condition): 상태 오차-이벤트 폭 변환 비율과 이벤트 폭-상태 강제 변환 비율의 곱이 1보다 작아야 1차 수렴을 보장한다는 하이브리드 안정성 조건을 도출한다.

F. 훈련 전 인증 (Certification Before Training)

본 논문은 훈련 전에 타당성을 결정하는 워크플로우를 제안한다:

1. 바닥 브래키팅 (Bracket the Floor): 프리멀(가능한 궤적) 및 듀얼(HJB/SOS 증인) 인증을 사용하여 구조적 바닥을 제한한다.
2. 의사 결정 규칙:
   • 가능 (Feasible): 상한(Upper Bound) + 구현 반경(Implementation Radius) $\le$ 타겟 허용 오차.
   • 불가능 (Impossible): 하한(Lower Bound) - 구현 반경 > 타겟 허용 오차.
   • 미결 (Unresolved): 구간이 허용 오차와 겹치는 경우 (더 나은 경계가 필요함을 나타내는 의도된 결과).

4. 실험 및 검증된 증거

본 논문은 정확한 증명, 철저한 유한 체크, 제어된 시뮬레이션, 사전 훈련된 진단을 구분한다:

• 정확한 증인 (Exact Witnesses): 소프트-임계값(soft-threshold) 네트워크와 어텐션 시스템에 대한 검증된 유리수 인증은 호환되지 않는 타겟에 대한 양수의 구조적 바닥과 호환되는 타겟에 대한 0의 바닥의 존재를 확인한다.
• 고정 교사 역설: 깊이 12까지의 스케줄에 대한 전수 조사는 특정 어텐션 및 MLP 아키텍처에서 정확한 $D^{-1}$ 점근선과 0이 아닌 극한 상수를 확인한다.
• 사전 훈련된 진단: DistilBERT (SST-2)에 대한 연구는 양자화 없이 훈련된 블록을 세분화하는 것이 원래 맵에서 멀어지는 반면(비일관적), 일관된 타겟을 정교화하는 것은 오차를 줄인다는 것을 보여준다. 이는 타겟 일관성의 필요성을 검증한다.
• 최적화 갭 (Optimization Gaps): 로컬 탐색(좌표 하강법)이 전역 최적값을 수 차수(orders of magnitude) 차이로 놓칠 수 있음을 보여주는 실험은, 표현 가능성(스케줄의 존재 여부)이 훈련 가능성(찾을 수 있는지 여부)과 구별됨을 증명한다.

5. 의의 및 주장

본 논문은 타겟 특정적 자원 이론을 제공하여 구조적 한계와 구현 세부 사항을 분리한다고 주장한다. 그 의의는 다음과 같다:

1. "깊이가 정밀도를 대체한다"의 재정의: 이 트레이드오프는 연산 라이브러리, 실행 시맨틱(특히 오차 피드백 vs 쓰기-백), 그리고 라우팅 모델에 따라 조건적임을 명확히 한다. 이는 보편적인 법칙이 아니다.
2. 구조적 vs 최적화: 무엇을 표현할 수 있는가(구조적 바닥)와 무엇을 찾을 수 있는가(최적화)를 엄격히 분리하여, 훈련 실패가 구조적 불가능성으로 오해되는 것을 방지한다.
3. 실행 가능한 인증: 프리멀-듀얼 경계와 명시적인 산술 반경을 사용하여 훈련 전에 타당성 또는 불가능성을 인증할 수 있는 수학적 프레임워크를 제공한다.
4. 실행 인식 설계: 표준 양자화 지표(비트 너비)는 불충분하며, 누적의 시맨틱(캐리 vs 포화)과 라우팅(트랜스버설리티)이 깊이가 저정밀도를 보완할 수 있는지 결정하는 진정한 결정 요인임을 강조한다.

본 논문은 임의의 레이어 삽입이 맵을 보존한다거나, 파라미터-비트 절감이 지연 시간/에너지 절감을 의미한다거나, 최적화 실패가 비표현성을 증명한다는 주장을 하지 않는다. 대신 양자화된 잔차 계산의 구조적 및 산술적 경계에 집중한다.