기술 요약: 비트가 recourse 를 파괴할 때: 반사실적-신뢰성 양자화

1. 문제 제기

현대 기계 학습 시스템은 메모리 발자국과 추론 지연 시간을 줄이기 위해, 특히 모바일 및 엣지 배포에서 양자화에 점점 더 의존하고 있습니다. 양자화 인식 학습 (QAT) 과 학습 후 양자화 (PTQ) 가 예측 정확도 유지 능력을 위해 엄격하게 평가되지만, 본 논문은 중요한 배포 불일치를 지적합니다: 양자화는 평균 사례 정확도는 유지하면서도 알고리즘적 recourse 를 침묵 속에 파괴할 수 있습니다.

알고리즘적 recourse 는 모델의 결정을 원하는 결과로 전환시키는 실행 가능한 권장 사항 (입력에 대한 최소 변경) 을 제공합니다. 논문은 정확도 제약이 데이터 분포에 적용되는 반면, recourse 는 개별 점 주변의 특정 이웃에서 결정 경계의 국소 기하학에 의존한다고 주장합니다. 양자화는 구조적이지만 비균일한 방식으로 가중치와 활성화를 교란시켜, recourse 에 중요한 이웃에서 결정 마진을 이동시키고 경계를 회전시킬 수 있습니다. 결과적으로, 정밀도 모델에 유효한 recourse 행동은 모델의 테스트 정확도가 변하지 않더라도 양자화 후 유효하지 않거나 비용이 크게 증가할 수 있습니다.

2. 방법론: 반사실적-신뢰성 양자화 (CFQ)

저자들은 예측 정확도와 함께 1 차적 목표로 반사실적 행동을 보존하도록 설계된 양자화 인식 학습 방법인 반사실적-신뢰성 양자화 (Counterfactual-Faithful Quantization, CFQ) 를 제안합니다.

핵심 메커니즘

CFQ 는 양자화를 구조화된 모델 변화로 간주합니다. 이는 "교사" 정밀도 모델 ($f$) 을 사용하여 입력 인스턴스에 대한 recourse 행동 ($\delta_{fp}$) 을 생성합니다. 이러한 행동은 미분 가능한 반사실 손실에 대한 소수의 ($K$) 투영 경사 하강 단계를 통해 계산되며, 양자화된 모델 ($f_q$) 의 최적화 중에는 상수 (stop-gradient 를 통해) 로 간주됩니다.

CFQ 의 학습 목적 함수는 세 가지 구성 요소를 결합합니다:

1. 작업 손실 ($L_{task}$): 사실적 입력에서 예측 정확도를 유지하기 위한 표준 지도 학습 손실 (예: 교차 엔트로피).
2. 유효성 보존 손실 ($L_{valid}$): 교사의 recourse 점 ($x + \delta_{fp}$) 에서 양자화 모델이 목표 결과를 예측하도록 강제하는 정규화 항. 이는 정밀도 모델에서 작동하는 행동이 양자화 모델에서도 유효하도록 보장합니다.
3. 비트 비용 페널티 ($\lambda \cdot \text{BitCost}$): 혼합 정밀도 할당을 가능하게 하는 전역 비트 예산을 강제하는 제약 조건.

혼합 정밀도 비트 할당

CFQ 는 양자화기 파라미터 (예: 스텝 크기, 클리핑 임계값) 와 레이어별 비트 너비를 공동으로 최적화합니다. 각 레이어에 대해 후보 집합 (예: $\{2, 3, 4, 8\}$) 에서 비트 너비를 선택하기 위해 Gumbel-Softmax 를 사용한 미분 가능한 완화 기법을 적용합니다. 최적화는 평균 정확도만 최적화하는 것이 아니라, recourse 점의 유효성에 가장 큰 영향을 미치는 레이어에 더 높은 정밀도를 할당하도록 반사실 목적 함수에 의해 안내됩니다.

선택적 향상 사항

• 방향/비용 일치 ($L_{match}$): 양자화 모델이 계산한 recourse 행동 ($\delta_q$) 과 교사 행동 ($\delta_{fp}$) 을 방향과 비용 측면에서 정렬시키는 선택적 항.
• 마진 안정화 ($L_{hinge}$): 교사 recourse 점에서 양자화로 인한 교란에 대한 안전 버퍼를 제공하는 양의 마진을 강제하는 힌지 손실.

이론적 기반

논문은 마진 강건성에 기반한 recourse 전달을 위한 충분 조건을 제공합니다. 이는 recourse 점에서의 정밀도 목표 마진이 양자화로 인한 최대 로그 교란 ($\epsilon$) 의 두 배를 초과하면, 양자화 모델이 목표 레이블을 보존할 것이라고 가정합니다. CFQ 의 목적 함수는 recourse 점에서의 마진을 증가시키고 표적 비트 할당을 통한 효과적인 교란을 감소시킴으로써 이를 직접적으로 해결합니다.

3. 주요 기여

1. 배포 격차 식별: 저자들은 정확도 보존 양자화 기준 (균일 QAT, 혼합 정밀도 QAT) 이 반사실 전달성을 크게 저하시켜 표준 정확도 지표로는 보이지 않는 recourse 실패를 초래할 수 있음을 입증했습니다.
2. 새로운 지표: 이러한 실패 모드를 정량화하기 위해 두 가지 지표가 도입되었습니다:
   • 유효성 감소 (Validity Drop, VD): 정밀도 모델에 유효한 recourse 행동이 양자화 모델에서는 실패할 확률.
   • 반사실 Recourse 갭 (Counterfactual Recourse Gap, CRG): 양자화 후 목표 결과를 달성하는 데 필요한 최소 비용의 상대적 증가분.
3. CFQ 알고리즘: 비트 예산 하에서 recourse 유효성을 보존하기 위해 혼합 정밀도 비트 할당과 반사실 일관성 정규화 항을 결합한 새로운 학습 절차.
4. 실증적 검증: 표형 벤치마크 (ADULT, GERMAN CREDIT, COMPAS) 와 비표형 이미지 데이터셋 (MNIST, Fashion-MNIST, CelebA) 에 대한 광범위한 실험을 통해 CFQ 가 정확도를 유지하면서 VD 와 CRG 를 크게 개선함을 보였습니다.

4. 실험 결과

실험은 표준 표형 recourse 벤치마크 (ADULT, GERMAN CREDIT, COMPAS) 에서 수행되었으며, 구조화된 잠재 공간 또는 의미적 행동 공간을 사용하여 이미지 데이터셋으로 확장되었습니다.

• 정확도 vs Recourse: 기준 방법들 (LSQ-QAT, PACT-QAT, 정확도 주도 혼합 정밀도) 은 정밀도 모델과 비교 가능한 예측 정확도 (예: ADULT 에서 약 85.7%) 를 달성했으나 높은 유효성 감소 (VD $\approx$ 0.12–0.18) 와 높은 반사실 Recourse 갭 (CRG $\approx$ 0.16–0.23) 을 겪었습니다.
• CFQ 성능: CFQ 는 비교 가능한 정확도 (예: ADULT 에서 85.7%) 를 달성하면서 VD 를 (0.06 으로) 과 CRG 를 (0.07 로) 극적으로 감소시켰습니다. 이는 최상의 비 CFQ 기준 대비 recourse 실패율을 약 50% 감소시킨 것입니다.
• 강건성: CFQ 의 이점은 다양한 비트 예산에서 일관되었으며, 양자화 노이즈가 가장 강한 저비트 영역 (예: 3-4 비트) 에서 가장 큰 향상이 관찰되었습니다.
• 학습 없는 변형 (CF-PTQ): 백본 가중치를 업데이트하지 않고 사실적 점과 교사 반사실 점 모두에서 양자화기를 보정하는 학습 후 변형이 도입되었습니다. 이 변형은 표준 PTQ 에 비해 VD 와 CRG 를 크게 감소시켜, 표준 PTQ 와 완전한 QAT 사이의 실용적인 중간 지점을 제공합니다.
• 하위 그룹 분석: CFQ 는 다양한 하위 그룹 (예: 성별, 인종) 에서 recourse 불안정성을 감소시켰으나, 안정성에서의 하위 그룹 간 격차는 여전히 존재할 수 있어 향후 공정성 인식 확장이 필요함을 시사합니다.

5. 중요성과 주장

본 논문은 예측 정확도가 압축된 모델에서 알고리즘적 recourse 의 신뢰성을 보장하기에 불충분함을 주장합니다. 양자화를 국소 결정 기하학을 변경하는 모델 변화로 취급함으로써, 저자들은 배포 파이프라인이 명시적으로 recourse 안정성을 최적화해야 한다고 주장합니다.

CFQ 의 중요성은 다음 능력에 있습니다:

• 깨진 약속 방지: 개발 중 (정밀도 모델에서) 생성된 실행 가능한 권장 사항이 배포 후 (양자화 모델에서) 유효하고 비용 효율적으로 유지되도록 보장합니다.
• 측정 가능한 안정성 제공: 압축 하에서 recourse 의 강건성을 평가하기 위한 표준 지표로 VD 와 CRG 를 도입하여, 정확도 지표가 숨기는 실패를 드러냅니다.
• 실용적 솔루션 제공: 이러한 안정성을 달성하기 위한 학습 기반 (CFQ) 과 학습 없는 (CF-PTQ) 접근 방식을 모두 제공하여 다양한 배포 제약 조건에 적용 가능하게 합니다.

저자들은 겸손한 입장을 견지하며, CFQ 는 지정된 예측 모델과 행동 집합에 관해 recourse 를 보존하지만 현실 세계의 인과적 효과를 인증하지는 않는다고 명시합니다. 그들은 CFQ 가 계산 오버헤드 (주로 교사 recourse 계산에서 발생) 를 도입하며, 그 안정성이 학습 분포에 보정되어 심각한 배포 변화 하에서는 재보정이 필요할 수 있음을 인정합니다. 그러나 결과는 반사실 행동에 대한 양자화 최적화가 고위험 의사결정 지원 시스템에 있어 구별되고 필수적인 목표임을 보여줍니다.