기술 요약: 양자화된 대규모 언어 모델의 사회적 편향 변화를 유발하는 불확실성

문제 정의

사후 훈련 양자화(Post-training quantization, PTQ)는 자원이 제한된 환경에서 대규모 언어 모델(LLM)을 배포할 수 있도록 계산 비용을 줄이는 표준 기술이다. 그러나 PTQ는 하위 모듈 수준에서 효율성을 최적화하지만, 다운스트림 행동 변화에 대한 인식 없이 작동한다. 기존 문헌은 양자화가 사실 회상(fact recall) 능력을 저하시키고, 환각을 증가시키며, 정렬(alignment) 과정에서 완화되었던 유해한 행동을 예측 불가능하게 재도입하여 사회적 편향을 변화시킬 수 있음을 시사한다. 이 주제에 관한 기존 연구들은 서로 다른 모델, 데이터셋 및 지표에 걸쳐 분절된 평가를 수행함으로써 상충하는 결론을 내리고 있으며, 의료나 법률과 같은 고위험 도메인에 양자화된 모델을 배포하려는 실무자들에게 실행 가능한 지침을 제공하지 못하고 있다.

방법론

이러한 불일치를 해결하기 위해 저자들은 엄격한 쌍체 통계 검정(paired statistical testing)을 통해 양자화된 모델의 편향 변화를 평가하도록 설계된 통합 프레임워크인 PostTrainingBiasBench를 도입한다.

프레임워크 및 벤치마크

본 연구는 파라미터 크기가 0.5B에서 14B에 이르는 LLaMA 3.1/3.2, Ministral, Qwen 2/2.5 제품군을 포함한 10개의 지시 미세 조정(instruction-tuned) LLM으로부터 파생된 50개의 양자화된 모델을 평가한다. 이 모델들은 다음의 5가지 독특한 PTQ 전략을 사용하여 압축된다:

• 4비트 및 8비트 가중치에서의 Round-to-Nearest (RTN).
• 4비트에서의 Generative Pre-trained Transformer Quantization (GPTQ).
• 4비트에서의 Activation-Aware Weight Quantization (AWQ).
• 4비트 RTN과 결합된 Activation-Smoothing Quantization (SmoothQuant).

평가는 세 가지 역량으로 분류된 13개의 다양한 데이터셋을 통해 수행된다:

1. 편향 식별(Bias Identification): 유해한 콘텐츠나 내재된 편향 탐지 (예: CEB-Recognition, Jigsaw).
2. 정보가 있는 문맥 하의 평등한 결과(Equal Outcomes under Informative Context): 충분한 문맥이 주어졌을 때 결정이 민감한 속성에 독립적인지 확인 (예: Adult, Credit).
3. 거절/불확실성에 대한 선호도(Preference for Refusal/Uncertainty): 편향된 텍스트로 유도되었을 때 안전한 응답을 우선시하거나 불확실성을 표현 (예: BBQ, IAT, StereoSet, BiasLens).

평가 프로토콜

프레임워크는 원본(전정밀도) 모델과 그 양자화 변형 모델의 응답을 동일한 프롬프트에 대해 생성하는 쌍체 평가(paired evaluation) 전략을 채택한다.

• 응답 추출: 폐쇄형 과업(closed-ended tasks)의 경우, 토큰 편향을 완화하기 위해 기하 평균(최저 퍼플렉서티와 동일)을 기준으로 응답을 선택한다. 개방형 과업(open-ended tasks)의 경우 그리디 디코딩(greedy decoding)을 사용한다.
• 지표: 연구는 응답 뒤집힘(response flipping)(개별 응답이 편향된 상태에서 편향되지 않은 상태로 또는 그 반대로 변하는 현상)과 집계된 편향 지표(0과 1 사이로 정규화됨)를 추적한다.
• 통계 분석: 유의성은 Benjamini–Hochberg FDR 보정을 적용한 순열 방식의 부트스트랩 테스트(1,000회 시뮬레이션)를 통해 결정된다. 효과 크기는 Cohen's $d$를 사용하여 정량화된다.
• 불확실성 측정: 모델 불확실성은 폐쇄형 과업에 대해 응답 옵션에 대한 정규화된 샤논 엔트로피(Shannon entropy)를 통해, 개방형 과업에 대해 평균 토큰 확률을 통해 측정된다.

주요 기여

1. 양자화 유발 마스크 편향 뒤집힘 (Quantization-Induced Masked Bias Flipping)

본 연구는 집계된 편향 점수가 통계적으로 변하지 않았음에도 불구하고, 양자화 후 최대 21%의 응답이 편향되거나 편향되지 않은 상태 사이에서 뒤집히는 현상을 식별한다. 이러한 "마스크된" 뒤집힘은 표준 집계 지표가 개별 응답 수준에서의 중요한 행동 변화를 포Capture하지 못함을 나타낸다.

2. 주요 동인으로서의 불확실성

연구는 모델 불확실성과 응답 뒤집힘 사이의 강력한 인과 관계를 확립한다.

• 높은 불확실성을 가진 응답(엔트로피 > 0.66)은 확신도가 높은 응답(엔트로피 < 0.33)보다 뒤집힐 확률이 3~11배 더 높다.
• 선호도 튜닝 실험(양자화 전 불확실성을 조절하기 위해 SimPO 사용)은 용량-반응 관계(dose-response relationship)를 확인한다: 양자화 전 불확실성을 높이면 양자화 후 뒤집힘 비율이 직접적으로 증가한다.
• 결정적으로, 모델 불확실성의 전체 분포는 양자화 후에도 안정적으로 유지된다. 즉, 양자화는 불확실성을 체계적으로 증가시키거나 감소시키는 것이 아니라 재분배한다.

3. 사회적 집단에 대한 비대칭적 영향

집계된 지표는 종종 중립적인 효과를 시사하지만, 하위 그룹 분석은 극적인 비대칭성을 드러낸다.

• 동일한 모델 내에서도 특정 집단에 대한 편향은 최대 18.6% 악화될 수 있는 반면, 다른 집단에서는 14.1% 개선될 수 있어 오해의 소지가 있는 중립적인 집계 결과를 초래한다.
• 이러한 영향은 모델 제품군과 데이터셋에 따라 예측 불가능하다. 예를 들어, "남성" 인구 통계는 일부 데이터셋에서는 편향이 증가했으나 다른 데이터셋에서는 감소했다.

4. 양자화 강도 및 모델 규모

• 양자화 강도: 4비트 양자화 방식은 8비트 방식보다 4~6배 더 많은 행동 변화를 보인다. RTN 8비트 양자화는 베이스라인과 최소한의 편차를 보이는 반면, 4비트 변형(GPTQ, AWK, RTN)은 현저히 높은 불안정성을 보인다.
• 모델 규모: 큰 모델이 일관된 강건성 이점을 보여주지는 않는다. 14B 모델은 0.5B 모델과 비슷하거나 오히려 더 나쁜 안정성을 보일 수 있으며, 이는 큰 모델이 압축 시 본질적으로 더 안전하다는 휴리스틱을 무효화한다.

결과 및 발견

• 숨겨진 휘발성: FMT10K와 같은 데이터셋에서 집계된 지표가 유의미한 변화를 보이지 않을 때도 21%의 응답이 뒤집힌다. 개방형 생성 과업은 가장 높은 휘발성을 보인다.
• 순위 불안정성: 양자화는 근본적으로 모델 간 비교 순위를 변경한다. 양자화 전 가장 편향이 적었던 모델이 양자화 후 크게 하락하거나, 그 반대의 경우가 발생할 수 있다.
• 데이터셋 특이성: 특정 질문의 취약성은 수 자릿수 차이로 달라진다. 어떤 질문들은 매우 취약한 반면(최대 50%까지 뒤집힘), 어떤 질문들은 안정적인 상태를 유지하는데, 이는 특정 의미론적 내용이나 질문 구성이 취약성을 유도함을 시사한다.

의의 및 주장

본 논문은 압축이 현재의 평가 방식으로는 감지할 수 없는 방식으로 편향 패턴을 근본적으로 변화시킨다고 주장한다. 저자들은 다음과 같이 주장한다:

1. 표준 평가는 오해의 소지가 있다: 집계된 지표에만 의존하는 것은 특정 인구 통계 집단에 대한 심각하고 비대칭적인 해악을 은폐한다.
2. 불확실성은 중요한 안전 신호이다: 모델의 확신도(불확실성)는 양자화 안전성을 위한 사전 스크리닝 도구 역할을 하며, 이는 분류 작업에서는 확립되었으나 압축 맥락에서는 처음으로 연결되었다.
3. 배포 지침: 실무자는 안전이 중요한 애플리케이션의 경우 4비트보다 8비트 양자화를 선호해야 하며, 벤치마크 결과에만 의존하기보다 과업별 평가를 수행하고, 데이터셋 수준의 집계보다 하위 그룹 수준의 지표를 우선시해야 한다.
4. 사후 양자화 평가의 필요성: 특히 높은 불확실성을 가진 예측과 취약한 사회적 집단에 대해 필수적인 사후 양자화 편향 평가가 필요하며, 이는 실제 배포 시의 신뢰성을 보장하기 위함이다.

본 연구는 이러한 효과를 무시하는 것이 양자화 전의 평가와는 판이하게 다른 동작을 하는 시스템을 배포하게 되어, 취약 계층에게 심각한 결과를 초래할 위험이 있다고 결론짓는다.