기술 요약: 정렬 거부 (The Alignment Veto)

문제 정의

기존 문헌은 대규모 언어 모델(LLM)이 문화적으로 민감한 질문에 답변을 거부할 때, 모델이 관련 문화적 지식이 부족하기 때문(표상 실패, representational failure)이라고 흔히 가정한다. 본 논문은 이러한 가정에 이의를 제며, 거부가 모델이 이미 보유하고 있는 지식의 표현을 차단하는 "안전 게이트(safety gate)"로 인해 발생한다고 주장한다. 저자들은 정렬 학습(alignment training)이 내부의 문화적 분포를 삭제하는 것이 아니라 그 표현을 억제하는지 조사하며, 특히 서구 중심의 안전 학습 파이프라인과 문화적 가치가 자주 충돌하는 중동 및 북아프리카(MENA) 지역에 초점을 맞춘다.

방법론

본 연구는 16개 MENA 국가, 26개 모델(8개 제품군 및 4개 정렬 단계인 Base, SFT, DPO, Instruction-Tuned 포함), 그리고 153만 개의 인간 설문 응답을 활용한 대규모 경험적 평가를 수행한다.

데이터 및 평가:

• 질문: 세계 가치 조사(WVS)와 아랍 여론 지수(AOI)에서 추출한 864개의 질문을 세 가지 계층으로 분류함: T1(무해한 주제), T2(중간 수준), T3(LGBTQ+ 수용, 성평등, 종교적 관용과 같은 민감한 주제).
• 프롬프팅: 영어와 모국어(아랍어, 페르시아어, 터키어)를 사용하여 세 가지 프레이밍 전략(중립, 페르소나, 관찰자)을 통해 응답을 생성함.
• 지표:
  • NVAS (정규화된 가치 정렬 점수): 모델 출력과 인간 설문 평균 사이의 정렬도를 측정함.
  • 거부율 (Refusal Rate): 답변을 하지 않는 출력의 빈도.
  • EV-NVAS (기대 가치 NVAS): 거부되는 정확한 순간의 모델 내부 로짓(logit) 분포를 추출하여, 차단되지 않았을 경우 모델이 "무엇이라고 답했을지"를 추정하는 새로운 지표.
  • 안전 세금 (Safety Tax): 민감한 질문(T3)과 무해한 질문(T1) 사이의 거부율 차이.

기제 분석:

• 프로빙 (Probing): 잔차 회귀 프로브(Residualized ridge-regression probes)를 사용하여 네트워크 레이어를 가로지르는 문화적 신호를 추적함.
• 희소 오토인코더 (Sparse Autoencoders, SAE): Tulu-3-8B 모델에 적용하여 억제를 매개하는 특정 특징(feature)을 식별함.
• 절제 (Ablation): 식별된 SAE 특징을 선택적으로 제로화하여 T3 응답에 미치는 인과적 효과를 관찰함.

주요 결과

1. 정렬 거부: 억제 vs 삭제

핵심 발견은 "정렬 거부(alignment veto)"이다. 민감한(T3) 질문에 대해 모델은 종종 답변을 거부하지만, 거부되는 순간의 내부 로짓 분포는 자유롭게 생성된 답변보다 인간 설문 실측값과 더 강하게 상관된다.

• 증거: T3 질문의 경우, 거부된 행의 EV-NVAS는 수락된 행의 NVAS보다 유의미하게 높음 (예: 페르소나 프레이밍 하에서 +0.029 차이).
• 시사점: 모델은 내부적으로 정확한 문화적 지식을 보유하고 있으나, 안전하게 학습된 출력 게이트가 그 표현을 가로채고 차단한다. 이는 모델의 인코딩 자체가 인간의 가치와 동떨어지는 "표상 편향(representational bias)"과는 구별되는 현상이다.

2. 두 가지 뚜렷한 실패 모드

본 논문은 서로 다른 개입이 필요한 두 가지 유형의 문화적 불일치를 구분한다:

• 억제 실패 (Suppression Failures): 모델이 답을 알고 있으나 말하기를 거부함 (높은 거부율, 높은 내부 EV-NVAS). 이는 주로 LGBTQ+ 주제와 관련이 있다. 이는 프롬프트 엔지니어링(예: 3인칭 프레이밍)을 통해 부분적으로 완화될 수 있다.
• 표상 편향 실패 (Representational Bias Failures): 모델이 답변은 하지만 문화적으로 부정확한 정보를 제공함 (낮은 거부율, 낮은 NVAS). 이는 성평등 주제와 자주 연관되며, 내부 지식의 결여를 해결하기 위해 학습 단계에서의 데이터 수정이 필요하다. 프롬프트 개입으로는 해결할 수 없다.

3. 안전 세금과 불평등

정렬 학습은 민감한 콘텐츠에 대한 과도한 거부율인 "안전 세금"을 설치한다.

• 규모: 일부 모델(예: ALLAM-7B-IT)에서 안전 세금은 최대 37.6%에 달한다.
• 불평등: 이 세금은 불균등하게 배분된다. 가장 잘 지원받는 국가(팔레스타인)와 가장 적게 지원받는 국가(알제리) 사이에 19.8%의 문화적 정렬(NVAS) 격차가 존재한다.
• 학습 단계: 세금은 정렬 파이프라인(SFT → DPO → IT)을 거치며 단조 증가하며, DPO가 억제 메커니즘이 주로 설치되는 단계로 식별되었다.

4. 모국어 역설

모국어 프롬프팅이 문화적 정확도를 높일 것이라는 가정과 달리, 본 연구는 영어에서 모국어(아랍어, 페르시아어, 터키어)로 전환할 때 정렬도가 저하됨을 발견했다.

• 정확도 하락: 모국어 프로프팅은 모든 모델에서 평균 NVAS를 0.050 포인트 감소시킨다.
• 정체성 붕괴: 아랍어로 프롬프팅할 경우, 14개 아랍어 사용 국가의 응답이 하나의 클러스터로 붕괴되어 국가별 뉘앙스를 잃는다. SAE 분석 결과, 언어 가족 특징이 잔차 스트림(residual-stream) 표현을 지배하여 국가별 신호를 압도하는 것으로 나타났다.

5. Tulu-3-8B에서의 기제적 증거

Tulu-3-8B에 희소 오토인코더를 적용하여 저자들은 다음과 같은 후보 특징(Feature #5505)을 식별했다:

• T3 질문에 선택적으로 활성화됨 (T3 항목의 28.6% vs T2의 <0.4%, T1의 0%).
• DPO 단계에서 설치됨.
• 이 특징을 절제(ablation)했을 때, 무해한(T1) 콘텐츠에는 영향을 주지 않으면서 T3 질문에 대한 예측값을 증가시켰으며, 이는 억제 메커니즘에서 인과적 역할을 수행함을 시사한다.

의의 및 주장

본 논문은 문화적 정렬 실패가 단일한 현상이 아니라고 주장한다. 저자들은 억제(차단된 지식)와 표상 편향(누락된 지식)을 구분함으로써, 현재의 개선 노력이 종종 잘못된 방향으로 향하고 있다고 논한다.

• 기술적 측면: 프롬프트 엔지니어링(특히 3인칭 프레이밍)은 억제 게이트를 부분적으로 우회하여 특정 실패 모드에 대한 정확한 문화적 분포를 회복할 수 있다. 그러나 이는 표상 편향은 해결할 수 없다.
• 윤리적/사회적 측면: "게이트"는 실재하며, 그 비용은 불평등하다. LLM이 어떤 문화적 가치를 대표해야 하는지에 대한 결정은 순수하게 기술적인 문제가 아니다. 이는 서로 다른 국가들에 미치는 불평등한 비용을 고려하는 투명하고 참여적인 프레임워크를 요구한다.
• 한계: 기제적 발견(SAE 특징)은 Tulu-3-8B에 국한된 것이며, 보편적인 인과 회로라기보다는 후보 상관관계로 취급된다. 저자들은 EV-NVAS 값이 프롬프트 문구에 민감하며, 인구 통계적 지표로서 해석되어야 함을 인정한다.

저자들은 LLM이 무엇을 보호해야 하는지를 결정하는 것은 기술적 최적화 문제가 아니라 사회적 질문이며, 현재의 정렬 파이프라인이 특정 문화 집단에 불균등하게 영향을 미치는 "안전 세금"을 암묵적으로 부과하고 있다고 결론짓는다.