기술적 요약: 포용적인 유해 콘텐츠 중재를 위한 방향

문제 제기

대규모 언어 모델 (LLM) 의 급증으로 인해 기계 생성 유해 콘텐츠가 증가하고 있으며, 기존 유해성 분류기는 인간 텍스트로 훈련되고 LLM 텍스트로 테스트되는 분포 불일치로 인해 이를 탐지하는 데 어려움을 겪고 있습니다. 또한 이러한 분류기는 미묘한 입력 교란으로 최첨단 모델의 정확도를 거의 0 에 가깝게 떨어뜨릴 수 있는 적대적 공격에 매우 취약합니다. 현재의 방어 메커니즘은 모델을 블랙박스로 간주하여 적대적 훈련이나 지속적인 재훈련이 필요한 외부 탐지기 같은 반응적 전략에 의존합니다. 이러한 실패의 내부 메커니즘을 이해하고, 적대적 취약성이 다양한 인구 통계학적 그룹 간에 균등하게 분포되어 있는지 여부에 대한 중요한 공백이 존재합니다.

방법론

저자들은 블랙박스 방어를 넘어설 수 있도록 **메커니즘 해석 가능성 (mechanistic interpretability)**을 활용합니다. 본 연구는 Jigsaw(인간 작성 위키백과 댓글) 와 ToxiGen(13 개 소수 그룹을 다루는 LLM 생성 진술) 데이터셋에 BERT 와 RoBERTa 모델을 적용한 $2 \times 2$ 요인 설계에 포괄적인 8 단계 파이프라인을 적용하고, 이를 Llama Guard 2(8B) 로 확장했습니다.

1. 설정 및 미세 조정: 모델은 HuggingFace 가중치에서 Jigsaw(인간 작성 위키백과 댓글) 와 ToxiGen(13 개 소수 그룹을 다루는 LLM 생성 진술) 데이터셋을 기반으로 미세 조정되었습니다.
2. 적대적 생성: 경계된 $\ell_\infty$ 노름 내에서 입력 임베딩을 반복적으로 교란하고 유효한 토큰으로 스냅 (snap) 시킴으로써 적대적 예제를 생성하기 위해 화이트박스 PGD BERT-Attack이 사용되었습니다.
3. 활성화 패치 (클린): 각 어텐션 헤드를 클린 입력에서 순차적으로 제로-절단 (zero-ablated) 하여 "중요한" 헤드를 식별했습니다 (제거 시 손실이 크게 증가하는 헤드).
4. 활성화 패치 (적대적): 동일한 과정을 적대적 입력에 반복하여 "취약한" 헤드를 식별했습니다 (제거 시 손실이 감소하여 공격을 용이하게 하는 헤드).
5. 표적 억제: 재훈련 없이 추론 시 상위 $k$개의 취약한 헤드를 억제 (제로화) 했습니다.
6. 평가: 억제된 모델을 클린 및 적대적 입력에 대해 재평가하여 정확도 회복과 클린 정확도 비용을 측정했습니다.
7. 인구 통계학적 분석: Jigsaw 의 20 개 그룹과 ToxiGen 의 13 개 그룹에 걸쳐 취약성과 억제 효과를 분석했습니다.
8. 개입 비교: 헤드 억제를 FGM 적대적 훈련 및 데이터 증강과 비교했습니다.

주요 기여

• 유해성에 대한 최초의 메커니즘 연구: 본 작업은 유해성 분류에 메커니즘 해석 가능성을 처음 적용하여, 정확한 분류와 적대적 취약성 모두를 담당하는 구체적인 내부 어텐션 헤드 회로를 식별했습니다.
• 병목 현상의 식별: 본 연구는 단일 어텐션 헤드가 적대적 취약성의 상당 부분을 차지할 수 있음을 보여줍니다. 예를 들어, 단일 헤드를 제로화하면 Jigsaw 의 RoBERTa 에서 적대적 정확도를 최대 **70.4 퍼센트 포인트 (pp)**까지 회복시키고, ToxiGen 의 Llama Guard 2 에서는 37.3 pp를 회복시키며, 클린 정확도 비용은 $\le 0.6$ pp 입니다.
• 데이터셋별 방어 전략: 최적의 방어는 모델의 내부 회로 구조에 달려 있음을 논문은 입증합니다.
  • 집중된 병목 (Jigsaw): 헤드 억제는 적대적 훈련과 맞먹거나 능가합니다.
  • 분산된 회로 (ToxiGen): 데이터 증강이 우세하며, 헤드 억제는 효과가 적습니다.
• 인구 통계학적 불평등: 연구는 인구 통계학적 그룹 간 구조적으로 불평등한 적대적 취약성을 폭로했으며, 억제 회복은 그룹과 데이터셋에 따라 9.8 pp 에서 100 pp 까지 다양하게 나타났습니다.
• 취약성의 확장성: Llama Guard 2 에서 적대적 병목은 BERT/RoBERTa 의 더 깊은 층과 대조적으로 가장 초기 층 (Layer 1) 에서 발견되었으며, 이는 모델이 확장됨에 따라 활용 가능한 회로가 입력 쪽으로 이동함을 시사합니다.

주요 결과

• 취약성 회복: 상위 취약한 헤드를 제로화 (예: BERT-Jigsaw 의 L9H5, RoBERTa-Jigsaw 의 L6H1) 하면 상당한 적대적 정확도를 회복시킵니다. Jigsaw 의 RoBERTa 의 경우 단일 헤드 억지로 70.4 pp의 회복을 이룹니다.
• 일반화: 훈련 분할에서 식별된 취약한 헤드는 $\le 1$ pp 미만의 차이로 홀드아웃 예제에도 일반화되어, 과적합이 아닌 안정적인 모델 속성임을 확인했습니다.
• 클래스 불균형: 취약한 헤드는 선택적 유해 클래스 탐지기 역할을 합니다. 테스트 세트의 유해 비율이 증가함에 따라 Jigsaw 의 경우 억제에 따른 클린 정확도 비용이 단조 증가하여 헤드의 유해성 탐지 역할을 확인했습니다.
• 개입 효과성:
  • Jigsaw: 헤드 억제는 최소의 클린 비용으로 약 66–73% 의 적대적 정확도를 달성하여 FGM 훈련 (붕괴됨) 보다 우수하고, 증강에서 관찰되는 심각한 클린 정확도 페널티 (~10 pp) 없이 데이터 증강과 맞먹습니다.
  • ToxiGen: 데이터 증강이 우세하여 약 45–59 pp 의 개선을 제공한 반면, 헤드 억제는 더 낮은 개선 (~29–30 pp) 을 보였습니다.
• 인구 통계학적 격차: Jigsaw 에서 "지적/학습 장애" 그룹은 최대 100 pp 의 회복을 보인 반면, "중국인" 및 "흑인" 그룹은 더 낮은 개선을 보였습니다. ToxiGen 에서 "원주민/토착민" 그룹은 가장 높은 회복을 보인 반면, 장애 관련 그룹은 가장 약한 회복을 보여, 서로 다른 인구 통계학적 그룹에 대한 적대적 회로는 서로 다른 헤드 구성에 인코딩되어 있음을 나타냅니다.
• Llama Guard 2 확장: 본 연구는 Llama Guard 2 로 확장되어 클린 및 적대적 회로가 완전히 분리됨 (클린 헤드는 7–14 층, 적대적 헤드는 0–1 층) 을 발견했으며, 적대적 병목은 첫 번째 층에 위치함을 확인했습니다.

중요성 및 주장

본 논문은 유해성 분류기를 강화하기 위한 원칙적이고 사전적인 접근법을 제공한다고 주장합니다. 블랙박스 방어에서 메커니즘 개입으로 전환함으로써 저자들은 다음과 같이 주장합니다.

1. 투명성: 실패를 담당하는 구체적인 회로를 이해하면 비용이 많이 드는 재훈련 대신 표적화된 저비용 개입 (특정 헤드 억제) 이 가능합니다.
2. 형평성: 본 연구는 "메커니즘적으로 추적 가능한 형평성 격차"를 폭로하여 현재 분류기가 인구 통계학적 그룹 간에 불평등하게 실패함을 보여줍니다. 이러한 특정 회로를 식별하면 표적화된 형평성 개입의 길을 열어줍니다.
3. 전략적 적응: 연구 결과는 "일률적인" 방어가 비효과적임을 시사하며, 최적의 전략 (억제 대 증강) 은 분류기가 집중된 병목에 의존하는지 분산된 회로에 의존하는지에 따라 결정됩니다.

저자들은 분류기의 전체 정확도가 아니라 병목 구조가 최적의 방어 전략과 그 방어의 분포적 형평성을 결정한다고 결론지었습니다.