기술 요약: 해석 가능성을 통한 주석자 안전 정책 이해

문제 정의

안전 정책은 해로운 AI 출력물을 정의하고 완화하는 데 필수적이지만, 이러한 시스템을 훈련하고 평가하는 데 사용되는 주석 과정은 광범위한 불일치를 겪고 있습니다. 이러한 불일치는 세 가지 뚜렷한 원인에서 비롯됩니다:

1. 운영적 실패: 주석자가 작업을 오해하거나 잘못 수행하는 경우 (예: 모델 응답 대신 사용자 프롬프트에 라벨링).
2. 정책 모호성: 안전 지침에 여러 가지 유효한 해석이 가능한 문구가 포함되어 있는 경우 (예: 회피가 안전한 거절로 간주되는지 여부).
3. 가치 다원성: 주석자들이 인구통계, 문화, 개인적 가치에 기반하여 안전에 대해 진정으로 다른 관점을 가지고 있는 경우.

현재의 다수결 투표와 같은 관행은 이러한 원인들을 혼동하여, 진정한 모호성을 해결하거나 소수자의 관점을 침묵시키는 데 종종 실패합니다. 또한, 주석자에게 직접 자신의 추론을 설명하도록 요청하는 것은 비용이 많이 들고 주석 부담을 증가시키며, 사후 합리화나 LLM 의 사고 연쇄 (chain-of-thought) 추론의 불충실성으로 인해 종종 신뢰할 수 없습니다. 본 논문은 추가적인 인력 노력 없이 이러한 불일치 원인을 구분하여 표적화된 대응 (예: 더 나은 훈련, 정책 정제, 또는 포용적 설계) 을 가능하게 하는 과제를 다룹니다.

방법론: 주석자 정책 모델 (APMs)

저자들은 개별 주석자의 내부 안전 정책을 주석 행동에서 직접 학습하는 해석 가능한 모델인 **주석자 정책 모델 (Annotator Policy Models, APMs)**을 소개합니다.

핵심 아키텍처

APM 은 예측 과정을 두 단계로 분해하기 위해 **개념 병목 모델 (Concept Bottleneck Models, CBMs)**을 활용합니다:

1. 개념 인코딩 ($g$): 입력 텍스트를 $c$개의 안전 관련 개념에 대한 이진 특징 공간으로 매핑합니다. 인간이 개념에 라벨을 지정하는 비용을 피하기 위해, 저자들은 레이블 없는 CBM(Label-Free CBM) 접근법을 사용합니다. 그들은 GPT-4o 를 사용하여 안전 데이터셋 (BeaverTails) 에서 후보 개념 목록을 생성하고, 이를 클러스터링 및 요약한 후, 임베딩 모델 (Gemini) 을 사용하여 코사인 유사도와 Sparsemax 연산자를 통해 텍스트 내 이러한 개념의 존재 여부를 라벨링합니다. 핵심적으로, 개념 공간은 해석적 판단 (예: "해로운 언급") 이 아닌 사실적 존재 (예: "무기에 대한 언급") 를 포착합니다.
2. 정책 학습 ($f$): 각 주석자 $k$에 대해, 이진 개념 벡터를 안전/불안전 라벨로 매핑하는 간단하고 해석 가능한 함수를 훈련합니다. 저자들은 두 가지 모델 클래스를 제안합니다:
   • 비음수 로지스틱 회귀 (Non-Negative Logistic Regression, NNLR): 가중치가 음수가 아니도록 제한하여, 모델이 기본적으로 "안전"으로 설정되고 양의 특징이 충분한 증거를 축적할 때만 "불안전"을 예측하도록 합니다.
   • 분리 정규형 (Disjunctive Normal Form, DNF): "ORs-of-ANDs" 형태의 부울 규칙으로, 단일 규칙이 발동하면 "불안전" 예측이 트리거됩니다. 이는 단일 정책 위반이 텍스트를 불안전하게 만든다는 직관과 부합합니다.

설계 원칙

• 양의 특징만: 특징은 개념의 부재가 아닌 존재를 나타내어, 우연한 상관관계 (예: "음식이 없기 때문에 불안전함") 를 방지합니다.
• 불안전함이 증명될 때까지 안전: 특정 불안전 특징이 존재하지 않는 한 모델은 기본적으로 안전한 예측을 합니다.

검증 및 결과

저자들은 LLM 과 인간 주석 데이터를 모두 사용하여 APM 을 검증했습니다.

LLM 검증

BeaverTails 와 WildGuardMix 데이터셋을 사용하여 APM 을 다섯 가지 다른 LLM 주석자 (GPT-4o, GPT-4o-mini, 다양한 Qwen 모델) 에 대해 훈련했습니다.

• 예측 정확도: APM 은 LLM 주석자 전반에 걸쳐 73–90% 정확도와 0.78–0.95 AUC(NNLR 의 경우) 를 달성하여, 간단한 해석 가능한 모델이 복잡한 파운데이션 모델의 행동을 근사할 수 있음을 보여주었습니다.
• 일반화: BeaverTails 에서 채굴된 개념은 성능 저하가 최소화되면서 WildGuardMix 로 잘 일반화되었습니다.
• 제어된 정책 복구: "Alice"(무기를 안전으로 간주) 와 "Bob"(마약을 안전으로 간주) 을 시뮬레이션한 합성 실험에서 APM 은 이러한 알려진 정책 차이를 성공적으로 복구했습니다. 모델을 "차이 분석 (Diffing)"하여 (특징 세트 비교) 발산의 원인이 되는 특정 개념을 자동으로 식별했습니다.
• 반사실적 충실성: APM 이 "불안전" 라벨을 유발하는 것으로 식별한 특징을 제거하도록 입력을 최소한으로 수정했을 때, 원래 주석자의 예측이 대부분의 경우 변경되어 APM 이 단순한 상관관계가 아닌 인과적으로 관련된 특징을 포착함을 확인했습니다.

인간 주석 적용 (DICES 데이터셋)

DICES 데이터셋 (123 명의 인간 주석자가 평가한 350 개의 상호작용) 에 적용된 APM 은 세 가지 주요 통찰을 제시했습니다:

1. 운영적 실패: 모델 응답뿐만 아니라 전체 상호작용을 체계적으로 불안전으로 라벨링한 주석자를 식별하여, 작업에 대한 오해를 나타냈습니다.
2. 정책 모호성: "회피"나 유해한 주제에 대한 "후속 질문"이 안전한 응답으로 간주되는지 여부와 같은 엣지 케이스에서의 불일치를 드러내어, 정책 문구가 불명확한 부분을 강조했습니다.
3. 가치 다원성: 인구통계 그룹 (예: 밀레니얼 세대 vs X 세대 이상, 대학 졸업자 vs 고등학교 졸업자) 에 APM 을 훈련함으로써 안전 우선순위의 체계적인 차이를 발견했습니다. 예를 들어, 밀레니얼 주석자들은 평평한 지구론 주장을 "친절한 전환"하는 것을 X 세대 이상 주석자보다 불안전으로 표시할 가능성이 더 높았습니다.
   • 고유 규칙 기여도 (Unique Rule Contribution, URC): 그룹별 APM 이 학습한 고유 규칙이 해당 그룹이 다른 그룹과 불일치하는 샘플에서 우선적으로 활성화됨을 검증하여, 이러한 규칙이 진정한 행동 차이를 포착함을 확인했습니다.
   • 다수결 투표 억제: 분석 결과, 다수결 집계는 소수 그룹의 관점을 흐리게 한다는 것을 보여주었습니다. APM 은 특정 인구통계 그룹이 불안전하다고 판단했으나 다수는 안전하다고 판단한 샘플의 상당한 비율을 식별하여, 표준 집계가 이러한 안전 우려를 지워버린다고 시사했습니다.

주요 기여

1. 해석 가능한 주석자 정책 모델: 추가적인 주석 노력 없이 ML 해석 기법을 사용하여 개별 주석자의 안전 정책을 명시적으로 모델링하는 APM 의 도입.
2. 광범위한 검증: APM 이 주석자 행동을 정확하게 모델링함 (>80% LLM 정확도), 반사실적 편집에 대한 응답을 충실하게 예측함, 그리고 통제된 환경에서 알려진 정책 차이를 복구함을 입증.
3. 불일치 원인 표면화: 인간 주석 파이프라인에서 운영적 실패, 정책 모호성, 가치 다원성을 구별할 수 있음을 보여주는 경험적 증거.
4. 인구통계 분석: 인구통계 그룹 간 안전 우선순위의 체계적인 차이를 드러내고, 다수결 투표가 이러한 다양한 관점을 어떻게 억제하는지 입증.

중요성과 주장

본 논문은 APM 이 불투명한 집계 방법을 넘어 주석자의 추론을 가시화하고 비교할 수 있는 메커니즘을 제공한다고 주장합니다. 불일치 원인을 분리함으로써 개발자는 적절하게 대응할 수 있습니다:

• 운영적 실패는 개선된 훈련과 품질 관리를 통해 해결할 수 있습니다.
• 정책 모호성은 표적화된 정책 정제와 명확화를 통해 해결할 수 있습니다.
• 가치 다원성은 다양한 관점을 통합하는 방법에 대한 숙고를 통해 해결할 수 있으며, 포용적인 안전 범위를 보장하기 위해 다수결 투표 모델에 소수 그룹의 고유 규칙을 연결하는 방식으로 이루어질 수 있습니다.

저자들은 초점이 안전에 맞춰져 있지만, 이 방법론은 모든 주관적 주석 작업에 일반화될 수 있음을 강조합니다. 그들은 LLM 생성 개념에 의존한다는 점과 APM 이 주석자들이 무엇에 대해 불일치하는지를 드러내지만, 추가적인 사용자 연구 없이는 깊은 사회학적 이유를 반드시 드러내지는 않는다는 한계를 지적합니다. 이 작업은 APM 을 AI 안전 정책 설계의 투명성, 표적화, 포용성을 개선하기 위한 진단 도구로 위치시킵니다.