기술 요약: 합의의 함정 탈출

1. 문제 제기: 합의의 함정

자동화된 콘텐츠 moderation 시스템은 전통적으로 인간 라벨에 대한 합의 기반 지표 (예: F1 점수) 를 사용하여 평가됩니다. 저자들은 이 접근 방식이 여러 결정이 지배 정책을 논리적으로 따를 수 있는 규칙 기반 환경에서는 실패한다고 주장합니다. 이러한 "회색 지대"에서 인간 moderation 은 맥락, 선례, 해석적 규범을 사용하여 모호성을 해결하며, 이는 근본적인 규칙 구조가 아닌 특정 해결 경로를 반영하는 라벨을 생성합니다.

모델이 이러한 라벨에서 학습할 때, 해석 경로를 재현하게 됩니다. 결과적으로 합의 기반 지표는 특정 인간 라벨과 다르지만 정책적으로 타당한 결정을 처벌하여 세 가지 구별되는 실패 모드를 혼동합니다:

1. 모델 오류: 모델이 규칙을 위반함.
2. Moderator 의 이질성: 모델과 인간이 서로 다른 유효한 경로를 선택함.
3. 정책의 모호성: 규칙 자체가 미구현됨.

저자들은 이 현상을 합의의 함정이라고 명명합니다. 이는 정책적으로 방어 가능한 결과 집합이 집합값 (하나 이상의 요소를 포함) 일 때, 규칙 준수를 체계적으로 오류로 오인하게 만듭니다.

2. 방법론: 방어 가능성 프레임워크

이를 해결하기 위해 본 논문은 평가를 정책 기반 정확성으로 공식화하여, 역사적 라벨과의 합의에서 명시적 규칙 계층 하의 논리적 도출 가능성으로 초점을 이동시킵니다.

2.1 공식화 및 지표

이 프레임워크는 콘텐츠 $C$, 규칙 계층 $R$(플랫폼 전체 $R_G$ 및 커뮤니티별 $R_C$), 그리고 선례 코퍼스 $P$에 대한 제안된 결정 $\hat{y}$(예: REMOVE 또는 APPROVE) 을 평가합니다. 결정이 $(C, R, P)$에서 $\hat{y}$로의 유효한 논리적 도출이 존재할 때 방어 가능합니다.

결정은 세 가지 수준으로 분류됩니다:

• L1 (강력하게 방어 가능): 명시적 규칙이 결정을 직접적이고 명확하게 승인함.
• L2 (타당하게 방어 가능): 규칙이 진정으로 모호하지만 결정이 합리적으로 지지됨.
• L3 (방어 불가능): 명시적 규칙이 결정을 승인하지 않거나, 추론이 규칙 세트에 없는 개념을 참조함.

두 가지 주요 지표가 도입되었습니다:

• 방어 가능성 지수 (DI): L1 또는 L2 인 결정의 비율. 목표: $\ge 0.90$.
• 모호성 지수 (AI): "역방향 확인"(반대 결정이 도출 가능한지 확인) 이 발동되는 결정의 비율. 목표: $\le 0.15$. AI 는 플랫폼 수준 ($A_{IG}$) 과 커뮤니티 수준 ($A_{IC}$) 의 미구현으로 분해됩니다.

2.2 감사 구현

이 프레임워크는 **감사 모델 ($M_a$)**을 사용하는 구조화된 감사를 수행합니다. 주관적 품질을 평가하는 표준 "LLM-as-judge" 접근법과 달리, $M_a$는 제약된 추론 엔진으로 작용합니다. 이는 콘텐츠, 규칙, 선례, 제안된 결정을 수신한 후 JSON 추론 추적을 생성합니다:

1. 논리 체인: 추론 단계.
2. 정책 인용 ($\kappa$): 판정 전에 고수된 명시적 규칙 참조.
3. 선례 가중치 ($\omega$): 과거 사례의 중요도.
4. 역방향 확인 ($\iota$): 반대 결정이 도출 가능한지 여부.
5. 방어 가능성 수준 ($\xi$): L1, L2 또는 L3.

이 순서는 분류가 명시적 거버넌스 참조에 기반하도록 보장하여, 모델이 미리 결정된 출력을 합리화하는 것을 방지합니다.

2.3 확률적 방어 가능성 신호 (PDS)

추가 감사 패스 없이 추론 안정성을 추정하기 위해 저자들은 감사 모델의 토큰 로그 확률에서 유래한 PDS를 도입합니다. PDS 는 단일 순방향 통과에서 세 가지 구성 요소 벡터를 추출합니다:

1. $\lambda_\xi$ (레이블 로그 신뢰도): 최종 방어 가능성 수준의 로그 확률.
2. $H[\kappa]$ (인용 스펀 엔트로피): 정책 인용 토큰에 대한 섀넌 엔트로피. 높은 엔트로피는 규칙 선택의 불확실성을 나타냄.
3. $\sigma(\rho)$ (역방향 확인 로그 오즈): 역방향 확인 발동 로그 오즈. 높은 값은 모델이 결정이 방어 불가능한지 확신이 없음을 나타냄.

이러한 구성 요소는 보정을 통해 스칼라 $S$로 결합됩니다. 이 프레임워크는 PDS 의 분산이 주로 거버넌스 모호성에 의해 주도되며 디코딩 노이즈에 의한 것이 아니라고 가정합니다.

3. 주요 기여

1. 정책 기반 정확성의 공식화: 합의 지표를 넘어 정책적으로 방어 가능한 결정과 방어 불가능한 결정을 분리하는 DI 와 AI 의 도입.
2. 확률적 방어 가능성 신호 (PDS): 감사 모델 로그 확률에서 추출된 비용 제로 안정성 신호로, 추론 불안정성과 상관관계가 있음.
3. 거버넌스 게이트: 특정 DI 및 AI 임계값을 충족하는 코호트에 자동화된 집행을 제한하여 위험 감소와 원칙적인 자동화 범위를 가능하게 하는 운영 배포 메커니즘.

4. 실증 결과

이 프레임워크는 플랫폼 전체 및 커뮤니티별 규칙에 대해 감사된 여러 커뮤니티의 193,000 건 이상의 Reddit moderation 결정에 대해 검증되었습니다.

4.1 합의 - 방어 가능성 격차

• 지표 이질성: 합의 기반 F1 점수와 방어 가능성 지수 사이에 33~46.6 퍼센트 포인트의 격차가 존재함.
• 거짓 음성 분석: 모델의 "거짓 음성"(인간 라벨과의 불일치) 중 **79.8~80.6%**가 실제로 정책 기반 결정(L1 또는 L2) 이었습니다. 이는 합의의 함정을 확인합니다: 표준 지표는 특정 인간 해석과 다를 때 규칙에 대한 유효한 준수를 처벌합니다.
• 근본 원인: 불일치의 19.4% 만이 실제 모델 오류 (L3) 였으며, 나머지는 암묵적 규범 집행 또는 정책 모호성이었습니다.

4.2 PDS 와 안정성

• 인간 정렬: PDS 는 인간 방어 가능성 평가와 강력하게 상관관계가 있음 ($\rho = 0.66, p < 10^{-4}$).
• 모호성 감지: 역방향 확인 로그 오즈 ($\sigma(\rho)$) 는 불일치 사례에서 일치 사례보다 63% 더 높음.
• 안정성 분석: 반복 샘플링 (1,000 회 복제) 은 PDS 분산이 샘플링 노이즈가 아닌 거버넌스 모호성에 의해 주도됨을 보여줍니다. "반전"과 "안정" 사례 간의 불안정성 비율은 10 배 온도 증가 전반에 걸쳐 평탄하게 유지됨 (~1.6 배), 거버넌스 모호성 가설을 지지함.

4.3 규범적 미구현 실험

r/AskReddit 에서 세 가지 수준의 규칙 구체성 (제목만, 사이드바, 위키) 하에 37,286 건의 결정을 감사한 결과:

• AI 감소: 규칙 세부사항 추가는 모호성 지수를 10.8 퍼센트 포인트 감소시킴 (18.2% 에서 7.4% 로).
• DI 안정성: 방어 가능성 지수는 안정적으로 유지됨 (~97-98%), 이는 결정이 규칙 세부사항과 관계없이 방어 가능했음을 의미함; 방어 가능성에 대한 불확실성이 변경된 것임.
• 메커니즘: 모호한 규칙은 주로 방어 불가능 (L3) 한 것이 아닌 모호한 (L2) 결정을 생성함.

4.4 거버넌스 게이트 성능

DI $\ge$ 0.90 및 AI $\le$ 0.15로 구성된 거버넌스 게이트는 다음을 달성함:

• 78.6% 자동화 범위: 전체 플릿에 걸쳐.
• 64.9% 위험 감소: 자동화된 부분에서 방어 불가능 결정 비율을 5.66% 에서 2.72% 로 감소시킴.
• AI 임계값이 구속적 제약으로 확인됨을 의미하며, 선택성은 추론 유효성이 아닌 정책 모호성에 의해 결정됨.

4.5 적대적 견고성

"Spurious-Grounding 벤치마크"(1,000 건의 사례 포함 적대적 공격) 에서:

• 감지: 시스템은 93.5% 의 액션 플립 공격과 70.1% 의 환각 기반 공격을 감지함.
• 탈출 표면: 29.9% 의 공격이 탈출함, 특히 "정책 반음역"(주관적 콘텐츠 규칙) 을 악용한 경우. 중요하게도, 이러한 공격에 취약한 규칙은 모호성 지수에 의해 명확화가 필요하다고 식별된 규칙과 동일하여, 프레임워크의 진단 능력에 대한 독립적 확인을 제공함.

5. 중요성 및 주장

본 논문은 규칙 기반 환경에서의 평가가 역사적 라벨과의 합의에서 명시적 규칙 하의 추론 기반 유효성으로 전환되어야 한다고 주장합니다.

• 모호성 재정의: 이 프레임워크는 정책 모호성을 결함이 아닌 인간 판단을 보존하는 의도적 설계 특징 (규범적 미구현) 으로 취급합니다. 지표는 방어 가능성이 높은 곳에서 안전한 자동화를 가능하게 하기 위해 이러한 탄력성을 정량화합니다.
• 추론 감사자로서의 LLM: 이 작업은 "LLM-as-judge" 패러다임을 주관적 품질 평가에서 규칙 기반 논리적 검증으로 확장합니다. 규칙을 외부 진실의 원천으로, 감사 모델을 제약된 추론 엔진으로 취급함으로써 시스템은 규칙 일관성을 운영화합니다.
• 실제 배포: 거버넌스 게이트는 감사 가능성을 유지하면서 자동화를 확장하기 위한 원칙적인 메커니즘을 제공하며, LLM 추론 추적 (특히 로그 확률 분포) 이 거버넌스를 위한 보정된 불확실성 신호로 작용할 수 있음을 입증합니다.

저자들은 모호성 지수, PDS 분산, 그리고 적대적 탈출 표면의 수렴이 단일 근본 현상인 규범적 미구현을 가리킨다고 결론지었습니다. 이 프레임워크는 이를 모델 오류로 취급하는 대신 식별하고 관리하기 위한 인프라를 제공합니다.