Gaming the Metric, Not the Harm: Certifying Safety Audits against Strategic Platform Manipulation

기술 요약: 지표를 조작할 뿐, 해악은 줄이지 않음

문제 제기
최근 규제 체계, 특히 영국의 온라인 안전법 (UK Online Safety Act) 과 EU 의 디지털 서비스법 (Digital Services Act) 은 온라인 안전에 대한 준수 증거로 스칼라 지표를 점점 더 의존하고 있다. 본 논문은 중요한 보안 취약점을 식별한다: 한 번 지표가 공개되면, 그것은 플랫폼의 최적화 대상이 된다. 전략적 플랫폼은 감사자의 탐지기가 낮은 점수를 부여하는 의미상 동등한 콘텐츠 변형체를 통해 추천을 라우팅함으로써 실제 해악을 줄이지 않고도 안전 점수를 향상시킬 수 있다. 이는 지표가 근본적인 해악을 완화하는 대신 조작되는 '보상 해킹 (reward hacking)' 또는 구르트하트의 법칙의 한 형태이다. 본 논문은 고정되고 공개된 감사 프로토콜 하에서 *클래스 내 표현 선택 (within-class representation choice)*이라는 특정 공격 표면을 격리하여, 이러한 전략적 조작에도 불구하고 안전 지표가 여전히 유해 노출에 대한 진정한 상한을 인증할 수 있는 조건을 묻는다.

방법론 및 설정
저자들은 감사를 감사자와 플랫폼 간의 게임으로 모델링한다.

• 프로토콜 정의: 공개된 프로토콜은 유한한 콘텐츠 변형체 집합 $\mathcal{V}$와 변환 계열 $T_0$를 정의한다. 검증 규칙과 임계값 $\rho$를 통해 프로토콜은 $\mathcal{V}$를 의미적 클래스 $\mathcal{C}$로 분할한다. 클래스 내의 변형체는 감사 목적상 의미상 동등한 것으로 간주된다.
• 플랫폼 전략: 플랫폼은 감사 예산 제약 ($M(x) \leq \tau$) 하에서 효용을 극대화하기 위해 변형체에 대한 확률 분포 $x$를 선택한다.
• 위협 모델: 플랫폼은 잠재적 해악 $h^*(v)$를 일정하게 유지하면서 측정된 점수 $m(v)$를 변경하기 위해 동일한 의미적 클래스 내의 변형체를 교체할 수 있다 (예: 캡션, 썸네일 또는 의역 변경).
• 평가: 본 논문은 다층적 검증 접근법을 사용한다:
  1. 이론적 증명: 조작 불변성과 인증에 대한 형식적 정의.
  2. 포괄적 열거: 유한 상태 그리드에서 모든 혼합 전략을 확인.
  3. SMT 인코딩: Z3 와 cvc5 를 사용하여 연속 심플렉스 (simplex) 상의 속성을 검증.
  4. 유계 MDP: PRISM-games 에서 감사를 순차적 의사결정 과정으로 모델링.
  5. 합성 스트레스 테스트: HateCheck 에서 파생된 프로토콜 예시를 포함한 결정론적 및 무작위 카탈로그를 사용하여 '조작 간격 (gaming gap)'을 측정.

주요 기여

1. 지표 강건성의 형식화: 본 논문은 '조작 불변성 (플랫폼이 의미상 동등한 변형체를 교체할 경우 지표가 변경되어서는 안 됨)'과 '인증 (지표는 실제 유해 노출에 대한 상한을 제공해야 함)'을 감사 지표의 보안 속성으로 형식화한다.
2. 취약성 증명: 유해 클래스 내의 두 동등한 변형체가 서로 다른 점수를 받는다면, 변형체를 직접 점수 매기는 모든 지표는 조작 가능함이 증명되었다.
3. 의미적 봉투 (Semantic-Envelope) 수리: 저자들은 '의미적 봉투 리프트 (semantic-envelope lift)'를 제안한다. 이는 각 의미적 클래스 내의 모든 변형체에 해당 클래스의 허용 가능한 변형체 중 달성된 최대 점수를 할당하는 방식이다 ($Env(m)(v) = \max_{u \in cl(v)} m(u)$).
   • 정리: 이 리프트는 모든 보수적이고 클래스별 일정한 수리 중 *점별 최소 (unique pointwise minimum)*이다. 이는 불변성을 복원하는 가장 덜 보수적인 수정안이다.
4. 인증 정리:
   • 이상적 경우: 클래스가 해악 순수 (harm-pure) 한 경우, 봉투 지표는 전역 인증 $H(x) \leq (1/\alpha) M_{Env}(x)$를 제공한다. 여기서 $\alpha$는 유해 클래스 간 최소 최대 점수이다.
   • 불완전한 경우: 이 프레임워크는 '불일치 질량 (disagreement mass)' 항 $\Delta(x)$를 도입하여 불완전한 프로토콜과 주석으로 확장된다. 결과적인 인증은 $H^*(x) \leq (1/\hat{\alpha}) M_{Env}(x) + \bar{\eta}$이며, 여기서 $\bar{\eta}$는 잠재적 해악과 감사된 레이블 간의 불일치를 제한한다.
5. 프로토콜 민감도: 본 논문은 프로토콜을 강화 (검증 임계값 상승) 하면 의미적 분할이 정교해져 봉투 점수가 점별적으로 약하게 감소함을 보여준다. 이를 통해 감사자는 단조로운 민감도 밴드를 보고할 수 있다.

결과

• 직접 점수 매기의 취약성: 합성 실험에서 '취약한 지표 (직접 점수 매기)'는 플랫폼이 낮은 감사 예산 (예: $\tau=0.10$) 내에서 최대 실제 유해 노출 (예: $H=1.0$) 을 달성하도록 허용한다.
• 봉투의 효과성: 의미적 봉투 지표는 플랫폼이 동일한 예산을 충족하기 위해 유해한 콘텐츠 대신 건전한 콘텐츠로 대체하도록 강제한다. 결정론적 사례 연구에서 $\tau=0.10$일 때, 봉투 지표는 취약한 지표의 $1.000$에 비해 실제 유해 노출을$0.000$으로 감소시켰다.
• 무작위 카탈로그: 500 개의 무작위 카탈로그에서 평균 '조작 간격 (취약한 전략과 봉투 전략 간의 실제 해악 차이)'은 $0.884$였다. 취약한 지표는 일관되게 훨씬 더 높은 해악을 대가로 더 높은 효용을 허용했다.
• 검증: 모든 SMT 쿼리와 MDP 도달성 확인은 봉투 지표가 조작 불변성과 인증 속성을 만족하는 반면, 취약한 지표는 불변성을 위반함을 확인했다.
• HateCheck 예시: HateCheck 기능 테스트 스위트에서 파생된 프로토콜은 클래스가 실제 세계 벤치마크 분류 체계에 기반을 둘지라도 공격 표면과 봉투 수리의 효과가 지속됨을 확인했다.

의의 및 주장
본 논문은 소박하지만 구체적인 주장을 한다: 감사 지표는 보안 객체로 취급되어야 한다. 저자들은 전체 플랫폼 - 감사 문제를 해결하거나 즉시 Ofcom 이나 DSA 규모 감사에 배포 가능한 솔루션을 제공한다고 주장하지 않는다. 대신 다음과 같이 주장한다:

1. 측정 강화: 간단한 '클래스 내 최대값 (max-over-class)' 수리 (의미적 봉투) 는 기본 분류기 변경이나 프로토콜 재협상 없이 잘 정의된 공격 표면 (클래스 내 조작) 을 제거한다.
2. 명시적 불확실성: 주석 및 프로토콜 오류는 숨겨진 가정이 아니라 최종 안전 인증에 '불일치 여유 (disagreement slack)' 항으로 명시적으로 나타나야 한다.
3. 효용 무관성: 이론적 보장은 플랫폼이 최적화하는 특정 효용 함수와 관계없이 모든 플랫폼 전략에 대해 유효하다. 효용 모델은 실험에서 특정 적대적 최적 반응을 선택하는 데에만 사용된다.

이 연구는 '측정 강화'의 기초적인 단계로서, 클래스 내 조작 표면을 격리하고 불변성 및 인증을 복원하는 형식적이고 검증 가능한 수리를 제공한다. 이는 프로토콜 협상이나 사용자 측 조작과 같은 더 광범위한 메타 게임을 명시적으로 배제하며, 이러한 것들은 별도의 분석이 필요하다고 명시한다.