📊 statistics

Measuring the Prevalence of Policy Violating Content with ML Assisted Sampling and LLM Labeling

본 논문은 통계적 무편향성과 비용 효율성을 유지하면서 다양한 사용자 세그먼트에 걸친 정책 위반 콘텐츠의 유병률을 효율적이고 정확하게 추정하기 위해, ML 지원 확률 표집과 LLM 레이블링을 결합한 설계 기반 측정 시스템을 제시한다.

원저자: Attila Dobi, Aravindh Manickavasagam, Benjamin Thompson, Xiaohan Yang, Faisal Farooq

게시일 2026-08-18

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Attila Dobi, Aravindh Manickavasagam, Benjamin Thompson, Xiaohan Yang, Faisal Farooq

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

수십억 명의 사람들이 매일 사진, 아이디어, 이야기를 공유하는 광활한 디지털 풍경 속에서, 한 가지 조용하지만 중대한 과제가 지속되고 있습니다. 그것은 바로 사용자가 실제로 무엇을 보고 있는지 어떻게 알 수 있는가 하는 문제입니다. 수년 동안 플랫폼들은 유해한 콘텐츠를 신고하기 위해 사용자 보고에 의존해 왔지만, 이 방법은 도움을 요청하며 소리치는 사람들의 수만 세어서 강의 깊이를 측정하려는 것과 같습니다. 많은 위험 요소들이 보고되지 않는데, 이는 사용자들이 이를 인지하지 못하거나, 신고 방법을 모르거나, 혹은 단순히 시스템에 관여하고 싶어 하지 않기 때문입니다. 플랫폼의 안전성을 진정으로 이해하기 위해서, 팀들은 '유병률(prevalence)'—즉, 사용자가 규칙을 위반하는 콘텐츠를 마주치는 실제 빈도—을 측정해야 합니다. 이를 위해서는 이미 신고된 부분만이 아니라 전체 콘텐츠의 흐름을 살펴봐야 합니다. 문제는 유해한 콘텐츠는 흔히 드물게 나타나며, 모든 항목을 매일 수작업으로 확인하는 것은 너무 느리고 비용이 많이 든다는 점입니다.

Pinterest의 연구진은 이를 해결하기 위한 새로운 방법을 개발했습니다. 스마트 샘플링과 고급 인공지능을 결합하여 전례 없는 속도와 정확도로 안전성을 측정하는 시스템을 만든 것입니다. 사용자들의 불만을 기다리는 대신, 그들은 사용자에게 보여지는 모든 것에 대해 매일 대표성 있는 스냅샷을 찍습니다. 그들은 제한된 검토 예산을 가장 위반 가능성이 높은 후보들에 집중시키는 통계적 방법을 사용하여, 모든 것을 확인하지 않고도 수치의 확신을 가질 수 있을 만큼 충분한 사례를 찾아냅니다. 그런 다음, 텍-이미지를 이해하도록 훈련된 대규모 언어 모델(LLM)—지치지 않고 일관되게 검토하는 역할을 하는 AI—을 사용하여 이 샘플들을 레이블링합니다. 이러한 기술들을 결합함으로써, 그들은 사용자가 유해한 콘텐츠를 얼마나 자주 접하는지에 대한 일일 보고서를 생성할 수 있으며, 그 수치가 얼마나 정밀한지에 대한 척도까지 함께 제공할 수 있습니다. 이를 통해 안전 팀은 발생하는 문제를 즉시 포착하고, 수정 사항이 효과가 있는지 테스트하며, 위험이 정확히 어디에서 언제 나타나는지 파악할 수 있습니다. 이 모든 과정은 인간 검토자가 따라잡을 때까지 몇 주를 기다릴 필요 없이 이루어집니다.

이 시스템의 핵심은 검토할 콘텐츠를 선택하는 영리한 방식에 있습니다. 매일 수십억 건의 조회수가 발생하는 바다에서 희귀한 위반 사례를 찾는 것은 숲속에서 특정 종류의 잎사귀 하나를 찾는 것과 같습니다. 무작위로 잎사귀를 고른다면, 수 마일을 걸어가도 아무것도 찾지 못할 수도 있습니다. 대신 연구진은 "가중치(weighted)" 방식을 사용합니다. 그들은 두 가지 주요 단서에 주목합니다. 해당 콘텐츠가 사람들에게 노출된 횟수와 플랫폼의 기존 안전 모델이 생성한 위험 점수입니다. 이 단서들을 결의하여, 인기 있으면서도 위험도가 높은 아이템이 검토 대상으로 뽑힐 확률이 더 높도록 리스트를 만듭니다. 이것이 오직 위험한 아이템만을 체크한다는 의미는 아닙니다. 여전히 전체 모집단에서 추출하되, 견고한 통계적 추정치를 얻을 수 있을 만큼 충분한 위반 사례를 확보하기 위해 확률을 약간 기울이는 것입니다. 이 방법 덕분에 그들은 매일 정해진 수의 체크를 수행하면서도, 위반이 극히 드문 경우에도 플랫폼 전체의 명확한 그림을 얻을 수 있습니다.

매일의 샘플이 선택되면, 연구진은 레이블링 단계로 넘어갑니다. 여기서 연구진은 전통적인 인간 검토 프로세스를 멀티모달 대규모 언어 모델로 대체했습니다. 이 AI는 인간 모더레이터처럼 이미지를 보고, 텍스트를 읽고, 맥락을 이해할 수 있습니다. 하지만 연구진은 단순히 AI에게 결정을 맡긴 것이 아니라, 그 주변에 엄격한 품질 관리 시스템을 구축했습니다. AI가 일일 샘플에 레이블을 달기 전에, 인간 전문가들이 신중하게 검토한 "골드 세트(gold set)" 콘텐츠를 통해 테스트를 거칩니다. AI는 가동되기 전, 인간 전문가의 결정과 매우 좁은 오차 범위 내에서 일치해야 합니다. 일단 가동되면, 시스템은 무작위로 선택된 일일 레이블 중 일부를 다시 인간 전문가에게 보내 검증함으로써 AI의 작업을 지속적으로 확인합니다. 이는 AI가 시간이 지남에 따라 편향되거나 체계적인 실수를 저지르지 않도록 보장합니다. 그 결과, 레이블링 프로세스는 인간만 참여할 때보다 약 15배 빠르고 비용은 10배 이상 적게 들면서도, 유사한 수준의 정확도를 유지합니다.

이 접근 방식의 힘은 플랫폼을 다양한 방식으로 쪼개고 분석할 수 있는 단일하고 통합된 뷰를 제공할 수 있다는 점에 있습니다. 연구진은 매일 하나의 글로벌 샘플을 추출하기 때문에, 새로운 연구를 매번 실행할 필요 없이 지역별, 콘텐츠 표면 유형별, 또는 콘텐츠의 연령별로 안전성이 어떻게 변하는지에 대한 질문에 즉각적으로 답할 수 있습니다. 특정 유형의 콘텐츠가 특정 국가에서 급증하고 있는지, 혹은 새로운 정책 업데이트가 효과가 있는지 등을 비교하여 확인할 수 있습니다. 또한 시스템은 생성된 모든 수치에 대해 신뢰 구간(confidence interval)을 계산하여, 안전 팀이 결과에 어느 정도의 신뢰를 두어야 하는지 알려줍니다. 만약 수치가 매우 드문 위반 사례에 기반하고 있다면 신뢰 구간이 넓게 나타날 것이며, 이는 팀이 중대한 결정을 내리기 전에 더 많은 데이터를 기다려야 함을 시사합니다.

연구진은 시뮬레이션과 실제 핀터레스트 운영 환경 모두에서 이 시스템을 광범위하게 테스트했으며, 현재 1년 넘게 매일 실제로 가동되고 있습니다. 그들은 ML 지원 샘플링 방법을 사용함으로써, 표준 무작위 샘플링 방법과 비교했을 때 일일 샘플에서 6~11배 더 많은 위반 사례를 찾을 수 있다는 것을 발견했습니다. 이러한 효율성 덕분에 훨씬 적은 검토 횟수로도 동일한 수준의 통계적 정밀도를 달ей 할 수 있었고, 혹은 동일한 작업량으로 훨씬 더 촘촘하고 신뢰할 수 있는 수치를 얻을 수 있었습니다. 또한, 샘플링을 유도하는 기본 위험 점수가 시간이 지남에 따라 변하거나 정확도가 떨어지더라도, 시스템의 최종 추정치는 편향되지 않은 상태를 유지한다는 것을 입증했습니다. 오류는 잘못된 답이 아닌 더 넓은 신뢰 구간으로 나타났는데, 이는 트렌드가 실제인지 아니면 단순한 노이즈인지를 알아야 하는 의사결정자들에게 매우 중요한 차이점입니다.

가장 중요한 발견 중 하나는 자동화된 레이블링에서 필연적으로 발생하는 오류를 시스템이 어떻게 처리하는가였습니다. 연구진은 매우 드문 위반의 경우, 가장 큰 위험은 위반을 놓치는 것이 아니라 안전한 콘텐츠를 유해한 것으로 잘못 표시하는 것임을 발견했습니다. 안전한 콘텐츠의 바다에서 단 하나의 거짓 양성(false positive)이 발생하면, 문제가 실제보다 10배는 더 심각한 것처럼 보이게 만들 수 있습니다. 이를 관리하기 위해 시스템은 AI의 거짓 양성률을 지속적으로 모니터링합니다. 만약 이 비율이 너무 높아지면, 시스템은 최종 수치에 수학적 보정을 적용하여 오류를 반영하거나, 해당 스파이크를 일으키는 특정 항목에 대한 인간 검토를 트리거할 수 있습니다. 이를 통해 일일 보고서가 AI 모델의 특이점이 아닌 현실을 반영하도록 보장합니다. 또한 연구진은 일일 수치의 변동이 실제 안전 수준의 변화보다는 게시되는 콘텐츠 유형의 변화나 AI가 규칙을 해석하는 미묘한 변화에 의해 발생하는 경우가 많다는 것을 발견했습니다. 이러한 단기적인 변동을 완화하고 주간 트렌드에 집중함으로써, 정상적인 노이즈와 실제 나타나는 위협을 구분할 수 있었습니다.

이 작업은 디지털 플랫폼이 안전을 모니터링하는 방식의 변화를 의미하며, 사용자 불만에 기반한 반응적 모델에서 선제적이고 데이터 중심적인 접근 방식으로 전환하는 것입니다. 안전 측정을 단순히 집행 업무가 아닌 통계 과학으로 다룸으로써, 연구진은 문제가 나타나는 즉시 감지할 수 있는 도구를 만들었습니다. 이 시스템은 유연하게 설계되어, 온라인 콘텐츠의 지형이 변화함에 따라 팀이 빠르게 새로운 정책을 추가하거나 파라미터를 조정할 수 있도록 합니다. 이는 샘플링, AI 레이블링, 인간 검증, 그리고 통계 분석의 연속적인 루프에 의존하며, 인터넷의 속도에 발맞출 수 있을 만큼 빠른 피드백 루프를 생성합니다. 연구진은 이 시스템이 인간의 판단이나 정책 집행을 대체하는 것이 아니라, 그러한 결정을 효과적으로 내리는 데 필요한 명확성을 제공하는 보완적인 도구임을 강조합니다. 이 시스템은 보이지 않는 것을 보이게 만들어, 안전 팀이 플랫폼의 실제 상태를 이해하고 더 높은 정밀도와 속도로 사용자를 보호할 수 있도록 돕는 눈이 되어줍니다.

기술 요약: ML 지원 샘플링 및 LLM 레이블링을 통한 정책 위반 콘텐츠 유병률 측정

1. 문제 정의

사용자 생성 콘텐츠 플랫폼의 콘텐츠 안전 팀은 측정 측면에서 중대한 격면에 직면해 있습니다. 사용자 신고에만 의존하는 것은 안전에 대한 불완전한 관점을 제공합니다. 왜냐로 인해 많은 위해 요소가 과소 보고되거나, 희귀 카테고리의 경우 통계적 모니터링을 위한 데이터가 불충분하기 때문입니다. 이를 해결하기 위해 팀에는 유병률 지표(prevalence metrics), 즉 특정 날짜에 정책 위반 콘텐츠에 노출된 사용자 조회수(임프레션)의 비율이 필요합니다.

정확한 유병률 측정은 역사적으로 두 가지 요인 때문에 어려웠습니다:

위반 사례의 희귀성: 정책 위반은 종종 희귀한 이벤트로 발생하며, 이로 인해 단순 무작위 샘플링은 비효율적이고 통계적 검정력을 확보하기 위해 지나치게 큰 샘플 크스가 요구됩니다.
인간 레이블링의 비용 및 지연 시간: 전통적인 인간 검토 방식은 일일 단위의 플랫폼 대표 연구를 지원하기에는 너무 느리고 비용이 많이 들어, 새로운 위해 요소의 탐지나 개입 효과를 평가하기 위한 빠른 피드백 루프를 방해합니다.

목표는 재샘플링 없이도 세부 분석(서피스, 지리적 위치, 콘텐츠 연령별)을 지원하면서, 통계적 엄밀성과 운영 가능성을 유지하는 일일, 편향 없는, 노출 가중치 적용 유병률 추정 시스템을 구축하는 것입니다.

2. 방법론

저자들은 설계 기반 샘플링, ML 지원 가중치 부여, 그리고 LLM 기반 레이블링을 결합한 3단계 측정 시스템을 제안합니다.

A. ML 지원 확률 샘플링

위반 사례의 희귀성을 해결하기 위해, 시스템은 프로덕션 안전 모델의 보조 위험 점수(auxiliary risk scores)로 보강된 크기 비례 확률(Probability Proportional to Size, PPS) 샘플링을 채택합니다.

샘플링 가중치: 각 콘텐츠 단위 $j$ 는 총 임프레션 수( $C_j$ )와 보조 위험 점수( $s_j$ )를 기준으로 가중치 $w_j$ 를 할당받습니다:
$w_j = C_j^\nu (s_j^\gamma + \epsilon)$
여기서 $\nu$ 는 노출 가중치를 제어하고, $\gamma$ 는 위험 점수의 영향력을 제어하며, $\epsilon$ 은 점수가 없는 항목에 대해서도 0이 아닌 확률 하한선을 보장합니다.
구현: 시스템은 가중 리저버 샘플링(Efraimidis–Spirakis 알고리즘)을 사용하여 수십억 건의 일일 임프레션으로부터 고정된 크기의 샘플( $m$ )을 스트리밍 방식으로 효율적으로 추출합니다( $O(m)$ 메모리).
무편향성: 결정적으로, 위험 점수 $s_j$ 는 오직 샘플링 우선순위를 정하는 데만 사용되며 레이블로 사용되지 않습니다. 최종 추정치는 드로우 확률 $1/p_j$ ( $p_j$ 는 추출 확률)로 재가중치(reweight)를 부여하여, 모델의 임계값 변화와 관계없이 설계 일관성(design-consistent)과 무편향성을 유지하도록 합니다.

B. LLM 지원 레이블링

샘플링된 항목은 작업량의 대부분을 위해 인간 검토자가 아닌 **멀티모달 대규모 언어 모델(LLM)**에 의해 레이블링됩니다.

입력: LLM은 콘텐츠(이미지/비디오 키프레임, 텍스트 메타데이터)와 전문가(SME)가 검토한 정책 프롬프트를 전달받습니다.
출력: 이진 위반 레이블, 근거(rationale), 그리고 신뢰도 점수를 포함한 구조화된 JSON 형태입니다.
거버넌스: 품질 보장을 위해 시스템은 골드 셋(gold-set) 검증 워크플로우를 채택합니다. 런칭 전, LLM 설정은 인간 전문가 대비 특정 결정 품질 임계값(편향 및 F1 점수)을 충족해야 합니다. 런칭 후에는 정책 변경, 콘텐츠 변화 또는 모델 업데이트를 모니터링하기 위해 매일 무작위로 추출된 하위 샘플이 인간 검증 단계로 전달됩니다.

C. 설계 일관적 추정 및 불확실성 정량화

시스템은 Hansen–Hurwitz 비율 추정량(복원 추출 방식의 PPS용) 또는 Horvitz–Thompson 변형을 사용하여 노출 가중 유병률( $\theta$ )을 계산합니다.

단일 샘플 세부 분석(Drill-Down): 핵심 설계 목표는 단일 일일 샘플이 여러 세그먼트(예: 지리, 서피스)를 지원하는 것입니다. 샘플링된 항목에 대해 세그먼트별 임프레션 수( $C_{jg}$ )를 유지함으로써, 시스템은 재샘플링 없이도 특정 세그먼트에 대한 유병률을 계산할 수 있습니다.
불확실성 정량화: 시스템은 비율 추정량을 위한 Taylor 선형화를 사용하여 95% 신뢰 구간(CI)을 보고합니다. 또한 가중치 분산이 정밀도에 미치는 영향을 모니터링하기 위해 **Kish 유효 샘플 크기(ESS)**를 추적합니다.
레이블 오류 수정: LLM이 허위 양성률( $f$ )과 민감도( $r$ )를 가질 수 있음을 인지하여, 시스템은 측정된 유병률 $\theta^{(L)}$ 을 실제 유병률 $\theta$ 의 함수로 모델링합니다. 오류율이 균일하다고 가정할 경우, Rogan–Gladen 교정이 적용됩니다. 시스템은 레이블 오류로 인한 상향 편향(희귀 이벤트 환경에서 흔함)을 모니터링하고, 영향력이 큰 이상치에 대해 인간의 판정을 트리거합니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 상세히 설명합니다:

설계 일관적 추정량: 단일 글로벌 확률 샘플로부터 다수의 세그먼트 세부 분석을 지원하는 일일 유병률 추정 방법을 제공하며, 이를 통해 집행 모델이 진화하더라도 무편향성을 보장합니다.
실용적 불확실성 정량화: 신뢰 구간, 유효 샘플 크기 진단, 그리고 레이블 오류(특히 허위 양성)가 유병률 추정에 어떻게 전파되는지에 대한 민감도 분석을 포함한 포괄적인 프레임워크를 제공하며, 편향 교정을 활성화해야 하는 시점에 대한 가이드를 포함합니다.
하이퍼파라미터 구성 워크플로우: 새로운 정책에 대한 양의 샘플 수를 확보하는 것과 유효 샘플 크기 사이의 균형을 맞추기 위해 시뮬레이션에 기반한 샘플링 파라미터( $\nu, \gamma, \epsilon$ ) 튜닝 워크플로우를 제시합니다.
구성 가능한 엔지니어링 워크플로우: 정책 정의, 프롬프트, 골드 셋이 선언적 구성(declarative configuration)으로 관리되는 엔드 투 엔드 시스템을 통해, 별도의 엔지니어링 파이프라인 없이도 새로운 정책 지표를 빠르게 온보딩할 수 있게 합니다.

4. 결과 및 실증적 증거

이 시스템은 Pinterest에서 1년 이상 여러 정책 영역에 걸쳐 매일 프로덕션 환경에서 운용되고 있습니다. 절대적인 유병률 수준에 대한 기밀성을 고려하여, 결과는 상대적인 용어와 합성 시뮬레이션을 통해 보고됩니다.

샘플링 효율성: 프로덕션에서 ML 지원 샘플링(위험 점수 활용)은 고정된 레이블 예산 내에서 임프레션 전용 PPS 샘플링에 비해 양성 샘플 비율을 6배에서 11.4배 증가시켰습니다. 이는 목표 CI 폭을 달ieve하기 위해 필요한 레이블 예산을 크게 줄여줍니다.
레이블링 효율성: LLM 지원 워크플로우는 인간 전용 워크플로우와 비교했을 때 엔드 투 엔드 레이블링 지연 시간을 약 15배 감소시키고 운영 비용을 10배 이상 절감하면서도, 유사한 결정 품질을 유지했습니다.
통계적 견고성: 시뮬레이션 결과, 설계 기반 재가중치 부여는 보조 위험 점수가 변동하더라도 점 추정치가 무편향임을 입증했습니다. 주요 효과는 편향이 아니라 분산의 증가(더 넓은 CI)였습니다.
하이퍼파라미터 민감도: 실험에 따르면 위험 점수 지수( $\gamma$ )를 높이면 특정 지점(예: $\gamma=1$ )까지는 정밀도가 향다면, 과도한 기울기( $\gamma \ge 2$ )는 유효 샘플 크기를 붕괴시켜 성능을 저하시킵니다.
최소 탐지 가능 효과 (MDE): 시스템은 정책 영역과 레이블 볼륨에 따라 주간 단위로 평균 대비 5~6.5% 수준의 상대적 변화를 탐지할 수 있게 해줍니다.

5. 의의 및 주장

본 논문은 이 접근 방식이 콘텐츠 안전 측정의 운영 지점을 근본적으로 전환한다고 주장합니다:

간헐적 감사에서 고빈도 피드백으로: 지연 시간과 비용을 줄임으로써, 시스템은 일일 단위의 플랫폼 대표 모니터링을 가능하게 하여 팀이 새로운 패턴을 탐지하고, 신속한 원인 분석을 수행하며, 개입(예: 모델 출시, 정책 업데이트)의 효과를 실시간에 가깝게 평가할 수 있도록 합니다.
신고 기능의 보완: 이 시스템은 사용자 신고에 의해 드러나지 않는 위해 요소에 대한 가시성을 제공하여, 사용자 신고를 보완하는 지표 역할을 합니다.
확장 가능한 거버넌스: 구성 가능한 워크플로우를 통해 안전 팀은 별도의 엔지니어링 노력 없이도 골드 셋 검증을 통해 새로운 정책에 대한 측정을 빠르게 확장할 수 있습니다.
윤리적 안전: 시스템은 대량의 레이블링에 LLM을 사용하고 인간의 검토는 타겟팅된 검증 및 엣지 케이스 판정에만 제한함으로써, 인간이 유해한 콘텐츠에 노출되는 것을 최소화하도록 설계되었습니다.

저자들은 민감한 정책에 대한 절대적 유병률 수준은 기밀이지만, 방법론은 완전히 명시되어 있으며 합성 시뮬레이션을 통해 검증되었으므로, 대규모 시스템의 희귀 이벤트 추정 문제를 해결하는 데 있어 독립적으로 검증 가능하고 견고함을 강조합니다.