Open-Domain Safety Policy Construction

1. 문제 정의 (Problem Definition)

현대 콘텐츠 플랫폼은 사용자 생성 콘텐츠 (UGC) 나 모델 생성 콘텐츠를 관리하기 위해 콘텐츠 중재 (Moderation) 레이어를 필수적으로 사용합니다. 이러한 시스템은 허용 및 금지되는 콘텐츠를 정의하는 **도메인별 안전 정책 (Safety Policies)**에 의해 운영됩니다.

• 현재의 과제: 고품질의 안전 정책을 작성하고 유지보수하는 것은 비용이 많이 듭니다. 도메인 전문성, 반복적인 수정, 그리고 제품이 진화하거나 새로운 엣지 케이스 (edge cases) 가 나타날 때 빈번한 업데이트가 필요하기 때문입니다.
• 연구 질문: "LLM(대형 언어 모델) 을 활용하여 인간이 직접 작성하는 대신 정책 자체를 초안 작성하는 데 보조할 수 있는가?"
• 목표: 인간의 간결한 도메인 정의 (Seed Specification) 만을 입력으로 받아, 웹 검색을 통해 관련 정보를 수집하고 구조화된 정책 문서를 자동으로 생성하는 오픈 도메인 정책 구축 (Open-Domain Policy Construction) 작업을 수행하는 것입니다.

2. 방법론: Deep Policy Research (DPR)

저자들은 **Deep Policy Research (DPR)**라는 최소한의 에이전트 시스템을 제안합니다. DPR 은 복잡한 에이전트 아키텍처나 정교한 스캐폴딩 (scaffolding) 전략 대신, **단 하나의 외부 도구 (웹 검색)**와 가벼운 스캐폴딩을 사용하여 정책 초안을 작성합니다.

핵심 프로세스 (3 단계 반복 루프)

DPR 은 $k$번의 반복 (Iteration) 을 통해 다음 단계를 수행합니다:

1. 쿼리 생성 (Query Generation):

   • 현재 정책 문서의 조직 구조를 분석하여 누락된 영역이나 모호한 부분을 식별합니다.
   • 정의의 경계, 일반적인 엣지 케이스, 고위험 하위 유형, 집행 단서 등을 목표로 하는 검색 쿼리를 생성합니다.
   • 생성된 쿼리로 웹 검색을 수행하여 관련 웹 페이지의 제목, 스니펫, URL 을 증거로 수집합니다.

2. 규칙 추출 및 통합 (Rule Extraction & Consolidation):

   • 수집된 증거를 바탕으로 LLM 이 일관된 스키마로 **후보 규칙 (Candidate Rules)**을 추출합니다. 규칙은 명확한 결정 경계를 가진 간결한 술어 (predicate) 형식으로 작성됩니다.
   • 자기 비판 (Self-critique) 단계: LLM 이 불필요하거나 지나치게 일반적인 규칙을 제거하고, 중복된 규칙을 병합하며, 여러 출처나 고품질 출처에서 지지되는 규칙을 선호하여 충돌을 해결합니다.

3. 색인화 (Indexing):

   • 새로운 규칙을 기존 정책 초안에 병합합니다.
   • 키구문 클러스터링 (Keyphrase-based Clustering): 각 규칙에서 핵심 구문을 추출하고, 이를 $k$-means 알고리즘으로 그룹화합니다.
   • 각 클러스터에 제목을 붙이고 짧은 요약문을 작성하여 색인화된 정책 문서를 생성합니다. 이는 가독성을 높이고, downstream 모델이 긴 정책을 효과적으로 처리할 수 있도록 돕습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 작업 정의: 오픈 도메인 정책 구축 (Open-Domain Policy Construction) 과 이를 하류 작업 (Downstream Utility) 의 성능 향상으로 평가하는 새로운 프레임워크를 제시했습니다.
2. DPR 시스템 개발: 웹 검색과 가벼운 스캐폴딩만으로 도메인별 안전 정책을 자동 생성하고 구조화하는 최소한의 에이전트 시스템을 구현했습니다.
3. 범용 연구 에이전트와의 비교: 동일한 시드 (Seed) 와 평가 프로토콜 하에서 범용 심층 연구 시스템 (General-purpose Deep Research System) 보다 DPR 이 더 우수한 성능을 보임을 입증했습니다. 이는 정책 초안 작성에는 작업 특화적 (Task-specific) 인 구조화된 연구 루프가 더 효과적임을 시사합니다.
4. 재현성 제공: 실험 코드, 도메인 정의, 프롬프트 등을 공개하여 향후 정책 작성 에이전트 연구의 재현 가능한 환경을 제공합니다.

4. 실험 결과 (Results)

실험 설정

• 데이터셋 1: OpenAI 의 원치 않는 콘텐츠 벤치마크 (5 개 도메인: 성, 혐오, 폭력, 괴롭힘, 자해).
• 데이터셋 2: Taboola 사의 내부 멀티모달 광고 중재 벤치마크 (4 개 도메인: 오해의 소지가 있는, 금융 주장, 착취적, 모욕적).
• 평가 지표: 고정된 중재 모델 (Reader LLM) 이 제공된 정책 (In-context) 을 기반으로 안전/불안전 이진 분류를 수행할 때의 F1 점수.

주요 성과

1. OpenAI 벤치마크:

   • DPR 은 '정의만 제공 (Seed Information)'하거나 'Few-shot 예시 (In-Context Learning)'를 사용하는 베이스라인보다 모든 도메인과 모델 (Llama 3.1 8B, Qwen2.5 7B) 에서 일관되게 높은 F1 점수를 기록했습니다.
   • 평균 F1 향상: Llama 3.1 8B 에서 0.752 → 0.792, Qwen2.5 7B 에서 0.810 → 0.831.
   • 특히 폭력, 괴롭힘, 자해와 같이 주관적이고 모호한 카테고리에 대한 개선 효과가 두드러졌습니다.
   • 범용 심층 연구 시스템 (OAI DR) 보다도 높은 성능을 보였습니다 (Llama 3.1 8B 기준 0.776 → 0.792).

2. 내부 광고 벤치마크:

   • 전문가가 작성한 정책 섹션을 DPR 이 생성한 정책으로 대체했을 때, 해당 섹션을 아예 제거하거나 1 문장 정의만 사용하는 경우보다 성능이 크게 향상되었습니다.
   • 착취적 (Exploitative) 및 모욕적 (Offensive) 도메인에서는 전문가 작성 정책과 거의 동등한 성능을 달성했습니다.
   • 한계: '금융 주장 (Finance Claims)'과 같은 도메인은 조직 특유의 규정과 미세한 면책 조항이 필요하여 웹 검색만으로는 완벽하게 복원하기 어려운 것으로 나타났습니다.

3. 인간 평가:

   • 생성된 규칙의 명확성, 도메인 관련성, 내부 사용성에 대해 전문가들이 평가한 결과, 대부분의 규칙이 명확하고 실행 가능하며 도메인에 적합하다고 판단되었습니다.

5. 의의 및 결론 (Significance)

• 자동화의 가능성: 고수준의 인간 가이드 (간단한 정의) 만으로도 에이전트가 웹 정보를 수집하여 정교하고 구조화된 안전 정책을 자동 초안 작성할 수 있음을 입증했습니다.
• 비용 효율성: 정책 작성 및 유지보수 비용을 절감하면서도, 특히 주관적이고 모호한 영역에서 인간 전문가 수준의 정책 품질을 달성할 수 있는 가능성을 제시했습니다.
• 구조의 중요성: 단순한 웹 검색이 아니라, 규칙 추출, 통합, 색인화라는 구조화된 연구 루프가 정책 생성과 같은 특정 작업에서 범용 에이전트보다 더 효과적임을 보여줍니다.

이 연구는 콘텐츠 중재 시스템의 핵심 요소인 정책 작성 과정을 자동화하는 새로운 패러다임을 제시하며, 향후 LLM 기반 정책 에이전트 개발의 기초를 마련합니다.