Open-Domain Safety Policy Construction

Resumen Técnico: Deep Policy Research (DPR)

1. El Problema

La moderación de contenido es un componente central en productos modernos que gestionan contenido generado por usuarios o modelos. Estos sistemas dependen de políticas de seguridad específicas del dominio para definir qué contenido está permitido y qué no, asegurando una aplicación consistente.

• Desafío actual: Redactar y mantener políticas de alta calidad es costoso, requiere experiencia de dominio, iteración repetida y actualizaciones frecuentes a medida que evolucionan los productos y surgen nuevos casos límite.
• Limitación de enfoques anteriores: Aunque existen estudios sobre la automatización de la aplicación de políticas, la creación de las políticas mismas sigue dependiendo casi exclusivamente de humanos.
• Pregunta de investigación: ¿Podemos utilizar Grandes Modelos de Lenguaje (LLMs) para asistir en el redactado de las propias políticas, partiendo solo de una especificación de dominio humana?

2. Metodología: Deep Policy Research (DPR)

Los autores proponen DPR, un sistema agente minimalista diseñado para redactar políticas completas de moderación de contenido basándose únicamente en una definición de dominio humana (una oración) y un motor de búsqueda web.

Arquitectura y Flujo de Trabajo:
DPR es un agente que utiliza una sola herramienta externa (búsqueda web) y un esquema de "andamiaje" (scaffolding) ligero. Funciona mediante un bucle iterativo de $k$ iteraciones:

1. Generación de Consultas (Query Generation):

   • El agente analiza la organización actual de la política (índice) para identificar lagunas en la cobertura o partes ambiguas.
   • Genera consultas de búsqueda web dirigidas a definir límites, casos límite comunes, subtipos de alto riesgo y señales de aplicación.
   • Recupera los resultados superiores (títulos, fragmentos, URLs) como evidencia.

2. Extracción y Consolidación de Reglas:

   • El LLM extrae reglas candidatas de la evidencia recuperada, formulándolas como declaraciones de predicado cortas con límites de decisión claros.
   • Auto-crítica: El agente realiza un paso de auto-crítica para eliminar reglas irrelevantes o genéricas, fusionar redundancias y resolver conflictos priorizando fuentes múltiples o de mayor calidad.

3. Indexación (Clustering):

   • Las nuevas reglas se fusionan en el borrador de la política.
   • Se utiliza clustering basado en frases clave (keyphrases) para organizar las reglas en secciones coherentes.
   • El agente extrae frases clave, las agrupa (usando k-means), nombra cada grupo y escribe un resumen de sección. Esto mejora la legibilidad y ayuda a los modelos lectores a consumir políticas largas.

El proceso se repite hasta completar las iteraciones, produciendo un documento de política indexado y estructurado.

3. Contribuciones Clave

• Definición de una nueva tarea: Introducen la "construcción de políticas de dominio abierto", donde el objetivo es generar un documento de política estructurado a partir de una especificación de dominio concisa y acceso a la web.
• Diseño de Agente Minimalista: Demuestran que no se necesitan arquitecturas de agentes complejas. Un bucle de investigación simple con una sola herramienta (búsqueda web) y andamiaje ligero es suficiente para sintetizar políticas útiles.
• Evaluación por Utilidad Descendente: En lugar de evaluar la calidad de la política por juicio humano directo, la evalúan mediante la utilidad descendente: miden la precisión de un modelo de moderación fijo (lector) cuando se le proporciona la política generada en su contexto (in-context).
• Reproducibilidad: Liberan el código y los prompts, estableciendo un entorno reproducible para futuros trabajos en agentes de redacción de políticas.

4. Resultados Experimentales

Los autores evaluaron DPR en dos escenarios:

A. Benchmark de Contenido No Deseado de OpenAI (5 dominios)

• Dominios: Sexual, Odio, Violencia, Acoso y Autolesión.
• Modelos Lectores: Llama 3.1 8B y Qwen2.5 7B.
• Comparativas: DPR superó consistentemente a:
  • Solo Información Semilla: Usar solo la definición de una oración.
  • Aprendizaje en Contexto (Few-shot): Usar ejemplos de entrenamiento humanos.
  • Sistema de Investigación Profunda General (OAI DR): Un agente de investigación general de OpenAI.
• Métricas: DPR aumentó el F1 promedio de 0.752 a 0.792 en Llama 3.1 8B y de 0.810 a 0.831 en Qwen2.5 7B.
• Hallazgo Importante: Las mejoras fueron más pronunciadas en categorías subjetivas (Violencia, Acoso, Autolesión), donde las definiciones simples son ambiguas. DPR logró un rendimiento competitivo con las políticas escritas por expertos en varios dominios.

B. Benchmark Interno de Moderación de Anuncios Multimodales

• Escenario: Sustitución de secciones específicas de una política experta existente por secciones generadas por DPR.
• Resultados: Reemplazar una sección experta con una generada por DPR recuperó gran parte del beneficio de la política humana, superando significativamente a la ausencia de política o al uso de solo la especificación semilla.
• Límites: En dominios altamente dependientes de lenguaje de cumplimiento específico de la organización (ej. "Reclamaciones Financieras"), DPR tuvo más dificultades, lo que resalta la necesidad de información propietaria en ciertos casos.

5. Significado e Impacto

• Viabilidad de la Automatización: El trabajo demuestra que es factible redactar políticas de seguridad complejas y matizadas a partir de guías humanas de alto nivel, reduciendo la carga de redacción manual.
• Estructura Específica vs. General: Un hallazgo crucial es que un bucle de investigación específico de la tarea (DPR) supera a los sistemas de investigación web genéricos para la redacción de políticas. La estructura de extracción, consolidación e indexación es vital para la utilidad del resultado.
• Escalabilidad: DPR ofrece una solución escalable para mantener políticas actualizadas frente a nuevos casos límite y cambios en el entorno digital, sin depender exclusivamente de expertos humanos para cada iteración.
• Calidad de la Salida: Las evaluaciones humanas indican que las reglas generadas son claras, accionables y relevantes, aunque existen brechas en áreas que requieren mucho contexto o criterios de riesgo específicos de la organización.

En conclusión, Deep Policy Research establece un nuevo paradigma donde los agentes de IA no solo aplican reglas, sino que las construyen activamente, cerrando la brecha entre la especificación humana abstracta y la implementación técnica detallada necesaria para la moderación de contenido segura.