Open-Domain Safety Policy Construction

Titre : Construction de Politiques de Sécurité en Domaine Ouvert via la Recherche Profonde (Deep Policy Research)

1. Problématique

Les couches de modération de contenu sont devenues essentielles pour les produits basés sur du contenu généré par les utilisateurs ou des modèles. Cependant, la rédaction et la maintenance de politiques de sécurité spécifiques à un domaine restent coûteuses et complexes. Ce processus nécessite une expertise métier, des itérations répétées et des mises à jour fréquentes face à l'évolution des produits et l'apparition de nouveaux cas limites (edge cases).

Bien que des travaux antérieurs aient exploré l'automatisation de l'application des politiques, la création initiale de ces politiques repose encore entièrement sur l'humain. Les auteurs se demandent : Les grands modèles de langage (LLM) peuvent-ils aider à rédiger les politiques elles-mêmes ?

L'objectif est de définir la tâche de construction de politique en domaine ouvert : à partir d'une spécification de domaine concise (une phrase) et d'un moteur de recherche, générer un document de politique structuré qui améliore la performance des modèles de modération en aval.

2. Méthodologie : Deep Policy Research (DPR)

Les auteurs proposent DPR, un système agentique minimaliste conçu pour rédiger des politiques de modération de bout en bout. DPR ne repose que sur un seul outil externe (la recherche web) et un mécanisme d'encadrement (scaffolding) léger.

Le processus fonctionne par itérations ($k$ itérations) et comprend trois étapes clés à chaque cycle :

1. Génération de requêtes de recherche :

   • L'agent analyse la structure actuelle de la politique (indexée) pour identifier les lacunes de couverture ou les ambiguïtés.
   • Il génère des requêtes de recherche ciblées visant à définir les frontières sémantiques, les cas limites courants, les sous-types à haut risque et les indices d'application.
   • Il récupère les résultats via un moteur de recherche (Google).

2. Extraction et consolidation des règles :

   • À partir des résultats de recherche, l'LLM extrait des règles candidates sous forme de prédicats courts et clairs (condition + décision de modération).
   • Un processus d'auto-critique est appliqué : l'agent élimine les règles non pertinentes, fusionne les règles redondantes et résout les conflits en privilégiant les sources multiples ou de haute qualité.

3. Indexation et structuration :

   • Les nouvelles règles sont intégrées au brouillon de politique.
   • L'agent organise l'ensemble des règles en sections cohérentes grâce au clustering basé sur des phrases-clés (keyphrase-based clustering).
   • Chaque cluster reçoit un titre et un résumé, créant un document indexé lisible par l'homme et optimisé pour la consommation par les modèles de lecture (reader models).

Ce cycle se répète jusqu'à stabilisation, produisant un document de politique final structuré.

3. Contributions Clés

• Nouvelle Tâche : Introduction de la "construction de politique en domaine ouvert", où l'objectif est de générer la politique elle-même plutôt que de simplement l'appliquer.
• Agent Minimaliste (DPR) : Démonstration qu'un agent simple, utilisant uniquement la recherche web et un encadrement léger, peut synthétiser des politiques complexes sans architecture d'agent surdimensionnée.
• Boucle de Recherche Structurée : Mise en évidence qu'une boucle de recherche spécifique à la tâche (extraction de règles, consolidation, indexation) est plus efficace pour la rédaction de politiques qu'une recherche web générique.
• Évaluation par Utilité en Aval : La réussite de la politique est mesurée non pas par sa qualité textuelle intrinsèque, mais par son impact sur la précision d'un modèle de modération fixe (LLM lecteur) utilisant cette politique en contexte (in-context).

4. Résultats Expérimentaux

Les auteurs ont évalué DPR sur deux benchmarks :

A. Benchmark de contenu indésirable OpenAI (5 domaines : Sexualité, Haine, Violence, Harcèlement, Auto-mutilation)

• Comparaison : DPR a été comparé à des approches basées uniquement sur la spécification initiale (Seed Information), à l'apprentissage par contexte (In-Context Learning avec des exemples), et à un système de recherche profonde généraliste (OpenAI Deep Research).
• Performance : DPR surpasse systématiquement les autres méthodes.
  • Sur le modèle Llama 3.1 8B, le score F1 moyen passe de 0,752 (Seed) à 0,792 (DPR).
  • Sur le modèle Qwen2.5 7B, le score F1 moyen passe de 0,810 à 0,831.
  • Les gains sont particulièrement marqués sur les catégories subjectives (Violence, Harcèlement, Auto-mutilation).
• Comparaison avec la recherche générique : DPR bat le système de recherche profonde généraliste (OAI DR) sous le même protocole, prouvant que la structure spécifique à la tâche est cruciale.

B. Benchmark de modération d'annonces multimodales (Interne)

• Scénario : Remplacement d'une section de politique rédigée par un expert par une section générée par DPR.
• Résultats : DPR récupère une grande partie des bénéfices de la politique humaine, surpassant largement l'absence de politique ou l'utilisation de la simple spécification initiale.
  • Dans le domaine "Exploitative" et "Offensive", DPR atteint des performances proches de l'expert.
  • Une limite est observée sur les "Claims financiers" (Finance Claims), où le langage de conformité spécifique à l'organisation et les détails fins ne sont pas facilement récupérables via le web public.

5. Signification et Conclusion

• Faisabilité : L'article démontre qu'il est possible de passer d'une spécification humaine de haut niveau à une politique opérationnelle complète et structurée grâce à l'IA.
• Efficacité des Agents : Un agent minimaliste avec une boucle de recherche bien conçue peut surpasser des systèmes de recherche génériques pour des tâches de rédaction technique.
• Impact Pratique : DPR offre un moyen de réduire les coûts et le temps de développement des politiques de sécurité, tout en fournissant un environnement reproductible pour les recherches futures sur les agents de rédaction de politiques.
• Limites : La méthode dépend de la disponibilité d'informations publiques de qualité. Les politiques reposant sur des connaissances propriétaires internes ou des nuances de conformité très spécifiques restent un défi pour une approche purement "domaine ouvert".

En résumé, Deep Policy Research représente une avancée significative vers l'automatisation de la gouvernance des contenus, transformant la rédaction de politiques d'un processus manuel coûteux en un processus assisté par l'IA, scalable et mesurable.