Open-Domain Safety Policy Construction

Probleemstelling

Moderatielagen zijn een kernonderdeel van moderne producten die gebruikmaken van door gebruikers of modellen gegenereerde content. Deze systemen worden geleid door domeinspecifieke veiligheidsbeleidspolitieken die definiëren welke content wel en niet is toegestaan. Het opstellen en onderhouden van deze beleidsregels is echter kostbaar en tijdrovend. Het vereist domeinexpertise, herhaalde iteraties en frequente updates naarmate producten evolueren en nieuwe randgevallen (edge cases) ontstaan. Hoewel er onderzoek is gedaan naar automatische pijplijnen om beleidsregels toe te passen, blijft een volledig door mensen geschreven beleid een vereiste. De auteurs stellen de vraag of Large Language Models (LLMs) kunnen worden ingezet om de beleidsdocumenten zelf te helpen opstellen, in plaats van alleen ze toe te passen.

Methodologie: Deep Policy Research (DPR)

De auteurs introduceren Deep Policy Research (DPR), een minimaal agentisch systeem dat een volledig contentmoderatiebeleid opstelt op basis van slechts menselijk geschreven "seed" domein-informatie. DPR is ontworpen als een eenvoudige, reproduceerbare onderzoekslus die slechts één extern hulpmiddel gebruikt: een zoekmachine.

Het proces verloopt als volgt:

1. Input: Een beknopte domeinspecificatie (bijvoorbeeld één zin die het doel van het beleid beschrijft) en toegang tot een zoekmachine.
2. Iteratieve Lus (k iteraties):
   • Stap 1: Query-generatie: DPR analyseert de huidige beleidsorganisatie en genereert gerichte zoekopdrachten om ontbrekende dekking te vinden, vaagheid weg te nemen, of risicovolle subtypes te onderzoeken.
   • Stap 2: Regel-extractie en consolidatie: De zoekresultaten worden verwerkt door een LLM om kandidaat-regels te extraheren. Deze regels worden geschreven als korte, voorspellende statements met duidelijke beslissingsgrenzen. Een zelf-kritiek pass (self-critique) filtert irrelevante regels, voegt dubbele regels samen en lost conflicten op door te kiezen voor regels die door meerdere bronnen worden ondersteund.
   • Stap 3: Indexering: De nieuwe regels worden samengevoegd met het bestaande concept. Vervolgens worden de regels geclusterd op basis van trefwoorden (keyphrases) om een gestructureerd, geïndexeerd document te vormen. Dit verbetert de leesbaarheid en helpt "reader"-modellen om lange beleidsdocumenten te verwerken.
3. Output: Een gestructureerd beleidsdocument dat als context wordt gebruikt door een moderatie-LLM.

Belangrijkste Bijdragen

• Open-Domain Policy Construction: De auteurs definiëren en evalueren een nieuwe taak waarbij beleidsregels volledig worden gegenereerd vanuit een hoge-level specificatie, zonder vooraf bestaande menselijke beleidsregels als basis.
• Minimaal Agentisch Ontwerp: DPR toont aan dat complexe agent-architecturen niet nodig zijn; een eenvoudige lus met webzoek en lichte "scaffolding" (steunstructuur) voor regel schrijven is effectief.
• Eind-tot-eind Evaluatie: In plaats van alleen de kwaliteit van de tekst te beoordelen, wordt de succesmaatstaf bepaald door de downstream utility: hoe verbetert het gegenereerde beleid de nauwkeurigheid van een vast moderatiemodel?

Resultaten

DPR werd geëvalueerd in twee settings:

1. OpenAI Ongepaste Content Benchmark (5 domeinen):

   • DPR presteerde consistent beter dan baselines die alleen gebruikmaken van de seed-informatie of few-shot in-context learning (met menselijke voorbeelden).
   • F1-score verbetering: Voor de Llama 3.1 8B model steeg de gemiddelde F1-score van 0,752 naar 0,792. Voor Qwen2.5 7B steeg deze van 0,810 naar 0,831.
   • De grootste winst werd geboekt bij subjectieve categorieën zoals Geweld, Harassment en Zelfkwestie, waar definities vaak vaag zijn.
   • DPR presteerde beter dan een algemeen diep-onderzoekssysteem (OpenAI Deep Research Agent) onder dezelfde protocollen, wat aantoont dat domeinspecifieke structuren belangrijker zijn dan generiek webonderzoek voor beleidsopstelling.

2. Interne Multimodale Advertentiemoderatie:

   • In een real-world setting met tekst en afbeeldingen werd een menselijk geschreven sectie vervangen door een DPR-generatie.
   • DPR herstelde een groot deel van de voordelen van het menselijke beleid en presteerde aanzienlijk beter dan het verwijderen van de sectie of het gebruik van alleen de seed-informatie.
   • In domeinen zoals "Misrepresentative" en "Exploitative" bereikte DPR bijna dezelfde prestaties als het menselijke expert-beleid (98% van de menselijke prestatie).
   • Domeinen die sterk afhankelijk zijn van interne bedrijfsregels (zoals "Finance Claims") bleven een uitdaging, wat de grenzen van open-domein onderzoek aangeeft.

Betekenis en Conclusie

Het paper demonstreert dat open-domein onderzoekagenten autonoom informatie van het web kunnen synthetiseren tot effectieve veiligheidsbeleidsregels. De belangrijkste conclusies zijn:

• Beleidsopstelling kan worden geautomatiseerd tot een punt waar het downstream moderatieprestaties significant verbetert, zelfs zonder menselijke tussenkomst in de regelgeneratie.
• Een gestructureerde, taakspecifieke onderzoekslus (zoals DPR) is superieur aan generieke webzoekopdrachten voor het opstellen van beleidsregels.
• Dit systeem biedt een reproduceerbare omgeving voor toekomstig werk op het gebied van beleidsopstellende agenten, inclusief het genereren van illustratieve voorbeelden en het verfijnen van beslissingsgrenzen.

Kortom, DPR biedt een schaalbare oplossing om de hoge kosten en de complexiteit van het handmatig opstellen van veiligheidsbeleidsregels te verminderen, terwijl het de kwaliteit en dekking van deze regels behoudt of zelfs verbetert.