Technische Samenvatting: Automatische Synthese van Harde Voorbeelden met Multi-Level Agentic Data Curatie

Probleemstelling

Multimodale Large Language Models (MLLM's) worden steeds vaker ingezet voor genuanceerde taken op het gebied van contentveiligheid en moderatie, zoals het handhaven van advertentiebeleid op gevoelige onderwerpen (bijv. algoritmisch gezelschap, expliciete inhoud, illegale activiteiten). Deze modellen blijven echter kwetsbaar voor adversariële aanvallen en out-of-distribution edge cases. De primaire uitdaging ligt bij de "onbekende onbekenden"—enorme regio's in de beleidsgrenzen waar schade moeilijk visueel te definiëren is, en waar kwaadwillende actoren continu tactieken ontwikkelen met behulp van subtiele visuele details, geobfusceerde tekst of complexe cross-modale interacties.

Traditionele benaderingen om dit aan te pakken, zoals handmatige annotatie en standaard active learning, schalen niet mee tegen de omvang en complexiteit van nieuwe multimodale dreigingen. Bestaande gelabelde corpora lijden vaak aan dekkingstekorten, waardoor platforms blootgesteld blijven aan opkomende dreigingen. Bovendien is het handmatig cureren van diverse, moeilijke grensgevallen over een grote tekst-beeldruimte fundamenteel onschaalbaar, wat knelpunten creëert die menselijke expertbeoordeling vereisen.

Methodologie

De auteurs stellen een geautomatiseerd, agentic data curatieframework voor dat systematisch "harde voorbeelden" (grensgevallen van schendingen en ambigue edge cases) kan minen zonder menselijke tussenkomst. Het systeem werkt volgens een iteratief "Explore and Mutate"-paradigma, gedreven door een multi-agent architectuur die draait op de Gemini 3 model-backbone.

Kernarchitectuur

Het framework bestaat uit drie primaire componenten:

1. Architect Agent ($M_A$): Aangedreven door Gemini 3.1 Pro, synthetiseert deze agent kwetsbaarheidshypothesen op basis van beleidsteksten en een kleine batch seed-voorbeelden. Het maakt gebruik van een persistent geheugen van eerdere pogingen om ofwel geheel nieuwe hypothesen te genereren, ofwel eerder succesvolle hypothesen te muteren. De output is een gestructureerd drieledig voorstel: een formele kwetsbaarheidshypothese ($h$), een gedetailleerde beeldgeneratie-prompt ($p_{img}$) en een idee voor een tekst-overlay ($t_{overlay}$).
2. Operator Agent ($M_O$): Geïnstantieerd door Nano Banana Pro, materialiseert deze agent de prompts van de Architect tot synthetische samengestelde afbeeldingen ($x$).
3. Multi-Level Verification Committee: Een hiërarchisch systeem van LLM-raters ontworpen om ambiguïteit op te lossen en de grondwaarheid vast te stellen:
   • Level I Committee ($CR_1$): Bestaat uit drie onafhankelijke instanties van een efficiënt model (bijv. Gemini 3 Flash). Zij leveren initiële labels en meten ambiguïteit.
   • Debate en Jury Protocollen: Als $CR_1$ er niet in slaagt om een unanieme consensus te bereiken, aggregeert het systeem de redeneerpaden naar een debatcontext ($D$). Raters evalueren hun posities opnieuw. Als de onenigheid voortduurt, wordt de instantie geëscaleerd naar een Level II Jury Committee ($CR_2$), bestaande uit drie instanties van het krachtigere Gemini 3.1 Pro, om de definitieve grondwaarheid te verklaren.

Data Curatie Loop

Het systeem doorloopt iteratief cycli van exploratie en mutatie. Het archiveert synthetische assets waarbij het Doelmodel ($M_T$) afwijkt van de unanieme consensus van de Level I commissie (Target Errors) of waar een hoge mate van ambiguïteit bestaat (Level I onenigheid). Deze gecureerde datasets dienen als hoogwaardige signalen voor downstream few-shot In-Context Learning (ICL).

Evaluatiestrategie

Het framework maakt gebruik van Retrieval-Augmented Generation (RAG) tijdens de testfase. Voor een ongeziene query-afbeelding retrieveert het systeem de $k$ meest semantisch gelijkaardige geminde voorbeelden (met behulp van cosine similarity) uit de gecureerde "Hard Pool" en integreert deze als few-shot demonstraties. De studie evalueert de impact van:

• Retrieval Source: Hard Pool (adversariële grensgevallen) vs. Regular Pool (standaard consensusgevallen) vs. In-Distribution Pool (door mensen gelabeld).
• Prompting: Naive prompting vs. Policy Prompting (het voorafvoegen van volledige tekstuele beleidsrichtlijnen).
• Generation Backbone: Het vergelijken van pipelines die gebruikmaken van Gemini 3 Series agents versus Gemini 2.5 Series agents.

Belangrijkste Bijdragen

1. Nieuwe Multi-Agent Architectuur: Het artikel introduceert een volledig geautomatiseerd, hypothese-gestuurd "Explore and Mutate"-paradigma bestaande uit een Architect, Operator en een commissie van LLM-raters. Dit systeem synthetiseert efficiënt "harde voorbeelden".
2. Hiërarchisch Verificatiesysteem: Een dual-level commissie van LLM-raters wordt geïntroduceerd om hoog-ambigue edge cases systematisch op te lossen en te categoriseren. De auteurs tonen aan dat het balanceren van generatiestrategieën (75% nieuwe exploratie vs. 25% mutatie) het stagneren voorkomt en de ontdekking van harde voorbeelden maximaliseert.
3. Strikte Evaluatie van ICL-strategieën: Het artikel benadrukt het cruciale belang van beleidsgeïnformeerde prompting en dynamische retrieval. Het toont aan dat het ophalen van gesynthetiseerde harde voorbeelden uit de agent-gecureerde harde pool de False Negative Rate (FNR) aanzienlijk vermindert van 41,2% naar 24,5% op de HoliSafe benchmark vergeleken met zero-shot baselines, zonder afhankelijk te zijn van menselijke labeling.

Resultaten

Het framework werd geëvalueerd op de publieke HoliSafe-Bench en een interne Proprietary Ads Safety dataset (geanonimiseerd).

• Impact van Policy Prompting: Het opnemen van expliciete beleidstekst in de prompt was een fundamentele vereiste voor robuuste detectie. Op HoliSafe reduceerde dit de FNR van 0,869 (naive zero-shot) naar 0,412.
• Effectiviteit van Harde Voorbeelden: Dynamische retrieval van gesynthetiseerde harde voorbeelden verlaagde de FNR verder naar 0,245 (een significante verbetering ten opzichte van de 0,412 zero-shot baseline met beleid). Retrieval uit de Hard pool presteerde consequent beter dan de Regular of gecombineerde pools.
• Rol van Agent Capabiliteit: De kwaliteit van de curatie-pipeline had een grote invloed op de resultaten. De Gemini 3 Series pipeline (met Gemini 3.1 Pro Architect) behaalde een FNR van 0,245, terwijl de Gemini 2.5 Series pipeline slechts een FNR van 0,405 behaalde, wat nauwelijks verbetering betekende ten opzichte van de zero-shot baseline. Dit suggereert dat geavanceerde redeneerkracht noodzakelijk is om genuanceerde faalmodi te synthetiseren.
• Optimale Configuratie: Een ablation study naar de ratio van novel vs. mutated hypothesen vond dat een 75% novel / 25% mutated split de hoogste ontdekkingsgraad van harde voorbeelden opleverde (16,7% hit rate), wat voorkwam dat de agent vastliep in lokale optima.
• Context Grootte: Een vaste few-shot grootte van k=4 bleek optimaal voor het balanceren van prestaties en latentie.

Betekenis en Claims

Het artikel claimt dat dit framework een schaalbare oplossing biedt voor het evalueren en verbeteren van MLLM-alignment in hoog-risico, ambigue of snel evoluerende risicomilieus. Door autonoom complexe edge cases naar boven te halen, stelt het systeem safeguards in staat om proactief te reageren op opkomende visuele dreigingen zonder de bottleneck van kostbare menselijke annotatie.

De auteurs benadrukken dat hun aanpak niet alleen de detectie van kwetsbaarheden versnelt, maar ook fundamentele ambiguïteiten binnen de beleidsregels zelf blootlegt. Zij positioneren dit als een verschuiving van tactische prompt-aanpassingen naar structurele architecturale herontwerpen voor contentveiligheid.

Erkende Beperkingen:

• Afhankelijkheid van Frontier Modellen: Het succes van de pipeline is sterk afhankelijk van de redeneerkracht van de onderliggende foundation modellen (bijv. Gemini 3 Series).
• Synthetic-to-Real Gap: Hoewel de Operator agent diverse scenario's genereert, blijft het accuraat repliceren van specifieke real-world adversariële aanvallen (bijv. multi-image composiet lay-outs, gerichte typografische aanvallen) een uitdaging voor standaard diffusie-generatoren.
• Inference Overhead: Dynamische RAG introduceert latentie vergeleken met zero-shot voorspelling, hoewel de auteurs suggereren dat toekomstig werk deze voorbeelden kan distilleren in compacte student-modellen.
• Precision-Recall Trade-off: Het agressief minen van harde voorbeelden kan de beslissingsgrens verschuiven naar een conservatievere houding, wat de precisie (verhoging van False Positives) licht kan verslechteren terwijl de recall (verlaging van False Negatives) aanzienlijk wordt verbeterd.