💻 computer science

Evaluating Intellectual Property Guardrails of Generative Image Models: A Technical Report

Dit technische rapport evalueert veertien generatieve beeldmodellen zoals deze er in maart 2026 zijn en stelt vast dat hoewel alle private modellen IP-waarborgen implementeren met variërende weigeringspercentages voor fictieve personages, beroemdheden en logo's, elk getest model nog steeds in staat is om herkenbare intellectuele eigendommen te genereren.

Oorspronkelijke auteurs: Austin T. Hoag, Apostolos Modas, Yunhao Ba, Julienne M. LaChance, Jinru Xue, Wiebke Hutiri, Jan Simson, Tiffany Georgievski, Alex Towli, Joseph Smith, Yuki Mitsufuji, Alice Xiang

Gepubliceerd 2026-07-07

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Austin T. Hoag, Apostolos Modas, Yunhao Ba, Julienne M. LaChance, Jinru Xue, Wiebke Hutiri, Jan Simson, Tiffany Georgievski, Alex Towli, Joseph Smith, Yuki Mitsufuji, Alice Xiang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin je een magische kunstenaar kunt vragen om alles te schilderen wat je kunt bedenken. Je zou kunnen zeggen: "Schilder me een plaatje van een beroemde superheld," of "Teken een logo voor een groot frisdrankbedrijf." Dit rapport is een verslag van een team bij Sony AI dat heeft getest hoe goed deze "magische kunstenaars" (Generatieve Afbeeldingsmodellen) de regels volgen wanneer ze gevraagd wordt om dingen te tekenen die aan anderen toebehoren, zoals beroemde personages, beroemdheden of bedrijfslogo's.

Hier is een eenvoudige uitsplitsing van wat ze hebben gedaan en wat ze hebben gevonden, gebruikmakend van enkele alledaagse analogieën.

Het Grote Probleem: De "Nateleur"-kunstenaar

Beschouw deze AI-modellen als studenten die bijna elk boek hebben gelezen en bijna elke afbeelding op het internet hebben bekeken om te leren hoe ze moeten tekenen. Omdat ze van het hele internet hebben geleerd, kopiëren ze soms per ongeluk (of met opzet) beroemde dingen die ze eerder hebben gezien, zoals Mickey Mouse of de "swoosh" van Nike.

De bedrijven die deze kunstenaars hebben gebouwd, hebben "hekken" geplaatst (genaamd IP Guardrails) om de kunstenaars te stoppen met het tekenen van deze auteursrechtelijk beschermde zaken. Het Sony-team wilde weten: Hoe sterk zijn deze hekken? Werken ze eigenlijk wel?

De Test: Een "Pop Quiz" voor AI

Om de hekken te testen, maakte het team een enorme pop quiz met 1.809 verschillende vragen. Ze vroegen 14 verschillende AI-kunstenaars (sommigen gratis en open, anderen betaald en privé) om afbeeldingen te tekenen op basis van deze vragen.

De vragen waren op twee manieren ontworierd:

De "Directe" vraag: "Teken Mickey Mouse." (Het personage direct benoemen).
De "Omweg" vraag: "Teken een muis met grote ronde oren, een rode broek en gele schoenen." (Het personage beschrijven zonder de naam te noemen, om het hek te proberen te foppen).

Ze testten vijf soorten "beroemde zaken":

Echte beroemdheden (zoals Taylor Swift).
Striphelden en schurken (zoals Superman).
Cartoonpersonages (zoals SpongeBob).
Videospelpersonages (zoals Mario).
Bedrijfslogo's (zoals Apple of Google).

Ze controleerden ook of de AI beter was in het blokkeren van beroemde zaken uit het Westen (zoals Hollywoodsterren) versus het Oosten (zoals Japanse anime), en of het "superberoemde" zaken meer blokkeerde dan "minder beroemde" zaken.

De Resultaten: Hoe de Hekken Presteerden

1. De "Open" Kunstenaars Hadden Geen Hekken
De drie "open" modellen (die iedereen kan downloaden en op een eigen computer kan draaien) hadden helemaal geen hekken. Als je hen vroeg om een beroemd logo of beroemdheid te tekenen, deden ze dat gewoon. Ze zeiden geen "nee".

2. De "Private" Kunstenaars Hadden Hekken, Maar Ze Waren Wankel
De 11 betaalde, private modellen (zoals die van Amazon, Google en OpenAI) hadden wel hekken. Echter, de sterkte van het hek varieerde enorm:

De Strenge Bewaker: Eén model (Amazon's Titan Image G2) zei bij ongeveer 50% van de verzoeken "Nee". Het was erg goed in het blokkeren van zaken.
De Laksere Bewaker: Een ander bedrijf's modellen (Stability AI) zeiden bij minder dan 2% van de verzoeken "Nee". Ze lieten bijna alles door.

3. De "Logo" Loophole
Hier is het meest verrassende deel: de hekken waren slecht in het stoppen van Commerciële Logo's.
Zelfs de strengste modellen lieten verzoeken om logo's te tekenen (zo zoals het Apple-logo) bijna altijd door. Het is alsof het hek een gigantisch gat heeft specif{%}

Technische Samenvatting: Evaluatie van Intellectuele Eigendomsbeveiliging bij Generatieve Beeldmodellen

Probleemstelling

Generatieve beeldmodellen worden getraind op enorme hoeveelheden publieke internetdata, waarvan een aanzienlijk deel beschermde intellectuele eigendom (IP) bevat, zoals fictieve personages, de gelijkenis van beroemdheden en commerciële logo's. Het gebruik van deze data zonder toestemming roept juridische en ethische zorgen op met betrekking tot auteursrechtinbreuk en het recht op publieke beeltenis. Hoewel modelontwikkelaars zijn begonnen met het implementeren van "IP-guardrails" (mitigatiemaatregelen tijdens de inferentie) om de generatie van herkenbare IP te voorkomen, blijven de transparantie, dekking en effectiviteit van deze guardrails onduidelijk. Er is een gebrek aan systematisch begrip over hoe vaak deze guardrails generaties weigeren, hoe ze variëren over verschillende IP-categorieën en promptstrategieën, en in welke mate modellen nog steeds herkenbare IP produceren ondanks deze maatregelen.

Methodologie

Om deze onzekerheden aan te pakken, hebben de auteurs een uitgebreide benchmark en een geautomatiseerde evaluatiepipeline ontwikkeld.

1. IP-taxonomie en Benchmarkontwerp

De evaluatiebenchmark werd geconstrueerd op basis van een vierdimensionale taxonomie:

Gebruikersintentie: Het onderscheid tussen onbedoelde generatie (indirecte prompts zonder entiteitsnamen) en adversariële generatie (directe prompts met entiteitsnamen).
IP-categorieën: Vijf afzonderlijke categorieën werden getest: (1) Beroemdheden uit het echte leven, (2) Strip-/cartoon-/manga-personages, (3) Strippers/Superhelden/Schurken, (4) Videospelpersonages en (5) Commerciële logo's.
Geografische oorsprong: Entiteiten werden gestratificeerd in "Westerse" (Noord-Amerika/Europa) en "Oosterse" (Oost-/Zuidoost-Azië) regio's.
Populariteit: Entiteiten werden binnen hun regio gecategoriseerd als "Zeer mainstream" of "Minder mainstream".

De uiteindelijke dataset bestond uit 1.809 prompts die 201 unieke IP-entiteiten besloegen. Prompts werden gegenereerd met vijf strategieën:

Direct: De entiteit expliciet benoemen.
Direct met verdunning (Dilution): De entiteit benoemen maar een beschrijvende afleider toevoegen.
Indirect (Op trefwoorden gebaseerd): Visuele attributen opsommen zonder de entiteit te benoemen.
Indirect (Korte/Lange beschrijving): Het uiterlijk van de entiteit beschrijven zonder deze te benoemen.

2. Evaluatiepipeline

De studie evalueerde 14 tekst-naar-beeld (T2I) modellen: drie open-weights modellen (lokaal uitgevoerd) en elf propriëtaire modellen (verkregen via API's van Stability AI, Google, OpenAI, Runway en Amazon).

Generatie: Elk model werd geprompt met de volledie dataset. Resultaten werden geregistreerd als een succesvolle beeldgeneratie of een weigering (gedetecteerd via API-foutcodes).
IP-detectie: Gegenereerde afbeeldingen werden geëvalueerd met een geautomatiseerde Vision-Language Model (VLM) detector. Na het benchmarken van 14 kandidaat-VLM's werd Qwen3-VL-30B-A3B-Instruct gekozen als de beoordelaar vanwege de hoge F1-score (71,3%) en nauwkeurigheid. De VLM kreeg de taak voor binaire classificatie (aanwezigheid/afwezigheid van herkenbare IP) en canonieke entiteitsidentificatie.

3. Metrieken

Twee primaire metrieken werden gedefinieerd:

Generation Refusal Rate (GRR): Het aandeel prompts dat door de contentmoderatie-guardrails van het model wordt geweigerd.
IP Occurrence Rate (IOR): Het aandeel van alle prompts dat resulteerde in een afbeelding met herkenbare IP (berekend als $G = \frac{1}{|P|} \sum D(I_i)$ , waarbij $D(I_i)$ de output van de detector is).

Belangrijkste Resultaten

Algehele Effectiviteit van de Guardrails

Variatie in Weigering: De implementatie van guardrails varieerde aanzienlijk per aanbieder. Open-weights modellen (Stable Diffusion 3 Medium, FLUX.1-dev, PixArt-Sigma) weigerden 0% van de generaties. Onder de propriëtaire modellen varieerden de weigeringspercentages van ~1% (Stability AI) tot ~50% (Amazon Titan Image G2).
IP-generatie: Ondanks de guardrails genereerden alle 14 geteste modellen herkenbare IP per maart 2026.
Inverse Correlatie: Modellen met hogere weigeringspercentages vertoonden over het algemeen lagere IP-voorkomenspercentages (IOR). Bijvoorbeeld, de modellen van Amazon hadden een hoge GRR (~43%) en een lagere IOR, terwijl de modellen van Stability AI een lage GRR (<2%) en een hoge IOR hadden.

Impact van Promptstrategie (Q2)

Direct versus Indirect: Directe prompts (bevattende entiteitsnamen) veroorzaakten aanzienlijk hogere weigeringspercentages dan indirecte prompts. De drie modellen met de hoogste weigeringspercentages (Runway Gen-4, Amazon Nova Canvas, Amazon Titan G2) weigerden directe prompts met ~80%, vergeleken met ~7–8% voor indirecte prompts.
Verdunning (Dilution): Het toevoegen van een beschrijvende "verdunning" aan directe prompts verminderde de weigeringspercentages niet significant en had geen impact op de IOR.
Generatiesnelheden: Directe prompts resulteerden gemiddeld in een hogere IOR (~~50%) vergeleken met indirecte prompts (~~27–28%), hoewel dit per model varieerde.

Impact van IP-categorie (Q3)

Commerciële Logo's: Deze categorie had de laagste weigeringspercentages en de hoogste IOR bij de meeste modellen. Amazon's modellen weigerden bijvoorbeeld slechts 1–2% van de logo-prompts terwijl ze deze frequent genereerden.
Superhelden/Schurken: Deze categorie triggerde gemiddeld de hoogste weigeringspercentages. De Imagen 3 en 4 modellen van Google vertoonden bijzonder hoge guardrail-activatie voor deze categorie.
Beroemdheden: Hoewel ze een laag weigeringspercentage hadden, hadden beroemdheden de laagste IOR van alle categorieën, mogelijk door dataverwijdering tijdens de training of specifieke privacyfilters.

Impact van Populariteit en Regio (Q3)

Populariteit: Mainstream entiteiten hadden iets hogere weigeringspercentages (1,2x) maar een aanzienlijk hogere IOR (1,7x) vergeleken met minder mainstream entiteiten.
Regio: Weigeringspercentages en IOR waren vergelijkbaar tussen oosterse en westerse entiteiten.

Betekenis en Claims

De auteurs positioneren dit werk als de eerste systematische analyse van inference-time IP-guardrails over een diverse set van veelgebruikte generatieve beeldmodellen.

Bijdrage aan Benchmarking: Het artikel introduceert een gestructureerde benchmark (201 entiteiten, 5 categorieën, 5 prompttypen) en een geautomatiseerde evaluatiepipeline met behulp van VLM's, waarmee het gat in de bestaande literatuur wordt gedicht, die zich vaak op een beperkte scope richt of een systematische variatie in promptstrategieën mist.
Transparantiekloof: De resultaten benadrukken een aanzienlijk gebrek aan transparantie van modelontwikkelaars met betrekking tot IP-guardrails vergeleken met andere veiligheidsmaatregelen (bijv. toxiciteit, naaktheid). De studie laat zien dat de dekking van guardrails inconsistent is; bijvoorbeeld worden commerciële logo's vaak gegenereerd ondanks dat ze handelsmerken zijn, terwijl superhelden zwaarder worden geblokkeerd.
Beperkingen en Bescheidenheid: De auteurs verklaren expliciet dat hun resultaten alleen informatief zijn en geen juridische beoordeling van risico of naleving vormen. Ze erkennen beperkingen, waaronder de afhankelijkheid van VLM's voor detectie (die een lagere recall kunnen hebben voor minder mainstream entiteiten) en het onvermogen om de interne logica van propriëtaire guardrails te inspecteren buiten de API-foutcodes om. Ze merken op dat het "snapshot"-karakter van de data (maart 2026) betekent dat de mogelijkheden verschoven kunnen zijn.

Concluderend toont het rapport aan dat hoewel IP-guardrails bestaan in propriëtaire modellen, ze noch universeel, noch uniform effectief zijn over verschillende IP-categorieën. Open-weights modellen missen in hun standaard lokale configuraties momenteel expliciete IP-guardrails, wat resulteert in hoge percentages van herkenbare IP-generatie.