Who Gets Flagged? The Pluralistic Evaluation Gap in AI Content Watermarking

Probleemstelling

Het artikel identificeert een kritiek tekortkoming in de huidige evaluatie van AI-watermerken: het ontbreken van een pluralistische evaluatie. Hoewel watermerken steeds meer worden voorgeschreven door beleidskaders (zoals de EU AI Act en de Amerikaanse Executive Order 14110) als de standaardinfrastructuur voor de authenticatie van AI-inhoud, worden deze systemen getest onder veronderstellingen van monoculturele uniformiteit.

De kern van het probleem is dat watermerken geen neutrale stempels zijn. De sterkte, detecteerbaarheid en robuustheid van een watermerk zijn afhankelijk van de statistische eigenschappen van de inhoud zelf (zoals tekstentropie, beeldfrequenties of akoestische profielen). Omdat deze eigenschappen systematisch variëren tussen talen, culturele visuele tradities en demografische groepen, leidt een inhoudsafhankelijk watermerksysteem onvermijdelijk tot vooringenomen authenticatie. Als watermerken de primaire verificatielaag worden, versterken ze bestaande bias in generatieve modellen in plaats van deze te neutraliseren.

Methodologie

De auteurs hanteren een kwalitatieve en analytische benadering om de evaluatielandschappen van watermerken over drie modaliteiten te onderzoeken: tekst, afbeeldingen en audio.

1. Literatuurreview en Benchmark-analyse: De auteurs hebben de belangrijkste bestaande benchmarks voor watermerken (zoals MarkMyWords, WaterBench, WAVES, en AudioMarkBench) geanalyseerd. Ze hebben specifiek gezocht naar rapportage over prestaties verdeeld over talen, culturele inhoudstypen en demografische groepen.
2. Technische Analyse van Embedding-mechanismen: Ze analyseren hoe watermerken technisch worden ingebed in elke modality:
   • Tekst: Modificatie van token-samplingprocessen of post-hoc vervanging. Detectie hangt af van de entropie van tokenverdelingen.
   • Afbeeldingen: Inbedding in de frequentiedomeinrepresentaties (tijdens diffuusie of post-hoc). Detectie wordt beïnvloed door textuurcomplexiteit, kleurdistributie en hoge frequentiedetails.
   • Audio: Inbedding van onhoorbare signalen in het golfvorm-frequentiedomein. Detectie is afhankelijk van akoestische eigenschappen zoals toonhoogte en prosodie.
3. Identificatie van Evaluatiegaten: De auteurs vergelijken de huidige evaluatiepraktijken met de eisen van pluralistische eerlijkheid en tonen aan dat de meeste benchmarks uitsluitend op Engelstalige, westerse content zijn getest.

Belangrijkste Bijdragen

Het artikel levert drie hoofdbijdragen:

1. Documentatie van Modality-specifieke Bias:

   • Tekst: Er is bewijs dat niet-moedertaalsprekers van het Engels systematisch vaker als "AI-generatie" worden geflagged (hogere false positives) omdat hun teksten meer token-aanpassingen ondergaan door AI-tools, wat de watermerksignalen versterkt. Ook tokenisatieproblemen zorgen voor ongelijkheid tussen talen.
   • Afbeeldingen: Hoewel er nog weinig empirisch bewijs is, is er een structureel risico. Watermerken zijn getraind op westerse datasets (zoals ImageNet). Inhoud uit niet-westerse culturen (bijv. kalligrafie, specifieke textielpatronen) wordt mogelijk niet correct gedetecteerd of veroorzaakt onbedoelde artefacten.
   • Audio: De enige benchmark die demografische dispariteiten testte (AudioMarkBench), vond dat vrouwelijke stemmen en bepaalde talen (zoals Georgisch en Esperanto) hogere false positive rates vertoonden. Tonaal talen (waar betekenis in toonhoogte zit) kunnen fundamenteel anders reageren op frequentiedomein-watermerken dan niet-tonale talen.

2. Ontwikkeling van een Pluralistisch Evaluatiekader:
   De auteurs stellen drie concrete dimensies voor die verplicht moeten worden voor elke watermerk-benchmark:

   • Cross-linguale detectie-pariteit: Evaluatie moet prestaties rapporteren per taal en scriptsysteem, niet als een aggregate.
   • Cultureel diverse inhoudsdekking: Testdata moet verder gaan dan westerse distributies (bijv. inclusief niet-westerse kunstvormen en natuurlijke opnameomgevingen).
   • Demografische disaggregatie: Detectiemetrics (false positives/negatives) moeten worden opgesplitst per bevolkingsgroep (bijv. geslacht, leeftijd, taalkundige achtergrond).

3. Beleidspolitieke Analyse:
   De auteurs tonen aan dat er een asymmetrie bestaat in regelgeving: generatieve modellen moeten op eerlijkheid worden geauditeerd, maar de watermerken die deze modellen moeten verifiëren, worden niet aan dezelfde strenge eerlijkheidseisen onderworpen.

Resultaten

• Evaluatiekloof: Met één uitzondering (AudioMarkBench) rapporteren geen enkele van de grote benchmarks prestaties over verschillende talen, culturen of demografische groepen.
• Empirisch Bewijs: In tekst is aangetoond dat niet-native sprekers systematisch vaker worden geflagged. In audio is aangetoond dat geslacht en taal variatie in detectie veroorzaken.
• Risico: Zonder pluralistische evaluatie worden watermerken ingezet die onbedoeld bepaalde groepen discrimineren (bijv. door hun content ten onrechte als AI-generatie te markeren), terwijl de systemen die deze groepen beschermen (de generatieve modellen) juist wel geauditeerd zijn.

Betekenis en Conclusie

De paper concludeert dat evaluatie voorafgaand aan implementatie moet plaatsvinden, niet erna. Watermerken kunnen niet worden beschouwd als "neutrale infrastructuur" zolang hun prestaties niet zijn gevalideerd over de diversiteit van de wereldbevolking.

De auteurs pleiten ervoor dat de verificatielaag (watermerken) dezelfde bias-auditvereisten moet ondergaan als de generatieve lagen. Dit vereist geen nieuwe regelgeving, maar wel de uitbreiding van bestaande auditvereisten (zoals in de EU AI Act) om watermerken expliciet te omvatten. Zonder deze pluralistische evaluatie dreigt de AI-governance de bestaande ongelijkheden te versterken in plaats van ze op te lossen.