Linguistic Holonomy and Statistical Watermarks: Inner Geometry of Meaning-Preserving Transformations

In het moderne landschap van kunstmatige intelligentie genereren grote taalmodellen tekst die steeds minder te onderscheiden is van menselijk schrijven. Om de risico's van deze technologie, zoals de verspreiding van misinformatie, te beheersen, hebben onderzoekers een methode ontwikkeld om machinaal gegenereerde inhoud onzichtbaar te markeren. Deze markeringen, bekend als watermerken, veranderen de betekenis of kwaliteit van de tekst niet; in plaats daarvan verschuiven ze subtiel de statistische waarschijnlijkheid van welke woorden worden gekozen, waardoor een verborgen signaal ontstaat dat later gedetecteerd kan worden. De centrale uitdaging voor deze watermerken is robuustheid: ze moeten overleven wanneer de tekst wordt bewerkt, vertaald of geparafraseerd. Jarenlang heeft de wetenschappelijke gemeenschap het succes van een aanval op een watermerk gemeten door alleen naar het eindresultaat te kijken. Als een herschreven zin nog steeds dezelfde betekenis heeft als het origineel, werd aangenomen dat het watermerk even goed had overleefd, ongeacht de reis die de tekst had afgelegd. Deze aanname behandelt de tussenliggende stappen van het herschrijven als louter steigers, irrelevant voor de uiteindelijke uitkomst.

Een onderzoeker aan het Instituto Superior Técnico en de Universiteit van de Algarve heeft dit langgekoesterde standpunt uitgedaagd door aan te tonen dat het pad dat een tekst aflegt net zo belangrijk is als de bestemming. Door de sequentie van woordkeuzes te behandelen als een geometrische reis, ontdekte hij dat twee teksten met identieke betekenissen kunnen eindigen terwijl ze totaal verschillende hoeveelheden watermerksignaal dragen. De onderzoeker bewees dat de standaardmethode voor het meten van "semantische gelijkenis" — hoe dicht de uiteindelijke betekenis bij het begin ligt — blind is voor een verborgen eigenschap van de transformatie. Hij ontdekte dat het overleven van het watermerk volledig afhangt van de specifieke rangschikking van de bewerkingen tijdens het proces, en niet alleen van hoeveel woorden er zijn veranderd of hoe vergelijkbaar de uiteindelijke tekst eruitziet. In sommige gevallen kan een aanvaller het volledige watermerksignaal verwijderen terwijl slechts een klein deel van de woorden wordt gewijzigd, mits die wijzigingen in een specif으로 ritmisch patroon zijn geplaatst.

De studie begint met het heronderzoeken van de wiskunde achter "linguïstische lussen", die ketens van transformaties zijn die de vorm van een zin veranderen zonder de kernbetekenis aan te tasten. De onderzoeker toonde aan dat de voorheen gebruikte wiskundige instrumenten om deze lussen te analyseren gebrekkig waren omdat ze inklapten tot een eenvoudige telling, waarbij de complexe structuur van de reis verloren ging. Hij verving dit door een preciezere geometrische beschrijving, waarbij hij aantoonde dat de transformatie van tekst lijkt op een pad dat op een sfeer wordt getekend. De afstand tussen het start- en eindpunt vertelt je hoe ver de betekenis is afgedwaald, maar de vorm van het pad zelf draagt een verborgen rotatie in zich, een eigenschap die bekend staat als holonomie. Deze rotatie is onzichtbaar voor detectoren die alleen naar de uiteindelijke betekenis kijken, maar het is juist dit dat bepaalt of het watermerk overleeft. De onderzoeker bewees dat het eindpunt en het pad onafhankelijk van elkaar zijn; je kunt een tekst hebben die na een korte, directe reis terugkeert naar de oorspronkelijke betekenis, of na een lange, kronkelende omweg, en het watermerk zal in beide gevallen anders reageren.

Aan de praktische kant van het onderzoek leidde de onderzoeker een precieze wet af die bepaalt hoe watermerken vervagen wanneer tekst wordt bewerkt. Hij vond dat het overleven van het signaal niet wordt bepaald door het algemene percentage ongewijzigde woorden, maar door de vraag of de specifieke "zaai-vensters" (seeding windows) van het watermerk intact blijven. Een watermerk vertrouwt vaak op een groep voorafgaande woorden om te beslissen wat het volgende woord moet zijn. Als een bewerking deze groep doorbreekt, gaat het signaal verloren. De onderzoeker demonstreerde dat een aanvaller die de grootte van deze groep kent, strategisch bewerkingen kan plaatsen om het volledige watermerk te vernietigen terwijl het overgrote deel van de tekst ongemoeid blijft. Bijvoorbeeld, als het watermerk vertrouwt op een context van één voorafgaand woord, zou een aanvaller elk tweede woord kunnen verwijderen en zo het signaal volledig uit te wissen, zelfs als de helft van de tekst nog intact is. Deze bevinding verklaart waarom watermerken soms veel sneller falen dan verwacht wanneer tekst wordt bewerkt in blokken of patronen, in plaats van willekeurig.

Om deze theoretische inzichten te verifiëren, voerde de onderzoeker uitgebreide experimenten uit met echte machinale vertalingssystemen. Hij nam duizenden zinnen en stuurde ze door ketens van rondreis-vertalingen, waarbij hij ze door talen als Duits, Frans en Spaans naar het Engels liet bewegen. Hij mat het watermerksignaal bij elke stap en vergeleken dit met de geometrische eigenschappen van het pad dat de tekst had afgelegd. De resultaten bevestigden zijn theorie: de hoeveelheid resterend signaal was sterk verbonden met de specifieke vorm van het pad, en niet alleen met de uiteindelijke gelijkenisscore. In één opvallende test hield hij de uiteindelijke betekenis van de tekst constant terwijl hij de padlengte en complexiteit varieerde. Hij ontdekte dat teksten die bij exact dezelfde betekenis einden, ergens tussen een volledig signaal en geen enkel signaal konden behouden, afhankelijk uitsluitend van de gevolgde route. Dit bewijst dat de huidige methode om de robuustheid van watermerken te beoordelen op basis van de uiteindelijke gelijkenis fundamenteel incompleet is.

De implicaties van dit werk zijn aanzienlijk voor de toekomst van digitale herkomst (provenance). Het suggerekt dat de veerkracht van een watermerk een functie is van de volledige geschiedenis van de tekst, en niet alleen van de uiteindelijke staat ervan. De onderzoeker toonde aan dat de standaardmetrieken die worden gebruikt om deze systemen te evalueren ontoereikend zijn omdat ze de geometrische structuur van taal negeren. Hij benadrukte ook een kwetsbaarheid in de huidige ontwerpen: omdat het overleven van het signaal afhangt van de rangschikking van de bewerkingen, kan een deskundige tegenstander dit uitbuiten om het watermerk te neutraliseren zonder dat de tekst er significant anders uitziet. Hoewel de studie werd uitgevoerd met specifieke modellen en vertaalingsketens, lijken de ontdekte geometrische principes universeel te zijn. Het werk concludeert dat om werkelijk te begrijpen hoe watermerken overleven, we moeten stoppen met alleen naar de bestemming te kijken en moeten beginnen met het in kaart brengen van de reis.