Covert Multi-bit LLM Watermarking: An Information Theory and Coding Approach

Technische Samenvatting: Verborgen Multi-bit LLM Watermerking: Een Informatietheoretische en Codagebenadering

Probleemstelling
Het artikel behandelt de uitdaging van multi-bit watermerking voor Large Language Models (LLM's). Hoewel zero-rate (binair) watermerking uitvoerig is bestudeerd om door AI gegenereerde tekst te detecteren, vereist het inbedden van rijkere berichten (bijvoorbeeld voor brontraceerbaarheid of tijdstempeling) hogere inbeddingssnelheden zonder de tekstkwaliteit of detecteerbaarheid te compromitteren. Bestaande algoritmische benaderingen missen vaak een precieze informatietheoretische karakterisering van haalbare snelheden, wat leidt tot suboptimale prestaties. Bovendien opereren standaard LLM's onder strikt autoregressieve beperkingen, wat voorkomt dat encoders toegang hebben tot toekomstige tokenverdelingen, waardoor de toepassing van klassieke niet-causale informatietheoretische kaders zoals Gelfand-Pinsker (GP) codage wordt beperkt.

Methodologie en Systeemmodel
De auteurs stellen een block-autoregressief model voor, geïnspireerd door multi-token voorspellingsarchitecturen (bijvoorbeeld self-speculative decoding). In dit model krijgt de encoder beperkte niet-causale toegang tot tokenverdelingen binnen een blok van lengte $n$ voordat er wordt bemonsterd, mits verificatie plaatsvindt voordat de definitieve token wordt geselecteerd. Deze abstractie overbrugt de kloof tussen praktische LLM's en informatietheoretische modellen.

De kern technische aanpak omvat drie hoofdcomponenten:

1. Informatietheoretische Formulering: Het probleem wordt gemodelleerd als een kanaal met toestand (de basis tokenverdeling $S$) die niet-causaal bekend is bij de encoder maar niet bij de decoder. De auteurs combineren Gelfand-Pinsker (GP) codage (voor berichtinbedding) met kanaalresolueerbaarheidscodage (om te waarborgen dat de gewatermerkte verdeling statistisch dicht bij de basisverdeling blijft, waardoor verborgenheid wordt gewaarborgd).
2. Capaciteitskarakterisering: Het artikel leidt een exacte karakterisering af van de capaciteit voor verborgen multi-bit watermerking. De capaciteit wordt gedefinieerd als de maximale snelheid $R$ waarbij de totale variatie (TV) afstand tussen de gewatermerkte verdeling en de basisverdeling asymptotisch verdwijnt, terwijl de kans op decoderingsfouten naar nul nadert.
3. Algoritmische Implementatie:
   • Beperkt Markov Besluitproces (CMDP): Om te gaan met eindige bloklengtes en de geheugeneffecten van LLM's, wordt de optimalisatie van gezamenlijke verdelingen over blokken geformuleerd als een CMDP. Dit stelt het systeem in staat om directe inbeddingssnelheden af te wegen tegen de impact op de toekomstige statuele evolutie.
   • Polar Codage: Een expliciete constructie op basis van polaire codes wordt ontwikkeld. De encoder maakt gebruik van de geleerde gezamenlijke verdeling om indexsets voor berichtbits ($H_{enc} \cap L_{dec}$) te selecteren en hanteert een gewijzigde opeenvolgende annuleringsregel om sequentieniveau-afhankelijkheden (niet-i.i.d. toestanden) te behandelen.
   • Gebruik van Geheime Sleutel: Een geheime sleutel wordt gebruikt om specifieke berichtbits te versleutelen met een one-time pad (OTP), wat de nodige willekeurigheid biedt voor soft-covering om aan de verborgenheidsbeperking te voldoen.

Belangrijkste Bijdragen

1. Modelvoorstel: Introductie van een block-autoregressief model dat niet-causale toegang tot tokenverdelingen binnen blokken mogelijk maakt, waardoor de aanpassing van GP- en kanaalresolueerbaarheidsschema's voor LLM's wordt vergemakkelijkt.
2. Capaciteitsanalyse: Afleiding van de exacte informatietheoretische capaciteit voor verborgen multi-bit watermerking onder niet-causale statuele toegang, uitgedrukt als $\max_{p(u|s), W(x|u,s)} [I(U; X) - I(U; S)]$ onderworpen aan distributie-aanpassingsbeperkingen.
3. Algoritmeontwerp: Ontwikkeling van een praktisch watermerkingalgoritme dat CMDP integreert voor het optimaliseren van coderingsverdelingen over meerdere blokken en polaire codes voor een expliciete, capaciteit-benaderende constructie.

Resultaten
Numerieke experimenten werden uitgevoerd met LLaMA3.2 1B met een bloklengte van $L=8$ en $B=2$ blokken.

• Prestaties: Het voorgestelde algoritme bereikt een bitfoutenratio (BER) onder de 10% bij een inbeddingssnelheid van 0,375 bits/token over korte tokenlengtes.
• Kwaliteit: De methode behoudt een verwaarloosbare degradatie in perplexiteit (PPL) en tekstkwaliteit, gemeten aan de hand van het scoremechanisme van het basismodel.
• Verborgenheid: De studie toont aan dat het verhogen van het aantal geheime sleutels de gemiddelde totale variatie (TV) afstand verkleint, in overeenstemming met theoretische voorspellingen. Echter, voor eindige bloklengtes ($L=8$) is polarisatie onvoldoende om de theoretische TV-beperkingen volledig te realiseren bij hogere snelheden, wat leidt tot een afweging waarbij het overschrijden van bepaalde sleutelsnelheidsdrempels de effectiviteit van de verborgenheid kan verslechteren.

Betekenis en Claims
Het artikel claimt de eerste exacte informatietheoretische karakterisering te bieden van de capaciteit voor multi-bit LLM watermerking onder een model dat rekening houdt met de praktische beperkingen van LLM's (specifiek, de versoepeling van strikte autoregressie via multi-token voorspelling). Door GP-codage en kanaalresolueerbaarheid te verenigen, stelt het werk een theoretische bovengrens vast voor haalbare snelheden, terwijl statistische verborgenheid wordt gewaarborgd.

De auteurs benadrukken dat hun aanpak een principieel kader biedt voor het inbedden van berichten dat robuustheid, vervorming en verborgenheid in evenwicht brengt. Zij erkennen dat de huidige implementatie beperkt wordt door de computationele complexiteit van het optimaliseren van coderingsverdelingen en het berekenen van Bhattacharyya-parameters voor langere bloklengtes, en identificeren het ontwerpen van schaalbare benaderingen (bijvoorbeeld mismatched decoding of neurale alternatieven) als een primaire richting voor toekomstig werk. Het werk wordt gepositioneerd als een fundamentele stap naar rigoureuze, hoogcapaciteit watermerking voor LLM-architecturen van de volgende generatie.