Technische Samenvatting: Zelfherkenning van LLM's via Sturing en het Terugvinden van Activatie-handtekeningen

Probleemstelling

Naarmate Large Language Models (LLM's) alomtegenwoordig worden in de generatie van content, is het onderscheid tussen door AI gegenereerde tekst en door mensen geschreven content, evenals de attributie van specifieke outputs aan bepaalde modellen of instanties, cruciaal geworden voor auditing en verantwoording. Huidige detectiemethoden kampen met significante beperkingen:

• Watermarking: Traditionele benaderingen die token-waarschijnlijkheden aanpassen of tokens selecteren om verborgen informatie te coderen, brengen vaak computationele overhead met zich mee en lijden onder afruil tussen de robuustheid van detectie en de kwaliteit van de output.
• Classifiers na Generatie: Methoden die vertrouwen op statistische eigenschappen van tekst of classifiers die getraind zijn op gelabelde corpora, zijn gevoelig voor domeinverschuivingen en hebben moeite om verschillende LLM's of specifieke modelinstanties van elkaar te onderscheiden.
• Zelfherkenningsgat: Hoewel recent interpretatieonderzoek suggereert dat LLM's hun eigen outputs kunnen herkennen, is deze capaciteit nog niet systematisch ingezet voor betrouwbare attributie, noch is deze versterkt met controleerbare, terugvindbare handtekeningen zonder de tekstkwaliteit te verslechteren.

Methodologie

Het paper stelt een framework voor dat gebruikmaakt van de interne residual stream-activaties van een LLM voor zowel zelfherkenning als attributie. De benadering werkt onder een white-box dreigmodel, waarbij wordt uitgegaan van toegang tot de interne activaties van het doelmodel tijdens de detectie.

1. Extractie van Activatie en Zelfherkenning

De auteurs extraheren intermediaire activaties $A_l(x_i)$ op een vaste laag $l$ (meestal nabij het midden van het netwerk) voor een tokensequentie. Om tussen door LLM gegenereerde en door mensen geschreven tekst te onderscheiden, aggregeren zij deze token-niveau activaties via eenvoudige middeling om een representatie met een vaste dimensie te vormen. Een lichtgewicht Linear Discriminant Analysis (LDA) classifier wordt vervolgens getraind op deze representaties. Deze opstelling test de intrinsieke "zelfherkenningscapaciteit" van het model.

2. Sturing-gebaseerde Watermarking

Om multi-model attributie mogelijk te maken (het onderscheiden van verschillende instanties van hetzelfde basismodel), introduceren de auteurs een sturingsmechanisme tijdens de inferentie:

• Vectorinjectie: Tijdens de generatie wordt een willekeurige ijle (sparse) vector $v \in \mathbb{R}^d$ geschaald met een amplificatiecoëfficiënt $\alpha$ en toegevoegd aan de intermediaire activaties op laag $l$ voor elk token:
  $$A_l(x_i) \leftarrow A_l(x_i) + \alpha v$$
• Sparsity (IJlheid): In tegenstelling tot dense interventies zijn de sturingsvectoren geconstrueerd met een hoge mate van ijlheid (99,7% nul-dimensies). Deze ontwerpkeuze beoogt de verstoring van de semantische inhoud te minimaliseren terwijl een detecteerbaar signaal behouden blijft.
• Terugvinden (Retrieval): Bij detectie wordt de gegenereerde tekst door hetzelfde model (zonder sturing) geleid om activaties te extraheren. De oorspronkelijke sturingsvector wordt teruggevonden via:
  • Supervised Learning: Een Multi-Layer Perceptron (MLP) die getraind is om de sturingsindex te classificeren.
  • Zero-Shot Geometrische Retrieval: Het berekenen van de cosinus-gelijkenis tussen de geëxtraheerde activaties en kandidaat-sturingsvectoren, uitgaande van de orthogonaliteit van willekeurige vectoren ten opzichte van semantische manifolds.

Belangrijkste Bijdragen

Het paper levert drie bijdragen:

1. Empirische Demonstratie van Zelfherkenning: De auteurs tonen aan dat LLM's hun eigen outputs betrouwbaar kunnen onderscheiden van menselijke tekst, zelfs in scenario's met lage entropie (bijv. korte nieuws-samenvattingen) en zonder toegang tot de oorspronkelijke prompt.
2. Sturing-gebaseerd Attributiemechanisme: Zij introduceren een methode om onderscheidende, terugvindbare handtekeningen in gegenereerde tekst te injecteren door de interne activaties te sturen. Dit maakt nauwkeurige attributie mogelijk over meerdere gestuurde instanties van hetzelfde model heen, zonder de generatiekwaliteit aan te tasten.
3. Analyse van de Structuur van de Activatieruimte: Het werk demonstreert dat interne activatieruimtes een exploiteerbare structuur bevatten voor het coderen van willekeurige signalen. Het toont aan dat ijle interventies toelaten dat het signaal teruggevonden kan worden met minimale semantische interferentie, wat suggereert dat attributiesignalen naast de semantische inhoud kunnen bestaan vanwege de hoogdimensionale geometrie van LLM-representaties.

Experimentele Resultaten

Experimenten werden uitgevoerd op diverse modellen (Llama-3.1-8B, Llama-3.2-3B/1B, Ministral-3-8B) over datasets inclusief XL-Sum (lage-entropie samenvatting), ELI5 (open-ended QA) en een gecureerde Fresh News dataset.

• Prestaties van Zelfherkenning: De activatie-gebaseerde classifier bereikte bijna perfecte AUROC-scores (vaak >99%) in het onderscheiden van LLM-tekst van menselijke tekst. Cruciaal is dat deze prestaties robuust bleven in prompt-agnostische settings, waar perplexiteit-gebaseerde baselines vaak faalden of rond de kansverdeling presteerden zonder toegang tot de prompt.
• Attributienauwkeurigheid: In multi-model attributietaken (het onderscheiden tussen twee of meer gestuurde varianten) behaalde de methode hoge F1-scores (bijv. 99,1% voor Llama-3.1-8B op ELI5). De prestaties schaalden met de modelgrootte en bleven significant boven de willekeurige baselines, zelfs wanneer het aantal klassen toenam.
• Robuustheid: Het sturingssignaal vertoonde een superieure robuustheid tegen parafrasering (gebruikmakend van DIPPER-XXL) vergeleken met traditionele KGW watermarking. Het signaal bleef behouden zelfs na sterke parafrasering, waarschijnlijk omdat de attributie steunt op geaggregeerde activatiepatronen over vele tokens in plaats van lokale token-statistieken.
• Behoud van Kwaliteit: Met behulp van een gefinetunede DeBERTa kwaliteitsclassifier en MMLU benchmarks vonden de auteurs dat ijle sturing verwaarloosbare degradatie in tekstkwaliteit veroorzaakte. In sommige gevallen vertoonden gestuurde modellen een lichte verbetering in kwaliteit of behielden zij de prestaties binnen 1-2% van de originele modellen, wat beter is dan de degradatie die vaak bij dense interventies wordt gezien.
• Directe Signaal-retrieval: De studie bevestigde dat de sturingsvector kan worden teruggevonden via cosinus-gelijkenis zonder een getrainde classifier, waarbij een tekst-niveau attributienauwkeurigheid van 84,6% werd bereikt (versus 99,1% voor de getrainde MLP), wat de fysieke codering van het signaal valideert.

Betekenis en Claims

Het paper beweert een praktisch alternatief te bieden voor traditionele watermarking door gebruik te maken van de natuurlijke representatiestructuur van het model in plaats van signalen extern in te bedden. Belangrijke implicaties zijn onder meer:

• Intrinsieke Attributie: De methode verschuift het paradigma van het detecteren van "AI-achtigheid" naar het identificeren van specifieke modelinstanties of sturingsconfiguraties, wat bijdraagt aan fijnmaziger verantwoording.
• Efficiëntie en Kwaliteit: Door te opereren op interne activaties met ijle vectoren, vermijdt de benadering de computationele overhead van sparse autoencoders of complexe token-selectiestrategieën, terwijl de bruikbaarheid van de tekst behouden blijft.
• Architectuur-specifiteit: De auteurs merken op dat het sturingssignaal architectuur-specifiek is; detectie degradeert naar het niveau van toeval wanneer tekst wordt gegenereerd door een andere modelfamilie, wat overeenkomt met fenomenen waargenomen bij subliminaal leren. Dit sugggeert dat de signalen geometrisch coherent zijn binnen een modelfamilie, maar niet generaliseren over architecturen heen.
• Toekomstige Richtingen: Het werk suggereert het potentieel voor combinatorische multi-bit watermarks door het superponeren van meerdere ijle vectoren en benadrukt de noodzaak van verder onderzoek naar de interpreteerbaarheid van deze willekeurige sturingsrichtingen om te waarborgen dat ze geen veiligheidsrisico's of biases introduceren.

De auteurs concluderen dat interne representaties een fundamenteel mechanisme bieden voor het detecteren en induceren van modelspecifieke generatiesignaturen, wat een flexibel framework biedt voor attributie dat een balans vindt tussen robuustheid, schaalbaarheid en tekstkwaliteit.