SV-Detect: AI-generated Text Detection with Steering Vectors

Probleemstelling
De snelle uitrol van grote taalmodellen (LLM's) heeft geleid tot machinaal gegenereerde tekst die steeds vloeiender is en steeds moeilijker te onderscheiden van menselijk schrijven. Hoewel bestaande detectiemethoden (zoals token-niveau statistieken, likelihood-gebaseerde scores en supervised classifiers) goed presteren in-distributie, nemen ze vaak aanzienlijk af onder distributieverschuiving (distribution shift). Deze verschuivingen omvatten transfers naar verschillende domeinen, bronmodellen en bewerkingsgebaseerde aanvallen zoals parafraseren, polijsten of herschrijven. Huidige detectoren vertrouwen vaak op artefacten die specifiek zijn voor een bepaalde generator, dataset of aanvalstijl, wat de robuustheid beperkt in real-world scenario's waar de generatiecondities onbekend of adversarieel zijn.

Methodologie: SV-Detect
Het artikel stelt SV-Detect voor, een detector voor neptekst die detectie behandelt als een probleem van het proberen van de representatieruimte (representation-space probing) in plaats van een oppervlaktegebaseerde classificatietaak. De kernhypothese is dat door mensen geschreven en door machines gegenereerde teksten systematisch verschillende richtingen induceren in de verborgen representatieruimte van een taalmodel.

De methode werkt op een bevroren taalmodel (de "probe" LLM) en volgt een vierfasige pijplijn:

1. Laag-per-laag extractie van representaties: Verborgen toestanden (hidden states) worden geëxtraheerd uit elke laag van de bevroren LLM. Voor elke laag worden de token-niveau verborgen toestanden middels mean-pooling samengevoegd tot een enkele vectorrepresentatie voor de gehele tekst.
2. Constructie van de sturingsvector (Steering Vector): Voor elke laag wordt een "sturingsvector" geconstrueerd om menselijke en machinaal gegenereerde teksten van elkaar te scheiden. Het artikel evalueert drie constructiemethoden:
   • Mean-difference: Het genormaliseerde verschil tussen de klassen-gemiddelden van menselijke en machinale activaties.
   • Logistic-regression: De normale vector van een hypervlak dat de twee klassen scheidt, geleerd via logistische regressie in de activatieruimte.
   • PCA: De leidende hoofdcomponent van de verschillen tussen nep en echt activaties.
     De experimenten identificeren de logistic-regression benadering als de meest robuuste.
3. Projectiekenmerken: Een nieuwe invoertekst wordt gerepresenteerd door de uitlijning met deze sturingsvectoren. Specifiek wordt de cosinus-gelijkenis tussen de gepoolde activatie van de tekst op elke laag en de bijbehorende sturingsvector berekend. Deze scores vormen een compact kenmerkvector die de uitlijning van de tekst met "neptekst-richtingen" door het netwerk samenvat.
4. Detectiekop: Een lichtgewicht classifier (standaardzijnde logistische regressie met feature standaardisatie) wordt getraind op deze projectiekenmerken om een detectiescore te produceren. Cruciaal is dat de onderliggende LLM gedurende het hele proces bevroren blijft.

Belangrijkste Bijdragen

• Nieuw Framework: Introductie van SV-Detect, een detector gebaseerd op sturingsvectoren geëxtraheerd uit de verborgen toestanden van een bevroren taalmodel, waardoor het niet nodig is om de backbone te finetunen.
• Robuuste Generalisatie: Demonstratie van sterke prestaties over uitdagende benchmarks (DetectRL en MIRAGE), inclus\n bij sterkere transfer over domeinen, bronmodellen en aanvalsfamilies (bijv. parafraseren, polijsten, herschrijven).
• Cross-Benchmark Transfer: Bewijs dat sturingsvectoren geleerd van één benchmark (MIRAGE) effectief kunnen transferen naar een andere (DetectRL), wat suggereert dat de methode een benchmark-onafhankelijk signaal vangt.
• Interpreteerbaarheid: Analyse die aantoont dat de geleerde sturingsrichtingen overeenkomen met herkenbare lexicale en stilistische aanwijzingen (bijv. formeel versus informeel register), terwijl ze ook een substantieel signaal vangen dat verder gaat dan oppervlakkige kenmerken.

Experimentele Resultaten
De methode werd geëvalueerd op DetectRL (gericht op robuustheid over domeinen, modellen en aanvallen) en MIRAGE (gericht op generatie, polijsten en herschrijven).

• In-distributie Prestaties: SV-Detect behaalde bijna perfecte prestaties (AUROC > 99% in de meeste gevallen) over alle DetectRL-instellingen (Multi-Domain, Multi-LLM, Multi-Attack), waarbij het superieure of gelijkwaardige prestaties leverde aan sterke supervised baselines zoals RoBERTa en XLM-RoBERTa, en aanzienlijk beter presteerde dan zero-shot score-gebaseerde detectoren.
• Cross-Setting Generalisatie: In cross-source evaluaties (getraind op één domein/model en getest op een ander) vertoonde SV-Detect de meest consistente prestaties onder de vergeleken detectoren, waarbij hoge F1-scores werden behouden waar andere methoden achteruitgingen.
• MIRAGE Prestaties: Op MIRAGE bereikte een multi-task formulering (het trainen van aparte sturingsvectoren voor de taken Generate, Polish en Rewrite) de beste prestaties in alle zes de settings, waarmee het eerdere state-of-the-art methoden overtrof.
• Ablatie-studies: De studie bevestigde dat de logistic-regression constructie van sturingsvectoren superieur is aan de mean-difference of PCA-methoden, met name onder transfer. Het toonde ook aan dat de keuze van de downstream classifier minder belangrijk is dan de representatie zelf; eenvoudige logistische regressie is voldoende en robuuster dan complexe niet-lineaire classifiers (zoals CatBoost of KNN) onder distributieverschuiving.
• Efficiëntie: Hoewel SV-Detect een volledige forward pass door een groot taalmodel vereist (wat het computationeel duurder maakt dan kleine encoder-gebaseerde modellen zoals RoBERTa), is het aanzienlijk sneller dan perturbatie-gebaseerde detectoren (zoals DetectGPT) die meerdere forward passes vereisen.

Betekenis en Claims
Het artikel positioneert de detectie van neptekst als een probleem van het proberen van de representatieruimte. De auteurs beweren dat machinaal gegenereerde tekst geïdentificeerd kan worden, niet enkel door de oppervlakter vorm of output-waarschijnlijkheden, maar door de stabiele richtingen in de verborgen-toestandruimte waarlangs het verschilt van menselijk schrijven.

De betekenis van dit werk ligt in:

1. Robuustheid: Het bieden van een oplossing die generaliseert over diverse generatiecondities en bewerkingsaanvallen, waarmee een sleutelbeperking van huidige detectoren wordt aangepakt.
2. Interpreteerbaarheid: Het bieden van een mechanisme om te begrijpen hoe de detector tekst onderscheidt, waarbij wordt onthuld dat het signaal overeenkomt met betekenisvolle stilistische verschillen (bijv. "gepolijst LLM-achtig register" versus "informeel menselijk schrijven") terwijl het ook aanvullende, niet-oppervlakkige informatie codeert.
3. Eenvoud: Het aantonen dat een eenvoudige lineaire projectie van verborgen toestanden, gevolgd door een lichtgewicht classifier, superieur kan zijn aan complexe, gefinetunede of zero-shot benaderingen in robuustheidsscenario's.

De auteurs concluderen dat sturingsvectoren een eenvoudige en effectieve oplossing bieden voor het detecteren van AI-gegenereerde tekst, wat suggereert dat de "handtekening" van machinale generatie een stabiele geometrische eigenschap is binnen de representatieruimte van taalmodellen.