When New Generators Arrive: Lifelong Machine-Generated Text Attribution via Ridge Feature Transfer

Technische Samenvatting: RidgeFT voor Lifelong Machine-Generated Text Attribution

1. Probleemdefinitie

Het artikel behandelt Lifelong Machine-Generated Text (MGT) Attribution, een scenario waarin een attributiemodel continu de specifieke generator moet identificeren die verantwoordelijk is voor een tekst naarmate er in de loop van de tijd nieuwe Large Language Models (LLMs) verschijnen. In tegenstelling tot statische attributie-taken met een vaste set generatoren, is deze setting dynamisch en open einde.

De kernuitdaging is de afweging tussen adaptatie (het leren van nieuwe generatorklassen) en retentie (het behouden van het vermogen om eerder geziene generatoren te herkennen). Bestaande methoden slagen er vaak niet in om deze doelstellingen in balans te houden:

• Volledige hertraining is onpraktisch vanwege computationele kosten, licentiebeperkingen van data en de onbeschikbaarheid van historische data.
• Continual learning via fine-tuning leidt vaak tot catastrofale vergetelheid (catastrophic forgetting), waarbij het updaten van het model voor nieuwe klassen de beslissingsgrenzen van oude klassen destabiliseert.
• Exemplar-based replay (het opslaan van eerdere ruwe teksten) roept zorgen op over privacy en opslagoverhead.

Het doel is om een raamwerk te ontwikkelen dat nieuwe generatoren efficiënt incorporeert zonder historische data te herhalen (replay) of de diepe tekstencoder continu bij te werken, waardoor een stabiele representatieruimte behouden blijft.

2. Methodologie: RidgeFT

De auteurs stellen RidgeFT voor, een lichtgewicht, exemplar-vrij analytisch update-raamwerk. In plaats van de diepe encoder continu te fine-tunen, bevriest RidgeFT een taakbewuste encoder die getraind is op de initiële set generatoren en voert incrementele updates uit middels closed-form ridge regressie gebaseerd op compacte voldoende statistieken (sufficient statistics).

De pijplijn bestaat uit drie opeenvolgende stadia:

A. Covariantie-kalibratie
Om generator-irrelevante variaties (bijv. onderwerp, domein, tekstlengte) te mitigeren die fungeren als hoog-variante ruis in de feature-ruimte, past RidgeFT een fractionele whitening-transformatie toe.

• Het berekent een binnen-klasse spreidingsmatrix ($S_w$) vanuit de initiële trainingsdata.
• Het past trace-scaled shrinkage toe om stabiliteit in hoog-dimensionale covariantieschatting te garanderen.
• Het voert een fractionele eigenwaardedecompositie uit om dominante ruisrichtingen te dempen terwijl de oorspronkelijke onderscheidende geometrie behouden blijft.
• Deze transformatie is vastgesteld na initialisatie, wat ervoor zorgt dat incrementele updates geen herbezoek aan oude ruwe teksten vereisen.

B. Isotrope Random Feature Lifting
Om de expressieve capaciteit van de analytische classifier te vergroten zonder leerbare parameters te introduceren die de representatieruimte zouden kunnen verschuiven, brengt RidgeFT de gekalibreerde features in kaart naar een vaste niet-lineaire random feature-ruimte.

• Een niet-trainbare Gaussische random matrix ($R$) wordt eenmalig gesampled voordat het incrementele leren begint.
• De gekalibreerde features worden door deze matrix geprojecteerd, door een ReLU geleid en genormaliseerd (Layer Normalization).
• Deze isotrope projectie biedt een taak-agnostische basis die de representatieruimte uniform uitbreidt, waardoor de bias van projecties die alleen op initiële klassen zijn aangepast, wordt vermeden.

C. Class-Balanced Analytic Ridge Regression
De classificatiekop wordt bijgewerkt via closed-form ridge regressie met gebruik van enkel tweede-orde voldoende statistieken.

• Voor elke klasse slaat het systeem drie statistieken op in de random feature-ruimte: de tweede-orde statistiek ($A_c = \sum z_i z_i^\top$), de eerste-orde statistiek ($q_c = \sum z_i$) en het aantal samples ($N_c$).
• Om de onbalans aan te pakken die wordt veroorzaakt door variërende steekproefgroottes (waarbij grotere klassen de ridge-oplossing domineren), introduceert de methode inverse-frequency weights ($\omega_c$) gebaseerd op klassenaantallen.
• De uiteindelijke classifier-gewichten ($W$) worden analytisch berekend: $W = (\bar{A} + \lambda I)^{-1} \bar{B}$, waarbij $\bar{A}$ en $\bar{B}$ de gewogen sommen van de voldoende statistieken zijn.
• Wanneer een nieuwe generator arriveert, berekent het systeem de statistieken voor de nieuwe klasse, werkt het de gewogen sommen bij en lost het het lineaire systeem op. Er wordt nooit ruwe tekst van oude klassen herhaald.

3. Belangrijkste Bijdragen

1. Probleemformulering: Het artikel identificeert lifelong MGT-attributie als een generator-evoluerend probleem dat vereist dat nuisance-variaties (onderwerp, domein) worden onderdrukt terwijl generator-specifieke beslissingsgrenzen behouden blijven onder een exemplar-vrije beperking.
2. RidgeFT Raamwerk: Het introduceert een analytisch update-raamwerk dat fractionele covariantie-kalibratie, isotrope random feature lifting en class-balanced closed-form ridge regressie combineert. Dit maakt incrementele updates mogelijk met enkel compacte klasse-gewijze voldoende statistieken.
3. Empirische Validatie: Uitgebreide experimenten over meerdere onderwerpen (Academic, Social Media), doel-generatoren en backbone-modellen (DeBERTa, RoBERTa) tonen aan dat RidgeFT de state-of-the-art continual learning baselines overtreft.

4. Experimentele Resultaten

De auteurs evalueerden RidgeFT met protocollen P3, P4 en P5 (beginnend met 3, 4 of 5 initiële klassen en het incrementeel toevoegen van nieuwe klassen) op datasets waaronder MGT-Academic en AIGTBench.

• Prestaties: Onder het standaard P5-protocol behaalde RidgeFT een macro-F1 van 0,886, waarmee het de sterkste continual-learning baseline met 0,037 versloeg in full-F1.
• Retentie vs. Adaptatie: RidgeFT behaalde een old-class F1 van 0,902 en een new-class F1 van 0,804. Opvallend genoeg verbeterde het de new-class F1 met 0,107 ten opzichte van de beste baseline, wat wijst op superieure adaptatie aan nieuwe generatoren terwijl een sterke retentie van oude wordt behouden.
• Robuustheid: De methode bleef stabiel, zelfs wanneer het aandeel nieuwe-klasse data werd teruggebracht naar 5%, wat een hoge data-efficiëntie aantoont.
• Ablatie-studies: Alle drie de componenten (Whitening, Random Feature Lifting, Class-Balanced Ridge) bleken complementair te zijn. De Class-Balanced Ridge-component was bijzonder effectief in het mitigeren van bias tussen oude en nieuwe klassen.
• Opslagefficiëntie: Hoewel niet volledig opslagvrij, maakt RidgeFT aanzienlijke compressie mogelijk. Het gebruik van samengevoegde statistieken in bf16-precisie verminderde de opslagvereisten met 16,9× (naar ~46 MiB) met verwaarloosbaar prestatieverlies.

5. Betekenis en Claims

Het artikel claimt dat feature-stabiele analytische updates een eenvoudige maar effectieve aanpak bieden voor lifelong MGT-attributie. Door het leren van nieuwe generatoren los te koppelen van de diepe representatie-update, vermijdt RidgeFT de representatie-drift die geassocieerd wordt met fine-tuning en de geheugenoverhead van exemplar replay.

De auteurs positioneren RidgeFT als een schaalbare oplossing voor real-world implementaties waar attributiesystemen moeten evolueren met de snelle opkomst van nieuwe LLMs. Ze benadrukken dat hun methode een superieur evenwicht biedt tussen het behouden van kennis van gevestigde generatoren en het adapteren aan nieuwe, waarmee een centraal onopgelost probleem in het veld wordt geadresseerd.

Door de auteurs erkende beperkingen:

• Opslag: De methode is replay-vrij maar niet opslagvrij, aangezien het vereist dat covariantieparameters en voldoende statistieken worden opgeslagen.
• Meertaligheid: Experimenten werden primair uitgevoerd op Engels; uitbreiding naar meertalige settings wordt gesuggereerd als toekomstig werk.
• Lange-termijn Stabiliteit: De auteurs merken op dat de vaste representatieruimte uiteindelijk ontoereikend kan worden als toekomstige generatoren significant verschillen van de initiële trainingsset, wat suggereert dat periodieke encoder-adaptatie nodig is bij zeer lange-termijn implementaties.