When New Generators Arrive: Lifelong Machine-Generated Text Attribution via Ridge Feature Transfer

Sintesi Tecnica: RidgeFT per l'Attribuzione Lifelong di Testo Generato da Macchina

1. Definizione del Problema

Il documento affronta l'Attribuzione Lifelong di Testo Generato da Macchina (MGT), un contesto in cui un modello di attribuzione deve identificare continuamente il generatore specifico responsabile di un testo man mano che nuovi modelli linguistici di grandi dimensioni (LLM) emergono nel tempo. A differenza dei compiti di attribuzione statica con un set fisso di generatori, questo scenario è dinamico e aperto.

La sfida principale è il compromesso tra adattamento (apprendimento di nuove classi di generatori) e ritenzione (preservazione della capacità di riconoscere i generatori precedentemente visti). I metodi esistenti spesso non riescono a bilanciare questi obiettivi:

• Il riaddestramento completo è impraticabile a causa dei costi computazionali, dei vincoli di licenza dei dati e dell'indisponibilità di dati storici.
• L'apprendimento continuo tramite fine-tuning porta spesso al catastrophic forgetting (oblio catastrofico), in cui l'aggiornamento del modello per nuove classi destabilizza i confini decisionali delle vecchie classi.
• Il replay basato su esemplari (memorizzazione di testi grezzi passati) solleva preoccupazioni sulla privacy e sull'overhead di archiviazione.

L'obiettivo è sviluppare un framework che incorpori nuovi generatori in modo efficiente senza riprodurre i dati storici o aggiornare continuamente l'encoder testuale profondo, mantenendo così uno spazio di rappresentazione stabile.

2. Metodologia: RidgeFT

Gli autori propongono RidgeFT, un framework di aggiornamento analitico leggero ed exemplar-free (senza esemplari). Invece di eseguire il fine-tuning continuo dell'encoder profondo, RidgeFT congela un encoder consapevole del task (task-aware) addestrato sul set iniziale di generatori e esegue aggiornamenti incrementali tramite regressione di Ridge a forma chiusa basata su statistiche sufficienti compatte.

La pipeline consiste in tre fasi sequenziali:

A. Calibrazione della Covarianza
Per mitigare le variazioni irrilevanti rispetto al generatore (es. argomento, dominio, lunghezza del testo) che agiscono come rumore ad alta varianza nello spazio delle caratteristiche, RidgeFT applica una trasformazione di whitening frazionaria.

• Calcola una matrice di dispersione intra-classe ($S_w$) dai dati di addestramento iniziali.
• Applica un restringimento scalato per la traccia (trace-scaled shrinkage) per garantire la stabilità nella stima della covarianza ad alta dimensione.
• Esegue una decomposizione degli autovalori frazionaria per attenuare le direzioni di rumore dominanti preservando la geometria discriminativa originale.
• Questa trasformazione è fissa dopo l'inizializzazione, garantendo che gli aggiornamenti incrementali non richiedano di rivisitare i vecchi testi grezzi.

B. Sollevamento di Caratteristiche Casuali Isotropiche (Isotropic Random Feature Lifting)
Per migliorare la capacità espressiva del classificatore analitico senza introdurre parametri addestrabili che potrebbero spostare lo spazio di rappresentazione, RidgeFT mappa le caratteristiche calibrate in uno spazio di caratteristiche casuali non lineari e fisso.

• Una matrice casuale Gaussiana non addestrabile ($R$) viene campionata una sola volta prima dell'inizio dell'apprendimento incrementale.
• Le caratteristiche calibrate vengono proiettate attraverso questa matrice, passate attraverso ReLU e normalizzate (Layer Normalization).
• Questa proiezione isotropa fornisce una base task-agnostic che espande lo spazio di rappresentazione in modo uniforme, evitando il bias di proiezioni adattate solo alle classi iniziali.

C. Regressione di Ridge Bilanciata per Classe
Il capo di classificazione viene aggiornato tramite regressione di Ridge a forma chiusa utilizzando solo statistiche sufficienti del secondo ordine.

• Per ogni classe, il sistema memorizza tre statistiche nello spazio delle caratteristiche casuali: la statistica del secondo ordine ($A_c = \sum z_i z_i^\top$), la statistica del primo ordine ($q_c = \sum z_i$) e il conteggio dei campioni ($N_c$).
• Per affrontare lo sbilanciamento causato da dimensioni variabili dei campioni (dove le classi più grandi dominano la soluzione di Ridge), il metodo introduce pesi a frequenza inversa ($\omega_c$) basati sui conteggi delle classi.
• I pesi finali del classificatore ($W$) sono calcolati analiticamente: $W = (\bar{A} + \lambda I)^{-1} \bar{B}$, dove $\bar{A}$ e $\bar{B}$ sono le somme pesate delle statistiche sufficienti.
• Quando arriva un nuovo generatore, il sistema calcola le statistiche per la nuova classe, aggiorna le somme pesate e risolve il sistema lineare. Nessun testo grezzo delle vecchie classi viene mai riprodotto.

3. Contributi Chiave

1. Formulazione del Problema: Il documento identifica l'attribuzione MGT lifelong come un problema di evoluzione dei generatori che richiede la soppressione delle variazioni di disturbo (argomento, dominio) pur preservando i confini decisionali specifici del generatore sotto un vincolo exemplar-free.
2. Framework RidgeFT: Introduce un framework di aggiornamento analitico che combina calibrazione della covarianza frazionaria, sollevamento di caratteristiche casuali isotropiche e regressione di Ridge a forma chiusa bilanciata per classe. Ciò consente aggiornamenti incrementali utilizzando solo statistiche sufficienti compatte per classe.
3. Validazione Empirica: Esperimenti estesi su molteplici argomenti (Accademico, Social Media), generatori target e modelli backbone (DeBERTa, RoBERTa) dimostrano che RidgeFT supera i migliori baselines di apprendimento continuo.

4. Risultati Sperimentali

Gli autori hanno valutato RidgeFT utilizzando i protocolli P3, P4 e P5 (partendo con 3, 4 o 5 classi iniziali e aggiungendone incrementalmente di nuove) su dataset tra cui MGT-Academic e AIGTBench.

• Performance: Sotto lo standard protocollo P5, RidgeFT ha raggiunto un macro-F1 di 0,886, superando il più forte baseline di apprendimento continuo di 0,037 in full-F1.
• Ritenzione vs. Adattamento: RidgeFT ha ottenuto un old-class F1 di 0,902 e un new-class F1 di 0,804. Notevolmente, ha migliorato il new-class F1 di 0,107 rispetto al miglior baseline, indicando un adattamento superiore ai nuovi generatori mantenendo al contempo una forte ritenzione di quelli vecchi.
• Robustezza: Il metodo è rimasto stabile anche quando la proporzione di dati delle nuove classi era ridotta al 5%, dimostrando un'alta efficienza dei dati.
• Studi di Ablazione: Tutti e tre i componenti (Whitening, Random Feature Lifting, Class-Balanced Ridge) si sono dimostrati complementari. Il componente Class-Balanced Ridge è stato particolarmente efficace nel mitigare il bias tra vecchie e nuove classi.
• Efficienza di Archiviazione: Sebbene non sia privo di archiviazione, RidgeFT consente una compressione significativa. L'uso di statistiche aggregate in precisione bf16 ha ridotto i requisiti di archiviazione di 16,9× (a circa 46 MiB) con una perdita di prestazioni trascurabile.

5. Significato e Rivendicazioni

Il documento afferma che gli aggiornamenti analitici a caratteristiche stabili forniscono un approccio semplice ma efficace per l'attribuzione MGT lifelong. Decoupling (disaccoppiando) l'apprendimento dei nuovi generatori dall'aggiornamento delle rappresentazioni profonde, RidgeFT evita il drift della rappresentazione associato al fine-tuning e l'overhead di memoria del replay degli esemplari.

Gli autori posizionano RidgeFT come una soluzione scalabile per il deployment nel mondo reale, dove i sistemi di attribuzione devono evolversi con la rapida emergenza di nuovi LLM. Essi sottolineano che il loro metodo offre un compromesso superiore tra la ritenzione della conoscenza dei generatori stabiliti e l'adattamento ai nuovi, affrontando una sfida centrale non ancora risolta nel campo.

Limitazioni riconosciute dagli Autori:

• Archiviazione: Il metodo è privo di replay ma non privo di archiviazione, poiché richiede la memorizzazione dei parametri di covarianza e delle statistiche sufficienti.
• Multilinguismo: Gli esperimenti sono stati condotti principalmente in inglese; l'estensione ad ambiti multilingue è suggerita come lavoro futuro.
• Stabilità a lungo termine: Gli autori notano che lo spazio di rappresentazione fisso potrebbe alla fine diventare insufficiente se i futuri generatori differissero significativamente dal set di addestramento iniziale, suggerendo la necessità di un adattamento periodico dell'encoder in deployment a lunghissimo termine.