Explainable Disentangled Representation Learning for Generalizable Authorship Attribution in the Era of Generative AI

1. Il Problema: Entanglement Contenuto-Stile e Generalizzazione

Il campo dell'attribuzione di paternità (Authorship Attribution - AA) e della rilevazione di testi generati da AI affronta una sfida fondamentale: l'entanglement (intreccio) tra contenuto e stile.

• Il problema: I metodi esistenti spesso apprendono correlazioni spurie tra l'identità dell'autore e gli argomenti trattati (topic). Ad esempio, un modello potrebbe associare erroneamente un autore specifico a un genere letterario (es. "Gialli") invece che al suo stile di scrittura intrinseco.
• Conseguenze: Questo porta a una scarsa generalizzazione quando il modello viene testato su domini o argomenti diversi da quelli di addestramento.
• Limiti attuali: Le soluzioni di disentanglement esistenti tendono a usare un singolo encoder che fonde implicitamente stile e contenuto, o si basano su modelli linguistici di piccole dimensioni (SLM) con capacità limitate. Inoltre, mancano di interpretabilità: non è chiaro quali caratteristiche stilistiche guidino le decisioni del modello.

2. Metodologia: EAVAE (Explainable Authorship Variational Autoencoder)

Gli autori propongono EAVAE, un framework innovativo che separa esplicitamente lo stile dal contenuto attraverso un'architettura "separata per design" e un training in due fasi.

Fase 1: Pre-addestramento Contrastivo Supervisionato

• Viene utilizzato un Large Language Model (LLM) come base.
• Si applica un apprendimento contrastivo supervisionato su un vasto dataset di testi etichettati per autore.
• Obiettivo: Apprendere rappresentazioni di base robuste che raggruppano i documenti dello stesso autore e separano quelli di autori diversi.
• Tecnica avanzata: Utilizzo di hard negative mining (tramite BM25) per trovare documenti lexicalmente simili ma stilisticamente diversi, e meccanismi di attenzione bidirezionale per catturare dipendenze contestuali complete.

Fase 2: Fine-tuning con VAE Disentangled e Discriminatore Esplicabile

Questa è la fase centrale che garantisce il disentanglement e l'interpretabilità.

• Architettura VAE Disentangled:
  • Vengono utilizzati due encoder separati: uno per lo stile ($E_s$) e uno per il contenuto ($E_c$).
  • Assunzione di indipendenza: Le distribuzioni latenti per stile ($z_s$) e contenuto ($z_c$) sono modellate come indipendenti.
  • Un ricostruttore condiviso ($G_{rec}$) tenta di ricomporre il documento originale da $z_s$ e $z_c$.
• Discriminatore Esplicabile (Explainable Discriminator):
  • Invece di un semplice classificatore binario, il discriminatore genera spiegazioni in linguaggio naturale insieme alla decisione.
  • Compiti:
    1. Determinare se due rappresentazioni di stile appartengono allo stesso autore.
    2. Determinare se due rappresentazioni di contenuto appartengono allo stesso argomento.
    3. Generare una spiegazione testuale che giustifichi la decisione (es. evidenziando le caratteristiche stilistiche o tematiche distintive).
• Meccanismo di Prompting Ibrido:
  • Un generatore unificato utilizza un meccanismo di hybrid prompting. Combina prompt fissi (template) con prompt "soft" apprendibili.
  • Le rappresentazioni latenti ($z_s, z_c$) sostituiscono i segnaposto nel prompt, permettendo al modello di adattarsi sia al compito di ricostruzione che a quello di discriminazione all'interno della stessa architettura.

Funzione di Perdita

L'obiettivo finale combina:

1. Perdita di Ricostruzione (VAE): Fedeltà nel ricostruire il testo.
2. Perdita di Discriminazione: Accuratezza nella classificazione e coerenza delle spiegazioni generate.
3. Regolarizzazione KL: Per mantenere le distribuzioni latenti vicine a una normale standard.

3. Contributi Chiave

1. Framework di Disentanglement Esplicito: Introduzione di un'architettura che separa fisicamente gli encoder per stile e contenuto, superando i limiti dei metodi a encoder singolo.
2. Obiettivo Discriminativo Esplicabile: Un componente unico che non solo separa le rappresentazioni, ma genera spiegazioni testuali, migliorando l'interpretabilità e riducendo le informazioni confondenti.
3. Prestazioni State-of-the-Art: Dimostrazione empirica che questo approccio supera i metodi esistenti su benchmark complessi, validando l'ipotesi che la separazione architetturale migliori la robustezza cross-dominio.

4. Risultati Sperimentali

Il modello è stato valutato su due compiti principali:

• Attribuzione di Paternità (Authorship Attribution):
  • Dataset: Amazon Reviews, PAN21 (livello autore) e HRS corpus (livello documento, 5 domini eterogenei).
  • Risultati: EAVAE ha raggiunto le migliori prestazioni (SOTA). Su Amazon Reviews ha ottenuto un MRR del 97.0% e Recall@8 del 99.0%. Sul dataset HRS (molto difficile per la diversità degli argomenti), ha superato i metodi precedenti di oltre il 40% in Recall@8, dimostrando una forte capacità di generalizzazione cross-dominio.
• Rilevazione di Testo Generato da AI:
  • Dataset: M4 benchmark (ArXiv, PeerRead, WikiHow, Wikipedia).
  • Scenario: Few-shot learning (pochi esempi di riferimento).
  • Risultati: EAVAE ha mostrato prestazioni competitive e robuste sia nella rilevazione a bersaglio singolo che multi-bersaglio, senza bisogno di fine-tuning specifico per il compito di rilevazione, confermando la trasferibilità delle rappresentazioni stilistiche apprese.

Studi Ablativi:
Le analisi hanno confermato che:

• La rimozione della separazione architetturale (uso di un solo encoder) causa il calo più drastico delle prestazioni.
• La rimozione del discriminatore esplicabile riduce significativamente l'accuratezza, confermando il suo ruolo nel forzare l'indipendenza tra stile e contenuto.
• Il meccanismo di hybrid prompting è superiore ai semplici classificatori MLP o all'uso di soli prompt soft.

5. Significato e Impatto

Il lavoro di EAVAE è significativo per diversi motivi:

• Affidabilità nella GenAI: Fornisce un metodo robusto per distinguere tra scrittura umana e AI, un problema critico nell'era dei Large Language Models.
• Interpretabilità: Risolve il problema della "scatola nera" fornendo spiegazioni testuali su perché un testo è attribuito a un certo autore o genere, aumentando la fiducia nell'uso forense o accademico.
• Generalizzazione: Dimostra che separare esplicitamente lo stile dal contenuto è la chiave per creare modelli che funzionano bene su argomenti mai visti prima, superando il limite delle correlazioni spurie che affligge i modelli attuali.

In sintesi, EAVAE rappresenta un passo avanti verso sistemi di analisi dell'autore più robusti, generalizzabili e comprensibili, fondamentali per navigare il panorama digitale moderno dominato dalla generazione automatica di contenuti.