Authorship Impersonation via LLM Prompting does not Evade Authorship Verification Methods

Titolo: L'Impersonificazione dell'Autore tramite Prompting di LLM non Evasa i Metodi di Verifica dell'Autore

1. Il Problema

La verifica dell'autore (Authorship Verification - AV) è un compito fondamentale nella linguistica forense, volto a determinare se un testo contestato è stato scritto da un individuo specifico. Con l'avvento dei Large Language Models (LLM), è emersa una nuova minaccia: la possibilità che attori malevoli utilizzino questi modelli per generare "deepfake testuali", imitando lo stile linguistico di una vittima per ingannare le indagini forensi.
Mentre l'impersonificazione manuale è stata storicamente un problema (es. casi di omicidio in cui i colpevoli hanno usato i telefoni delle vittime), la facilità d'uso e la potenza dei LLM sollevano interrogativi sulla capacità dei sistemi forensi attuali di resistere a impersonificazioni generate automaticamente tramite prompting. Lo studio si chiede se un LLM, istruito tramite prompt, possa generare testi sufficientemente convincenti da bypassare i sistemi di verifica dell'autore esistenti.

2. Metodologia

Lo studio ha adottato un approccio sperimentale rigoroso all'interno di un quadro forense, confrontando testi generati da LLM contro diversi algoritmi di verifica.

• Dataset: Sono stati utilizzati tre corpus forensi rappresentativi di diversi generi:
  • CEnron: Email aziendali (testi lunghi, formali).
  • CBOLT: Messaggi SMS e chat (testi brevi, informali).
  • CTwitter: Post sui social media (testi brevi, molto informali).
• Modello Attaccante: È stato utilizzato GPT-4o come modello avversario.
• Strategia di Prompting: Sono state testate quattro condizioni di prompting per simulare diversi livelli di sofisticazione dell'attaccante:
  1. Naive Prompting: Istruzione semplice di riscrittura.
  2. Self-prompting: Il modello genera autonomamente le istruzioni dettagliate per l'impersonificazione.
  3. Role-Playing Prompting: Assegnazione di un ruolo specifico (assistente di scrittura) con checklist linguistiche dettagliate.
  4. Tree-of-Thoughts (ToT): Un approccio strutturato che include pianificazione, generazione di candidati multipli e votazione interna per selezionare la migliore impersonificazione.
• Metodi di Verifica (AV): I testi generati sono stati valutati contro sei metodi di verifica, divisi in due categorie:
  • Metodi Non Neurali: N-gram Tracing, Ranking-Based Impostors (RBI), LambdaG (basato su modelli grammaticali e likelihood ratio).
  • Metodi Neurali: AdHominem (Siamese network), LUAR (Learning Universal Authorship Representations), STAR (Style Transformer).
• Metriche: L'analisi si è basata sui Log-Likelihood Ratios (LLR). Un LLR positivo supporta l'ipotesi che l'autore sia lo stesso (impersonificazione riuscita), mentre un LLR negativo supporta l'ipotesi che gli autori siano diversi. È stato inoltre calcolato il tasso di degradazione del True Negative Rate (TNR) e la variazione di confidenza del sistema.

3. Risultati Chiave

I risultati hanno dimostrato una resilienza inaspettata dei sistemi di verifica attuali:

• Fallimento dell'Impersonificazione: In tutti i casi, i testi generati da GPT-4o non sono riusciti a ingannare i sistemi AV. La stragrande maggioranza degli LLR era negativa, indicando che i sistemi hanno correttamente rifiutato i testi generati come non appartenenti all'autore target.
• Robustezza dei Metodi:
  • I metodi neurali STAR e LUAR hanno mostrato la massima robustezza, rifiutando i testi impersonati con una confidenza addirittura superiore rispetto ai campioni negativi genuini (testi scritti da altri umani).
  • Il metodo AdHominem è risultato il più vulnerabile, producendo spesso LLR vicini allo zero (decisioni inconcludenti), ma senza essere sistematicamente ingannato.
  • I metodi non neurali (LambdaG, N-gram, RBI) hanno mantenuto un'alta capacità di discriminazione.
• Inefficacia del Prompting Avanzato: Non è stata osservata alcuna differenza significativa tra il prompting "naive" e le tecniche avanzate (ToT, Self-prompting). Nessuna strategia di ingegneria del prompt ha permesso all'LLM di replicare le firme idiolettiche stabili necessarie per superare la verifica.
• Effetto del Corpus: L'impersonificazione è stata più difficile da rilevare nel corpus Enron (email), mentre i sistemi sono stati più sicuri nel rifiutare le imitazioni sui social media (Twitter).
• Paradosso della Diversità Lessicale: Un'analisi successiva ha rivelato che i testi generati dagli LLM presentavano una maggiore diversità lessicale, entropia più alta e una minore ridondanza rispetto ai testi umani autentici. Paradossalmente, questa "iper-diversità" ha reso i testi LLM più facili da rilevare per alcuni algoritmi (come STAR e LUAR), che sembrano aver identificato la firma "macchinica" intrinseca piuttosto che solo la mancanza di somiglianza con l'autore target.

4. Contributi Principali

• Valutazione Forense Sistematica: Il primo studio a valutare l'impersonificazione tramite LLM non solo come compito di stile, ma come attacco avversario reale contro sistemi forensi operativi, utilizzando il framework del Likelihood Ratio.
• Dimostrazione di Resilienza: Fornisce prove empiriche che i sistemi AV attuali rimangono robusti contro le impersonificazioni di base tramite prompting, sfatando il mito immediato che gli LLM abbiano già reso obsoleta la linguistica forense.
• Analisi delle Cause: Identifica che la causa principale del fallimento dell'impersonificazione non è solo la mancanza di stile, ma la natura statistica dei testi LLM (alta entropia e diversità lessicale) che li rende "troppo perfetti" o atipici rispetto alle idiosincrasie umane.
• Limiti del Prompting: Dimostra che il solo prompting, anche con tecniche complesse come il Tree-of-Thoughts, non è sufficiente per replicare l'individualità linguistica profonda di un autore specifico.

5. Significato e Implicazioni

• Per la Forense: I risultati offrono rassicurazione agli investigatori forensi: le attuali tecnologie di verifica dell'autore sono ancora efficaci contro le minacce di impersonificazione di "livello base" tramite LLM. Tuttavia, il paper avverte che la resilienza potrebbe diminuire se gli attaccanti adottassero strategie più sofisticate (es. fine-tuning del modello o adattamenti iterativi basati sul feedback del sistema).
• Per la Ricerca sull'IA: Lo studio evidenzia un limite fondamentale degli LLM attuali: la difficoltà a catturare le "firme" stilistiche profonde e le ridondanze tipiche dell'idioma umano, tendendo invece a produrre testi con una diversità lessicale eccessiva.
• Prospettive Future: Sebbene gli algoritmi siano robusti, lo studio nota che i testi generati potrebbero ancora ingannare gli esseri umani (familiari, colleghi). La ricerca futura dovrà integrare valutazioni umane e testare scenari di attacco più avanzati (adattivi o con modelli personalizzati).

In conclusione, il paper stabilisce che, allo stato attuale, l'uso di LLM tramite prompting non rappresenta una minaccia sufficiente per compromettere l'affidabilità dei sistemi forensi di verifica dell'autore, grazie alla loro capacità di rilevare le sottili differenze statistiche e strutturali tra scrittura umana e generata.