Theory-Grounded Evaluation Exposes the Authorship Gap in LLM Personalization

1. Enunciato del Problema

Il campo della personalizzazione dei Modelli Linguistici di Grande Dimensione (LLM) attualmente manca di una metodologia di valutazione rigorosa per la personalizzazione stilistica (rendere un LLM scrivere nella voce di un individuo specifico). I benchmark esistenti si concentrano su:

• Accuratezza del Compito: (es. LaMP)
• Allineamento alle Preferenze: (es. PersonalLLM)
• Persona Conversazionale: (es. PersonaLens che utilizza LLM come giudice)

Il Divario: Nessuno di questi metodi valuta la fedeltà dell'autorialità—se il testo generato possiede effettivamente l'"impronta digitale" sottostante dell'autore umano target. Le metriche attuali sono "ad hoc", prive di fondamento teorico nella scienza dell'autorialità, il che porta a punteggi non calibrati e conclusioni potenzialmente fuorvianti sulle prestazioni del modello.

2. Metodologia

Gli autori propongono un framework di valutazione fondato sulla teoria che contrappone la teoria consolidata della verifica dell'autorialità alle alternative ad hoc.

Dati e Configurazione

• Corpus: Blog Authorship Corpus (681K post, 19k blogger).
• Sottoinsieme: 50 autori con dati sufficienti (≥200 post di addestramento, ≥50 post di test).
• Generazioni: 1.000 generazioni totali (50 autori × 5 prompt × 4 metodi).
• Prompting: Utilizza riepiloghi di contenuto neutri (estratti da LLM) per evitare contaminazione del prompt (es. rivelare la prima frase dell'autore).
• Modelli: Generatore principale: Qwen 3 (32B); Riproduzione: GLM-4 (32B).

Quattro Metodi di Personalizzazione in Tempo di Inferenza Testati

1. Non Personalizzato: Gruppo di controllo (solo riepilogo del contenuto).
2. Few-Shot: 5 campioni dell'autore forniti senza istruzioni esplicite.
3. Estrazione del Profilo: Processo in due fasi (estrazione di un profilo stilistico astratto $\rightarrow$ generazione dal profilo).
4. Contrastivo: Campioni dell'autore + esempi contrastivi da altri autori + caratteristiche stilometriche.

Tre Metriche di Valutazione

Lo studio valuta questi metodi utilizzando tre metriche distinte provenienti da tradizioni diverse:

1. LUAR (Primaria - Fondamentata sulla Teoria): Learning Universal Authorship Representations. Un modello transformer addestrato tramite apprendimento contrastivo su milioni di post di Reddit per produrre embedding discriminatori per autore.
   • Metrica: Similarità coseno tra gli embedding aggregati del testo generato e il testo reale dell'autore.
   • Vantaggio: Fornisce baseline calibrate (Soffitto Umano e Pavimento Inter-Autore).
2. LLM-as-Judge (Secondaria - Ad Hoc): Un protocollo binario disaccoppiato che utilizza GLM-4.
   • Processo: Estrazione di 5 tratti stilistici per autore $\rightarrow$ Punteggio della generazione sui tratti $\rightarrow$ Giudizio sulla plausibilità dello stesso autore.
   • Metrica: Tasso di Corrispondenza dei Tratti (TMR).
3. Stilometria Automatica (Terziaria - Classica):
   • Metrica: Similarità coseno delle parole funzionali (FuncCos) su 60 parole funzionali comuni (Argamon et al., 2003).

3. Contributi Chiave

1. Baseline Calibrate per l'Autorialità: Il paper introduce il primo framework di valutazione per la personalizzazione stilistica fondato sulla teoria della verifica dell'autorialità, stabilendo significati assoluti per i punteggi (Soffitto: 0.756, Pavimento: 0.626).
2. Scoperta del "Divario Autorialità": Dimostra che i metodi attuali di personalizzazione in tempo di inferenza non riescono a spostare l'impronta digitale stilistica dell'LLM verso l'umano target, lasciando il testo generato significativamente più distante dall'autore target rispetto a quanto umani casuali non lo siano tra loro.
3. Fallimento della Validità Costruttiva: Lo studio dimostra che le metriche ad hoc (giudici LLM) e le metriche classiche (stilometria) misurano costrutti diversi rispetto alla verifica dell'autorialità, portando a correlazioni prossime allo zero ($|r| < 0.07$) e conclusioni contraddittorie.
4. Identificazione della Valutazione Circolare: Espone come i metodi di "Estrazione del Profilo" gonfino artificialmente i punteggi dei giudici LLM ottimizzando per i tratti stessi che il giudice estrae, piuttosto che per una fedeltà stilistica genuina.

4. Risultati Chiave

Il Divario Autorialità

• Punteggi LUAR: Tutti e quattro i metodi di personalizzazione hanno ottenuto punteggi compresi tra 0.484 e 0.508.
• Il Pavimento: Il "Pavimento Umano Inter-Autore" (similarità tra due umani diversi) è 0.626.
• Il Soffitto: Il "Soffitto Umano Stesso-Autore" è 0.756.
• Conclusione: Tutto il testo generato da LLM ha ottenuto punteggi sotto il pavimento umano inter-autore. Ciò significa che l'output personalizzato dell'LLM è stilisticamente meno simile all'autore target rispetto a quanto un umano casuale non lo sia a un altro umano casuale. La propria "impronta digitale" dell'LLM domina l'output.

Disaccordo tra Metriche e Validità

• Correlazione: Le tre metriche hanno mostrato correlazioni a coppie prossime allo zero ($|r| < 0.07$).
• L'Illusione del "Vincitore": L'LLM-as-Judge (TMR) ha dichiarato Estrazione del Profilo il chiaro vincitore (dimensione dell'effetto $d=0.58$). Tuttavia, LUAR non ha trovato alcuna differenziazione significativa tra i metodi.
• Motivo della Discrepanza: L'Estrazione del Profilo ottimizza per tratti estraibili dall'LLM. Poiché anche il Giudice utilizza un LLM per estrarre tratti, il metodo "gioca" il giudice. Gli autori reali hanno ottenuto punteggi più bassi (0.427) sul TMR rispetto al metodo di Estrazione del Profilo (0.542), dimostrando che il TMR misura l'adesione alle istruzioni, non la fedeltà all'autorialità.
• Stilometria: FuncCos ha mostrato baseline collassate (Soffitto 0.742 vs Pavimento 0.695), fallendo nel distinguere efficacemente il testo dello stesso autore da quello di autori diversi.

Robustezza

• Cross-Model: La riproduzione con GLM-4 ha confermato che il divario persiste (punteggi 0.417–0.576, ancora sotto il pavimento di 0.626).
• Spazio degli Embedding: Gli LLM occupano una regione distinta nello spazio degli embedding LUAR. Mentre la personalizzazione modula l'output all'interno dello spazio stilistico dell'LLM (Gen$\leftrightarrow$Gen AUC=0.918), non riesce a colmare il divario verso la varietà umana (Gen$\leftrightarrow$Reale AUC $\approx$ 0.45–0.49).

Confound Metodologico

• Contaminazione del Prompt: Utilizzare la prima frase di un post target come prompt ha gonfiato la similarità della baseline non personalizzata di 28 punti percentuali, mascherando il vero divario di prestazioni. Sono necessari riepiloghi di contenuto neutri per una valutazione valida.

5. Significato e Implicazioni

• Ciclo Teoria-Benchmark: Il paper dimostra un ciclo virtuoso in cui la Teoria dell'Autorialità (Stamatatos, Rivera-Soto) genera previsioni verificabili (gli LLM non possono cancellare completamente la propria impronta digitale) e i Benchmark (LUAR) le confermano con misurazioni calibrate.
• Ridefinizione della Valutazione: Sostiene che l'accuratezza del compito e l'allineamento alle preferenze sono insufficienti per la personalizzazione stilistica. I futuri benchmark devono utilizzare metriche fondate sulla teoria con baseline calibrate per evitare progressi "allucinati".
• Limite Strutturale: I risultati suggeriscono una limitazione fondamentale della personalizzazione in tempo di inferenza. L'impronta digitale stilistica intrinseca dell'LLM è robusta e non può essere sovrascritta solo da prompt o apprendimento few-shot; colmare il divario potrebbe richiedere approcci in fase di addestramento (es. adattatori LoRA).
• Strumento Diagnostico: Il disaccordo tra le metriche dovrebbe essere trattato come un segnale di fallimento della validità costruttiva piuttosto che come un'opportunità per mediare i punteggi.

In sintesi, il paper espone un fallimento critico nella ricerca attuale sulla personalizzazione degli LLM: mentre i modelli possono seguire istruzioni per imitare tratti, non possono attualmente replicare la profonda, strutturale impronta digitale dell'autorialità di un umano specifico, un fatto invisibile alle metriche di valutazione non calibrate e ad hoc.