Beyond the Final Actor: Modeling the Dual Roles of Creator and Editor for Fine-Grained LLM-Generated Text Detection

1. Il Problema: Limiti delle Classificazioni Attuali

L'uso improprio dei Large Language Models (LLM) richiede tecniche di rilevamento sempre più precise. Tuttavia, la ricerca esistente si basa prevalentemente su impostazioni di classificazione binarie (testo umano vs. testo LLM) o ternarie (aggiungendo una categoria "mista").
Queste impostazioni sono insufficienti per scenari reali complessi e per le normative specifiche (es. accademiche), poiché non distinguono tra due tipi fondamentali di testi ibridi che hanno conseguenze politiche diverse:

1. Testo Umano Levigato da LLM (LLM-Polished Human Text): Un autore umano scrive una bozza che viene poi raffinata da un LLM per migliorare la leggibilità. Spesso considerato un'assistenza legittima.
2. Testo LLM Umanizzato (Humanized LLM Text): Un testo generato da un LLM viene modificato da un umano per nascondere le sue origini ed eludere i rilevatori. Spesso considerato una frode accademica o un'azione malevola.

I classificatori binari tradizionali falliscono nel distinguere queste sfumature perché trattano il testo come un prodotto finale monolitico, ignorando la storia della sua creazione.

2. Metodologia: Il Framework RACE

Gli autori propongono RACE (Rhetorical Analysis for Creator-Editor Modeling), un metodo che modella esplicitamente i ruoli duali di Creatore (chi definisce la logica e la struttura) ed Editore (chi definisce lo stile linguistico e la superficie).

L'architettura di RACE si basa su quattro componenti chiave:

A. Estrazione delle Tracce Duali (Dual Trace Extraction)

Il testo viene analizzato attraverso due lenti:

• Traccia del Creatore (Logica): Utilizza la Teoria della Struttura Retorica (RST) per costruire un grafo delle relazioni logiche. L'ipotesi è che la struttura logica profonda (gerarchie retoriche) rifletta l'identità del creatore (umano vs. LLM), indipendentemente dalle modifiche superficiali successive.
• Traccia dell'Editore (Stile): Segmenta il testo in Unità Discorsive Elementari (EDU) per catturare le scelte lessicali e stilistiche superficiali introdotte dall'editore.

B. Inizializzazione del Grafo Consapevole della Logica

Il testo viene formalizzato come un grafo multi-relazionale:

• I nodi foglia sono le EDU.
• I nodi interni rappresentano le relazioni retoriche (es. Causa, Contrasto, Elaborazione).
• Viene utilizzata una strategia di Pooling degli Span Discendenti combinata con un Collo di Bottiglia dell'Informazione per inizializzare i nodi, filtrando il rumore lessicale superficiale e preservando le informazioni semantiche strutturali.

C. Messaggistica Guidata dalla Retorica (Rhetoric-Guided Message Passing)

Per apprendere le differenze tra umani e LLM sulle complesse dipendenze retoriche, viene utilizzato un Relational Graph Convolutional Network (RGCN).

• A differenza delle GCN standard, l'RGCN assegna matrici di trasformazione specifiche per ogni tipo di relazione retorica.
• Viene applicata una Decomposizione della Base per regolarizzare i parametri, evitando l'esplosione parametrica data dall'alto numero di relazioni retoriche e forzando il modello a imparare componenti "atomiche" della logica retorica.

D. Lettura del Grafo e Classificazione

La rappresentazione globale del testo viene ottenuta tramite Root Pooling (aggregazione dal nodo radice dell'albero retorico), che cattura l'intento retorico complessivo. Il modello è ottimizzato con una funzione di perdita congiunta che combina Cross-Entropy e Supervised Contrastive Loss per massimizzare la separazione tra le classi nel spazio delle caratteristiche.

3. Contributi Chiave

1. Nuovo Setting di Task: Introdurre un framework di rilevamento a 4 classi specifico che separa esplicitamente il "Testo Umano Levigato" dal "Testo LLM Umanizzato", affrontando una lacuna critica nelle normative attuali.
2. Modellazione Creatore-Editore: Proporre RACE, il primo metodo che scompone il processo generativo modellando separatamente la struttura logica (creatore) e lo stile linguistico (editore), superando i limiti dei classificatori basati solo sul testo finale.
3. Prestazioni Superiori: Dimostrare sperimentalmente che la separazione dei ruoli porta a un rilevamento a grana fine con tassi di falsi allarme ridotti, superando i metodi basati su metriche e apprendimento profondo esistenti.

4. Risultati Sperimentali

Il modello è stato valutato sul benchmark HART (Human-AI Collaborative Text), suddiviso in 4 classi.

• Confronto: RACE è stato confrontato con 12 metodi baselines (inclusi RoBERTa, CoCo, LF-Motifs, Binoculars, ecc.).
• Metriche Principali:
  • TPR@1% FPR (True Positive Rate al 1% di Falsi Positivi): RACE ha ottenuto un punteggio medio del 83.06%, superando il miglior baseline (CoCo) di circa il 3.36% assoluto. Questo è cruciale per applicazioni reali dove i falsi positivi devono essere minimizzati.
  • AUROC: RACE ha raggiunto un AUROC medio di 97.99%.
• Analisi di Ablazione: La rimozione dei componenti chiave (es. l'uso delle relazioni retoriche o l'RGCN) ha causato un calo significativo delle prestazioni, specialmente nella distinzione tra testi generati da LLM e testi umani, confermando che la modellazione della logica strutturale è fondamentale.
• Robustezza: RACE ha mostrato una migliore generalizzazione Out-of-Distribution (OOD) su diversi domini (ArXiv, Saggi, Notizie) rispetto ai metodi basati su coerenza delle entità, dimostrando di catturare pattern logici più profondi.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti fondamentale nella forense dei testi generati da AI:

• Allineamento alle Politiche: Fornisce uno strumento tecnico per distinguere tra un'assistenza accademica legittima (levigatura) e una frode (umanizzazione per elusione), permettendo alle istituzioni di applicare normative più eque e precise.
• Cambiamento di Paradigma: Sposta il focus dal rilevamento "chi ha scritto l'ultima parola" all'analisi "chi ha ideato la struttura logica e chi ha modificato lo stile".
• Futuro: Apre la strada a metodi di attribuzione basati sulla logica e a sistemi di difesa contro attacchi avversari che mirano a manipolare la struttura retorica.

In sintesi, RACE dimostra che per rilevare accuratamente i testi ibridi moderni, è necessario guardare "oltre l'attore finale" e analizzare la dinamica collaborativa tra la mente creatrice (logica) e l'editoriale (stile).