Can You Make It Sound Like You? Post-Editing LLM-Generated Text for Personal Style

1. Enunciato del Problema

Sebbene i Modelli Linguistici di Grande Dimensione (LLM) siano sempre più utilizzati per la scrittura professionale, il loro impiego in compiti di scrittura personale (ad esempio, voti matrimoniali, lettere di scuse, elogi funebri) rimane controverso. Gli utenti spesso temono che l'assistenza dell'IA comprometta l'autenticità e lo stile personale.

Ricerche precedenti suggeriscono che gli utenti sono disposti a utilizzare l'IA per la pianificazione, ma vi resistono durante le fasi di "traduzione" (bozza) e "revisione", poiché queste plasmano direttamente l'espressione stilistica. Questo paper indaga un flusso di lavoro collaborativo specifico: il Post-editing. La domanda di ricerca centrale è: Gli utenti possono post-editare efficacemente le bozze generate da LLM per reintrodurre il loro unico stile personale e questo processo produce testi percettivamente e tecnicamente indistinguibili dalla loro scrittura non assistita?

2. Metodologia

Design dello Studio

Gli autori hanno condotto uno studio online preregistrato e approvato dal comitato etico (IRB) con $N=81$ partecipanti (reclutati su Prolific, filtrati per la competenza in inglese).

• Compiti: I partecipanti hanno selezionato 6 compiti di scrittura da un pool di 8 scenari in cui lo stile personale è critico (ad esempio, voti matrimoniali, lettere di scuse, lettere di condoglianze).
• Condizioni: Lo studio ha utilizzato un disegno intra-soggetto con due blocchi:
  1. Blocco di Controllo: I partecipanti hanno pianificato i dettagli e scritto il testo interamente da zero (non assistiti).
  2. Blocco di Trattamento: I partecipanti hanno pianificato gli stessi dettagli, ricevuto una bozza generata da LLM (basata sul loro piano) e poi post-editato la bozza per riflettere il loro stile personale.
• Metriche:
  • Somiglianza Stilistica: Misurata utilizzando embedding LUAR (Rivera-Soto et al., 2021), specificamente il modello LUAR-MUD, che cattura lo stile autoriale tramite similarità coseno.
  • Rilevamento AI: Misurato utilizzando punteggi PANGRAM per stimare la probabilità che un testo sia generato da AI.
  • Accettabilità Linguistica: Valutata utilizzando un modello basato su CoLA per valutare la correttezza grammaticale.
  • Auto-rapporti: I partecipanti hanno valutato l'autenticità stilistica percepita, l'usabilità e la difficoltà del compito.

Ipotesi

Lo studio ha testato tre ipotesi principali:

• H1 (Autenticità): Il post-editing renderà il testo LLM più simile alla scrittura non assistita dell'utente e meno simile all'output grezzo del LLM.
• H2 (Omogeneità): Il testo post-editato formerà uno "stile terzo" distinto: più omogeneo della scrittura umana ma meno di quello grezzo del LLM.
• H3 (Percezione): La percezione dell'utente della somiglianza stilistica sarà allineata alla somiglianza misurata dal modello.

3. Contributi e Risultati Chiave

A. Efficacia del Post-editing (H1)

• Spostamento Statistico: Il post-editing ha aumentato significativamente la somiglianza stilistica con il testo di controllo non assistito del partecipante ($p < .001$, $g=0.55$) e ha diminuito significativamente la somiglianza con il testo LLM grezzo ($p < .001$, $g=-0.41$).
• Tracce Residue di AI: Nonostante questi miglioramenti, il testo post-editato è rimasto significativamente più simile al testo generato da LLM rispetto alla scrittura non assistita del partecipante ($p < .001$, $g=-1.43$). Gli utenti non sono riusciti a eliminare completamente l'"impronta digitale LLM".
• Specificità: Le modifiche apportate erano specifiche per l'individuo. Il testo post-editato era più simile allo stile del redattore stesso rispetto agli stili di altri partecipanti, confermando che le modifiche non erano una semplice "umanizzazione" generica.

B. Omogeneità Stilistica (H2)

• Lo "Stile Terzo": Il testo post-editato ha esibito un profilo stilistico unico. Era più omogeneo (meno diversificato) della scrittura interamente umana ma meno omogeneo dell'output grezzo del LLM.
• Caratteristiche AI Condivise: Sebbene le modifiche individuali fossero uniche, le porzioni non modificate del testo mantenevano caratteristiche stilistiche condivise del LLM in tutti i partecipanti. Ciò ha fatto sì che i testi post-editati di diversi utenti fossero più simili tra loro rispetto ai loro stessi testi di controllo non assistiti.

C. Il Divario di Percezione (H3)

• Disconnessione: Esiste una significativa disconnessione tra la somiglianza misurata dal modello e l'autenticità percepita dall'utente.
  • Vista del Modello: Il testo post-editato è ancora chiaramente "simile all'AI" rispetto al testo di controllo umano.
  • Vista dell'Utente: I partecipanti hanno valutato il loro testo post-editato come altrettanto rappresentativo del loro stile personale quanto il loro testo di controllo non assistito ($p = .906$).
• Correlazione: Sebbene vi fosse una correlazione positiva tra somiglianza percepita e misurata ($r=0.24$), questa era debolmente calibrata. Gli utenti non percepivano i marcatori stilistici residui rilevati dai modelli di embedding.

D. Analisi del Comportamento di Editing

• Tipi di Modifica: I partecipanti hanno adottato strategie diverse, tra cui:
  • Modifiche Lessicali: Rimozione di parole "associate all'AI" (ad esempio, "delve", sebbene rare in questo dataset) o aggiunta di contrazioni (5 volte più frequenti nel testo post-editato).
  • Punteggiatura: Rimozione di trattini lunghi (tasso di rimozione del 23%) e aggiunta di punteggiatura non standard o errori di battitura per imitare abitudini personali.
  • Modifiche Semantiche: Correzione di dettagli fattuali o aggiunta di linguaggio culturalmente specifico (ad esempio, frasi religiose).
• Sforzo vs Risultato: Lo studio ha rilevato che l'originalità della bozza iniziale era la principale barriera all'adozione. I partecipanti che preferivano scrivere da soli citavano una mancanza di originalità nelle bozze AI, mentre quelli che preferivano il post-editing valutavano positivamente l'efficienza e l'affidabilità.

4. Significato e Implicazioni

1. L'"Illusione dell'Autenticità": Il paper evidenzia un divario critico in cui gli utenti sentono che la loro scrittura assistita da AI è autentica, anche quando metriche oggettive rilevano significative tracce stilistiche dell'AI. Ciò suggerisce che gli utenti potrebbero fare affidamento su euristiche semplificate (ad esempio, "ho cambiato le parole?") piuttosto che su un'analisi stilistica approfondita.
2. Fattibilità del Flusso di Lavoro: Nonostante l'incapacità di cancellare completamente i marcatori stilistici dell'AI, il flusso di lavoro è fattibile. Gli utenti riportano un'alta soddisfazione e la disponibilità a utilizzare il post-editing per futuri compiti personali, a condizione che la bozza iniziale non sia troppo cliché.
3. Limiti delle Metriche Attuali: Le metriche di stile basate su embedding potrebbero catturare salienza statistica che non si allinea con ciò che gli utenti comuni considerano "stile". Ciò mette in discussione l'utilità dei rilevatori di AI attuali nei contesti di scrittura personale, dove l'obiettivo è la soddisfazione dell'utente piuttosto che il rilevamento forense.
4. Direzioni Future: Gli autori suggeriscono che migliorare la creatività e l'originalità delle bozze iniziali dei LLM è più impattante che cercare di insegnare agli utenti a post-editare in modo più efficace. Inoltre, il lavoro futuro deve considerare la prospettiva del pubblico: i lettori (che conoscono lo stile dell'autore) rileveranno i marcatori AI residui che gli autori hanno mancato?

Conclusione

Lo studio conclude che, sebbene il post-editing permetta agli utenti di esercitare un controllo significativo e raggiungere un senso di autenticità stilistica, non colma completamente il divario tra gli stili di scrittura LLM e umano. Il testo risultante è un ibrido: statisticamente più vicino al modello che all'umano, ma percepito dall'utente come autenticamente suo. Questa disconnessione sottolinea la necessità di un migliore allineamento tra le capacità di generazione dell'AI e le aspettative stilistiche umane, piuttosto che fare affidamento esclusivamente sull'editing ex post.