🤖 AI

Measuring Embedding Sensitivity to Authorial Style in French: Comparing Literary Texts with Language Model Rewritings

Questo articolo indaga quanto bene le rappresentazioni vettoriali dei modelli linguistici francesi catturino e conservino le caratteristiche stilistiche dell'autore dopo la riscrittura, dimostrando che tali segnali persistono e mostrano pattern specifici del modello, offrendo così nuove vie per rilevare l'imitazione dell'autore.

Autori originali: Benjamin Icard, Lila Sainero, Alice Breton, Evangelia Zve, Jean-Gabriel Ganascia

Pubblicato 2026-05-12

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Benjamin Icard, Lila Sainero, Alice Breton, Evangelia Zve, Jean-Gabriel Ganascia

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

La Grande Domanda: L'IA può "fingere" l'anima di uno scrittore?

Immagina di avere un gruppo di chef famosi (come Proust, Céline e Yourcenar). Ognuno ha un modo unico di cucinare: uno usa ricette lunghe e complesse con ingredienti raffinati; un altro cucina velocemente, rumorosamente e in modo disordinato; il terzo è preciso e storico.

Ora, immagina uno chef robot super-intelligente (un'IA o un Modello Linguistico di grandi dimensioni) che cerca di imitare questi chef umani. Al robot viene detto: "Prepara questo piatto specifico (un viaggio in autobus a Parigi), ma fallo avere esattamente il sapore dello Chef Proust."

La grande domanda che questo documento pone è: Se assaggiamo il cibo del robot, possiamo ancora percepire il "sapore" unico dello chef umano, o è il gusto meccanico del robot a prendere il sopravvento?

Nel mondo dei computer, il "gusto" viene misurato utilizzando gli embedding. Immagina gli embedding come un'impronta digitale digitale o le coordinate GPS di un testo. Ogni frase riceve un insieme specifico di numeri che dice al computer dove si trova su una gigantesca mappa del linguaggio.

L'Esperimento: Il Test del "Viaggio in Autobus"

I ricercatori hanno impostato un esperimento controllato utilizzando la letteratura francese:

La Ricetta Base (L'Argomento): Hanno iniziato con un libro di Stéphane Tufféry che racconta esattamente la stessa storia (un viaggio in autobus a Parigi) ma scritta in molti stili diversi. Questo garantisce che la storia sia la stessa, così che qualsiasi differenza sia puramente legata allo stile.
Gli Chef Umani: Hanno preso testi da tre autori francesi reali:
- Proust: Noto per frasi lunghe, fluide e complesse.
- Céline: Noto per frase brevi, incisive e dal suono parlato.
- Yourcenar: Noto per una scrittura equilibrata, storica e precisa.
Gli Chef Robot: Hanno chiesto a tre diversi modelli di IA (GPT, Mistral e Gemini) di riscrivere la storia del "Viaggio in autobus", cercando di imitare lo stile di Proust, Céline e Yourcenar.

Come Hanno Misurato il "Gusto"

I ricercatori non hanno chiesto semplicemente agli umani di leggere i testi. Invece, hanno utilizzato una mappa matematica (chiamata UMAP) per tracciare dove finivano tutti questi testi.

La Mappa Umana: Quando hanno tracciato gli autori umani reali, i loro testi hanno formato isole distinte e separate. I testi di Proust erano in un cluster, quelli di Céline in un altro e quelli di Yourcenar in un terzo.
La Mappa Robotica: Quando hanno tracciato i testi generati dall'IA, volevano vedere se i robot erano riusciti ad atterrare sulle stesse isole degli umani, o se si erano allontanati nella loro propria "Zona Robot".

Hanno misurato la dispersione, che è come misurare quanto è sparpagliato un gruppo di persone in una stanza.

Se l'IA avesse imitato con successo lo stile, i testi dell'IA sarebbero dovuti essere raggruppati strettamente con i testi umani (bassa dispersione).
Se l'IA avesse fallito, i testi dell'IA si sarebbero dispersi lontano dagli umani (alta dispersione).

Cosa Hanno Trovato

1. I Robot Possono Imitare, Ma Non Perfettamente
Lo studio ha scoperto che i modelli di IA hanno catturato alcuni degli stili degli autori umani. I testi "Robot Proust" sono atterrati più vicini al "Vero Proust" che al "Vero Céline". Tuttavia, la connessione non era perfetta. I testi dell'IA erano come una fotocopia leggermente sfocata dell'originale; l'"impronta digitale" c'era, ma era più debole.

2. Robot Diversi Hanno "Mani" Diverse
Proprio come uno chef umano potrebbe essere migliore nella cottura al forno che nella frittura, diversi modelli di IA erano migliori nell'imitare diversi autori:

Mistral era il migliore nell'imitare lo stile complesso di Proust.
GPT era sorprendentemente bravo a catturare lo stile disordinato e parlato di Céline.
Gemini ha fatto bene con la precisione storica di Yourcenar.

3. Il "Gusto" Cambia a Chi Lo Chiedi
I ricercatori hanno notato qualcosa di interessante: il modo in cui misuravano il "gusto" contava.

Se guardavano le caratteristiche superficiali (come il numero di virgole o parole brevi usate), un robot sembrava la copia migliore.
Se guardavano le caratteristiche strutturali più profonde (come la complessità della struttura della frase), un diverso robot sembrava la copia migliore.

È come giudicare un dipinto: se guardi solo i colori, vince un artista. Se guardi le pennellate, vince un artista diverso. I modelli di IA hanno preservato diverse parti dello stile umano a seconda di quale parte dell'"impronta digitale" stavi controllando.

La Conclusione

Il documento conclude che gli embedding dell'IA sono sensibili allo stile umano, ma il segnale diventa più debole e distorto dopo la riscrittura.

Pensaci come a un gioco del "Telefono".

Round 1: Un umano sussurra una storia a un altro umano. Il messaggio rimane per lo più lo stesso, ma la voce cambia leggermente.
Round 2: Un umano sussurra a un robot, e il robot sussurra indietro. Il robot coglie il senso della storia, ma la "voce" unica dell'umano originale diventa confusa.

Lo studio mostra che mentre l'IA può imitare l'aspetto di un autore famoso, la profonda "anima" matematica della scrittura di quell'autore è preservata solo parzialmente. Questo significa che in futuro potremmo essere in grado di rilevare se un testo è stato scritto da un umano o da un'IA osservando quanto queste "impronte digitali" dello stile sono "sfocate" o "distorte".

Nota Importante: Il documento non afferma che questa tecnologia sia pronta per catturare i barattatori di IA in tempo reale o per essere utilizzata in tribunale. È uno studio preliminare che mostra che il "segnale dello stile" esiste ma è fragile. Gli autori suggeriscono che questo è solo l'inizio della comprensione di come l'IA gestisce la creatività umana.

Sintesi Tecnica: Misurazione della Sensibilità degli Embedding allo Stile dell'Autore in Francese

Enunciato del Problema
Sebbene i Modelli Linguistici di Grandi Dimensioni (LLM) possano imitare convincentemente gli stili di scrittura umani, non è ancora chiaro quanto delle informazioni stilistiche siano codificate negli embedding dei modelli linguistici e quanto bene questi segnali vengano conservati dopo la riscrittura da parte di un LLM. Le analisi esistenti basate sugli embedding danno spesso priorità a compiti semantici (ad esempio, la modellazione degli argomenti) rispetto alle caratteristiche stilistiche. Questo documento indaga se gli embedding catturino in modo affidabile le caratteristiche stilistiche dell'autore nei testi letterari francesi e in quale misura questi segnali persistano quando i testi vengono riscritti da LLM per imitare autori specifici.

Metodologia
Lo studio adotta un disegno sperimentale controllato utilizzando un dataset di 1.248 testi letterari francesi, suddivisi in tre componenti:

Corpus di Riferimento (Scritto da Umani):
- TUFFERY_REF: 96 testi tratti da Le style mode d'emploi di Stéphane Tufféry, tutti aventi un unico argomento (un viaggio in autobus a Parigi) ma variabili per stile (inclusi pastiche di grandi autori).
- STYLE_REF: 288 testi di tre autori distinti: Proust (Du côté de chez Swann), Céline (Voyage au bout de la nuit) e Yourcenar (Mémoires d'Hadrien), che rappresentano profili stilistici diversi (complessità strutturale, registro parlato e ancoraggio storico, rispettivamente).
Corpus Generato (Imitazioni LLM):
- STYLE_GEN: 864 testi generati sollecitando tre LLM (GPT-4o, Mistral-large-2411 e Gemini-1.5-flash) a riscrivere i testi di TUFFERY_REF negli stili dei tre autori presenti in STYLE_REF. Ciò crea un dataset a argomento fisso e stile variabile.
Vettorizzazione e Analisi:
- Tutti i testi sono stati codificati utilizzando 13 diversi modelli di embedding (con dimensioni comprese tra 384 e 1536), selezionati per la diversità architetturale e le prestazioni sul Massive Text Embedding Benchmark (MTEB).
- Validazione del Clustering: Il clustering K-means (k=3) e l'Approssimazione e Proiezione Uniforme della Varietà (UMAP) sono stati utilizzati per valutare la separabilità dei tre gruppi del corpus (TUFFERY, STYLE_REF, STYLE_GEN) nello spazio degli embedding.
- Metriche di Sensibilità: L'analisi centrale misura la dispersione degli embedding (distanza euclidea dai centroidi di classe nello spazio UMAP 2D) rispetto agli spostamenti delle caratteristiche stilistiche. Sono state tracciate cinque famiglie di caratteristiche stilistiche: Strutturali (lunghezza di parole/frasi), Morfosintattiche (tag POS), Lessicali (entropia di Shannon, frequenze delle lettere) e Referenziali (densità del Riconoscimento delle Entità Nominate).
- Analisi di Correlazione: Sono state calcolate le correlazioni di Pearson tra lo spostamento della dispersione degli embedding ( $\Delta d$ ) e lo spostamento delle frequenze delle caratteristiche stilistiche ( $\Delta f_s$ ) rispetto alla linea di base TUFFERY_REF. Ciò è stato eseguito sia per i testi scritti da umani (STYLE_REF) sia per le imitazioni generate da LLM (STYLE_GEN).

Risultati Chiave

Sensibilità degli Embedding allo Stile Umano: Gli embedding catturano in modo affidabile le caratteristiche stilistiche dell'autore. Sono state trovate correlazioni significative, sebbene da moderate a deboli, tra gli spostamenti della dispersione degli embedding e gli spostamenti delle caratteristiche stilistiche.
- Proust: Ampia sensibilità su Entità Nominate (NER), lettere, caratteristiche strutturali e tag POS.
- Céline: Sensibilità concentrata su frequenze delle lettere, NER ed entropia.
- Yourcenar: Dominata dalla sensibilità al NER (densità referenziale).
Persistenza dopo la Riscrittura: I segnali stilistici persistono dopo la riscrittura da parte di LLM, ma vengono attenuati e ridefiniti.
- Imitazioni di Proust: Hanno mantenuto un profilo ampio, ma con sensibilità ridotta nelle caratteristiche strutturali e delle lettere.
- Imitazioni di Céline: Hanno mostrato la più alta fedeltà stilistica tra le classi generate, preservando i marcatori del registro parlato (lettere) mentre sovrappesavano la referenzialità.
- Imitazioni di Yourcenar: Hanno mantenuto l'ancoraggio basato sul NER, ma con una parziale diluizione e uno spostamento verso le frequenze delle lettere.
Pattern Specifici degli LLM: Diversi LLM preservano aspetti diversi dello stile dell'autore. Ad esempio, Mistral ha preservato meglio il profilo ampio di Proust, mentre GPT ha mostrato una maggiore fedeltà ai pattern definitori di Céline e Yourcenar rispetto ad altri modelli, nonostante GPT avesse una minore "accuratezza di trasferimento" complessiva in un classificatore a livello superficiale.
Divergenza delle Metriche: Lo studio evidenzia una divergenza tra l'accuratezza del trasferimento dello stile a livello superficiale (misurata tramite n-grammi di caratteri) e la fedeltà stilistica basata sugli embedding. Un modello potrebbe ottenere un punteggio inferiore in termini di accuratezza superficiale ma preservare meglio i pattern strutturali o referenziali profondi che definiscono il profilo di embedding di un autore.

Significato e Affermazioni
Il documento afferma che i suoi risultati analitici offrono direzioni promettenti per il rilevamento dell'imitazione dell'autore nell'era dei modelli linguistici. Tracciando come specifiche caratteristiche stilistiche vengono preservate o alterate attraverso la riscrittura generativa, lo studio completa le tradizionali valutazioni del trasferimento di stile. Suggerisce che le deviazioni da una linea di base umana nello spazio degli embedding, in particolare per quanto riguarda i pattern di trasformazione stilistica, possano servire come indicatori di imitazione basata su LLM.

Gli autori rimangono modesti riguardo ai loro risultati, notando che:

Le correlazioni osservate sono significative ma di entità moderata.
Lo studio è limitato a testi letterari francesi e a un insieme specifico di autori; la generalizzazione ad altre lingue o generi non letterari richiede ulteriore validazione.
L'inventario delle caratteristiche stilistiche è adattato agli autori specifici studiati e potrebbe non essere esaustivo.
La dipendenza dall'UMAP 2D per la visualizzazione introduce distorsioni che richiedono ulteriori indagini.

In definitiva, il lavoro fornisce un quadro per quantificare la sensibilità dei vettori di embedding allo stile e l'estensione in cui gli LLM preservano o alterano tale sensibilità durante il trasferimento di stile.