Probing Stylistic Appropriation using Large Language Models: An Evaluation Framework for Copyright Infringement under EU Law

Sintesi Tecnica: Sondare l'Appropriazione Stilistica tramite Modelli di Linguaggio di Grandi Dimensioni

1. Definizione del Problema

Il rapido progresso dei Modelli di Linguaggio di Grandi Dimensioni (LLM) ha creato un divario critico di conformità tra le salvaguardie tecniche e il diritto d'autore dell'UE. Gli attuali approcci tecnici alla violazione del copyright si concentrano prevalentemente sulla memorizzazione verbatim (riproduzione testuale esatta o quasi esatta), utilizzando metriche come la sovrapposizione di n-grammi, la distanza di edit e la similarità di embedding. Tuttavia, la dottrina del diritto d'autore dell'UE, in particolare sotto la Direttiva sul Copyright nel Mercato Unico Digitale (CDSM) e l' AI Act, protegge le opere basandosi sull'originalità, definita come "creazione intellettuale propria dell'autore". Le determinazioni di violazione si estendono oltre la copia letterale per comprendere la similarità sostanziale negli elementi espressivi, inclusi la struttura narrativa, lo sviluppo dei personaggi, le scelte stilistiche e la disposizione degli elementi creativi.

Le attuali pipeline tecniche non riescono a rilevare queste forme sottili di appropriazione stilistica e strutturale. Di conseguenza, i modelli possono superare i benchmark tecnici progettati per prevenire la copia letterale pur generando output che appropriano scelte espressive protette (ad esempio, voce narrativa, architettura della trama) senza attivare le salvaguardie esistenti. Questo documento affronta la sfida metodologica di valutare la similarità espressiva degli output degli LLM su larga scala quando tale similarità è qualitativa, dipendente dal contesto e non verbatim.

2. Metodologia: Il Framework PSALM

Gli autori introducono PSALM (Probing Stylistic Appropriation by Language Models), un framework di valutazione automatizzata che operazionalizza la dottrina del diritto d'autore dell'UE attraverso un'architettura LLM-as-a-judge (LLM come giudice).

• Architettura: PSALmente impiega una struttura a Grafo Aciclico Diretto (DAG) per ogni valutatore. Il grafo consiste in:
  • Nodi di Compito (Task Nodes): Analizzano specifiche sottodimensioni di un costrutto legale (ad esempio, complessità lessicale, pattern di focalizzazione) utilizzando prompt strutturati che codificano definizioni legali e teorie della narratologia.
  • Nodo di Giudizio (Judgement Node): Aggrega gli output dei nodi di compito, applicando pesi euristici derivati dalla dottrina legale e dalla narratologia per produrre un verdetto finale.
  • Nodi di Verdetto (Verdict Nodes): Mappano le analisi su una scala ordinale a cinque livelli (da 0 a 10, normalizzata da 0.0 a 1.0), che rappresenta categorie che vanno da "chiaramente differente" a "identico o quasi identico".
• Valutatori: Il framework implementa 10 valutatori divisi in due categorie:
  1. Orientati alla Violazione (6 valutatori): Misurano la similarità attraverso caratteristiche espressive proteggibili:
     • Stile di Scrittura: Complessità lessicale, struttura della frase, ritmo, pattern retorici, organizzazione del discorso, tono.
     • Voce Narrativa: Punto di vista, distanza narrativa, presenza del narratore, prospettiva temporale, focalizzazione, coinvolgimento del lettore.
     • Personaggio: Identità/tratti, arco/sviluppo, relazioni, background/motivazione, espressione/comportamento, funzione/ruolo.
     • Struttura della Trama: Sequenza di eventi/causalità, architettura della storia, costruzione del conflitto, punti di svolta, struttura temporale, convergenza.
     • Sequenza delle Scene: Identità/contenuto, struttura interna, architettura della sequenza, transizioni, ritmo, funzioni.
     • World Building: Design geografico/spaziale, regole/sistemi, architettura culturale/sociale, design storico/temporale, dettaglio materiale/sensoriale, logica/funzione.
  2. Orientati alla Difesa (4 valutatori): Valutano se le similarità qualificano per eccezioni statutarie o rientrano in elementi non proteggibili:
     • Parodia/Satira: Basata sul test Deckmyn (evocazione, trasformazione, umorismo, carattere critico, equilibrio equo).
     • Pastiche: Basata su Pelham II e l'opinione dell'AG Emiliou (evocazione dello stile, abilità artistica, omaggio, trasformazione, proporzionalità).
     • Citazione (Quotation/Citation): Basata sull'Art. 5(3)(d) InfoSoc (identificazione, scopo legittimo, pratica equa, attribuzione, precedente divulgazione).
     • Scènes à Faire: Valutazione degli elementi tipici dettati dal genere o dai vincoli tecnici.

3. Setup Sperimentale

Lo studio valuta il framework PSALM utilizzando modelli Llama 3.2 1B Instruct sottoposti a fine-tuning su un corpus di opere letterarie storiche olandesi tradotte (dalla Digital Library of Dutch Literature).

• Costruzione dei Dati: I testi storici olandesi sono stati convertiti in un dataset di Domanda-Risposta (QA) per enfatizzare l'apprendimento stilistico piuttosto che la copia del prompt. I testi sono stati tradotti in olandese moderno e inglese.
• Regimi di Training:
  • Baseline: Modelli istruiti (instruction-tuned) non modificati.
  • Fine-tuned: Modelli sottoposti a fine-tuning sul dataset QA completo (set di dimenticanza + set di mantenimento).
  • Unlearned (Dimenticato): Modelli sottoposti a fine-tuning e successivamente soggetti a Ottimizzazione della Preferenza Negativa (NPO) per "dimenticare" specifici autori o libri (set di dimenticanza) pur mantenendo altri (set di mantenimento).
• Valutazione: Il framework confronta gli output del modello con i testi sorgente utilizzando i valutatori PSALM e le basi lessicali standard (Exact Match, BLEU-4, ROUGE-L). L'analisi statistica impiega test non parametrici (Kruskal-Wallis, Mann-Whitney, Wilcoxon) e test di equivalenza (TOST).

4. Risultati Chiave

Gli esperimenti affrontano tre domande di ricerca riguardanti la similarità di base, l'impatto del fine-tuning e l'efficacia dell'unlearning (dimenticanza):

• RQ1: Similarità Stilistica di Base: I modelli base istruiti mostrano una non trascurabile similarità stilistica di base con le opere protette prima dell'esposizione al corpus, particolarmente nei modelli inglesi che mostrano una maggiore sovrapposenza nel pre-training con gli stili in prosa della fine del XIX secolo. Tuttavia, questi punteggi ricadono generalmente nelle fasce "piuttosto simile" o "moderatamente simile", non "quasi identico".
• RQ2: Impatto del Fine-Tuning: Il fine-tuning supervisionato induce un'appropriazione stilistica sistematica in tutte le dimensioni rilevanti per la violazione.
  • I modelli fine-tuned raggiungono punteggi vicini al tetto (0.95–1.0) sulle metriche computazionali, stilistiche e di contenuto (Stile di Scrittura, Voce Narrativa, Personaggio, Trama, World Building).
  • Questa appropriazione va ben oltre la memorizzazione verbatim; i modelli riproducono pattern narrativi astratti e voci autoriali.
  • Crucialmente, il fine-tuning non aumenta i punteggi sulle metriche orientate alla difesa (Parodia, Pastiche, Citazione), indicando che i modelli non adottano spontaneamente comportamenti trasformativi o qualificabili come eccezioni.
• RQ3: Efficacia dell'Unlearning (NPO): L'Ottimizzazione della Preferenza Negativa riduce sostanzialmente la similarità ma non riesce a ripristinare completamente il comportamento di base.
  • La NPO elimina efficacementamente la memorizzazione verbatim (l'Exact Match scende a zero).
  • I punteggi di similarità stilistica e di contenuto diminuiscono significativamente (ad esempio, da ~0.99 a ~0.30 sui set di dimenticanza) ma rimangono rilevabili e spesso ricadono nell'intervallo "piuttosto differente" o "moderatamente simile".
  • Similarità Residua: Il test di equivalenza (TOST) conferma che i modelli "unlearned" non sono statisticamente equivalenti ai modelli di base. I pattern stilistici residui persistono, in particolare nei set di mantenimento dove i punteggi rimangono nella regione "molto simile".
  • Gli effetti linguistici sono limitati, sebbene i modelli olandesi abbiano mostrato una leggera superiorità nella similarità residua del world-building rispetto ai modelli inglesi.

5. Significato e Rivendicazioni

Il documento sostiene di colmare il divario tra standard legali qualitativi e misurazione tecnica quantitativa, esponendo le tensioni fondamentali tra l'IA generativa e il diritto d'autore dell'UE.

• Contributo Metodologico: PSALM fornisce la prima infrastruttura per una valutazione della conformità audibile e legalmente informata che va oltre la sovrapposizione della forma superficiale per valutare l'appropriazione strutturale e stilistica. Dimostra che gli LLM possono approssimare il ragionamento contestuale dei valutatori legali umani quando radicati in specifici criteri dottrinali.
• Implicazioni Legali: I risultati indicano che le salvaguardie che mirano solo alla copia letterale sono insufficienti per mitigare i rischi più ampi del copyright. Il fine-tuning può creare modelli che agiscono come strumenti di precisione per riprodurre gli elementi espressivi di opere specifiche, mentre le attuali tecniche di unlearning (NPO) offrono solo una mitigazione parziale, lasciando pattern stilistici residui rilevabili che possono comunque costituire una similarità sostanziale ai sensi del diritto UE.
• Modestia e Limitazioni: Gli autori dichiarano esplicitamente che i punteggi PSALM informano piuttosto che sostituire il giudizio legale umano. La validazione si basa su casi di test progettati dai ricercatori per stabilire coerenza interna e stabilità della misurazione, non sulla validità legale rispetto ad adjudicazioni reali nei tribunali. La relazione tra punteggi di similarità automatizzati e l'effettiva determinazione della violazione richiede ulteriore validazione da parte di esperti legali. Inoltre, lo studio nota che il formato QA può rappresentare un limite superiore sull'appropriazione stilistica rispetto a pipeline di instruction-tuning più variegate.

In sintesi, il lavoro dimostra che, sebbene l'unlearning tecnico possa sopprimere l'estrazione verbatim, non può cancellare completamente l' "impronta" dell'apprendimento stilistico e strutturale, lasciando un significativo divario di conformità per gli sviluppatori di modelli e i titolari dei diritti nell'era dell'IA generativa.