Detecting undisclosed LLM-generated content in parliamentary texts

Sintesi Tecnica: Rilevamento di Contenuti Generati da LLM Non Dichiarati nei Testi Parlamentari

Definizione del Problema
La rapida integrazione dei Large Language Models (LLM) nell'interazione uomo-computer ha sollevato significative preoccupazioni riguardanti la trasparenza nel discorso politico. Sebbene le linee guida di organismi come l'Unione Interparlamentare (IPU) e il Governo del Regno Unito raccomandino di dichiarare l'uso dell'IA nei testi parlamentari per mantenere la fiducia del pubblico e prevenire la diffusione di disinformazione o pregiudizi, tali dichiarazioni sono ampiamente assenti dai registri ufficiali. Questa mancanza di trasparenza rende difficile valutare l'entità con cui i politici e i loro collaboratori utilizzano l'IA per redigere mozioni e dichiarazioni. Inoltre, i metodi di rilevamento esistenti si affidano spesso a reti neurali "black-box", che mancano dell'interpretabilità necessaria per decisioni ad alto rischio dove accuse infondate potrebbero danneggiare le reputazioni.

Metodologia
Gli autori propongono un framework per rilevare contenuti generati da LLM non dichiarati in testi parlamentari del Regno Unito (Westminster) e della Svezia (Riksdag). L'approccio si basa su un classificatore lineare "glass-box" completamente interpretabile noto come Interpretable CONfidence-enhanced Perceptron (ICON).

• Raccolta e Generazione dei Dati:

  • Scritto da umani (Classe 0): I testi sono stati estratti dai registri parlamentari pubblicati tra il 2014 e il 2020 (era pre-moderna degli LLM) per servire come verità di base (ground truth) per la scrittura umana.
  • Generato da LLM (Classe 1): Per simulare un uso realistico, gli autori hanno impiegato una procedura di prompting a due fasi. In primo luogo, i testi scritti da umani sono stati riassunti da un LLM (Gemini 3.1 Flash-Lite). In secondo luogo, questi riassunti sono stati utilizzati come prompt per LLM (Gemini e GPT-5 mini) per generare testi completi. Ciò ha prodotto un dataset di base bilanciato di 1.400 testi umani e 1.400 testi generati da LLM per lingua (inglese del Regno Unito e svedese).
  • Set di Test Forward: Testi non etichettati pubblicati dal 2021 in poi sono stati raccolti per valutare l'uso reale degli LLM. I testi del primo periodo 2021/2022 sono serviti come set di controllo (hold-out set) per misurare i tassi di falsi positivi (FP) prima dell'adozione pubblica diffusa degli LLM.

• Modello di Classificazione (ICON):

  • Il classificatore utilizza caratteristiche n-gram (unigrammi e bigrammi) estratte dal testo tokenizzato.
  • Utilizza una funzione decisionale lineare $s = \alpha + \sum w_i f_i$, dove un testo è classificato come generato da LLM (Classe 1) se la somma $s \geq 0$.
  • I pesi ($w_i$) e il termine di bias ($\alpha$) sono inizializzati in base alle frequenze delle caratteristiche nelle classi di addestramento e ottimizzati tramite un metodo di addestramento del percettrone modificato che calcola gli errori sull'intero dataset piuttosto che campione per campione.
  • Interpretabilità: Il modello fornisce un punteggio di confidenza basato sull'entità della somma di classificazione ($|s|$) e consente la visualizzazione dei contributi di specifiche caratteristiche (ad esempio, parole o bigrammi specifici) che guidano la decisione, evitando l'opacità delle reti neurali profonde.

• Strategia di Valutazione:

  • Lo studio valuta il rilevamento a due livelli: (1) classificando l'intera mozione parlamentare come un'unica unità, e (2) classificando i singoli paragrafi all'interno di una mozione.
  • Una soglia di confidenza ($T$) viene applicata alla somma di classificazione per minimizzare i falsi positivi, in particolare per l'analisi a livello di paragrafo.

Risultati Chiave

• Prestazioni del Classificatore: I classificatori addestrati hanno raggiunto prestazioni elevate sui set di test forward, con F1 score di 0.940 (Regno Unito) e 0.969 (Svezia). Fondamentalmente, il tasso di falsi positivi sui testi dell'era pre-LLM è stato estremamente basso (0.062 per il Regno Unito, 0.043 per la Svezia), indicando robustezza contro la classificazione errata della scrittura umana.
• Rilevamento dell'Uso Non Dichiarato: L'applicazione dei classificatori ai set di test forward (2021–2026) ha rivelato un aumento costante dell'uso rilevato di LLM in entrambi i parlamenti:
  • Rilevamento del Testo Completo: Classificando intere mozioni, i tassi di rilevamento sono aumentati da quasi zero nel 2021 a circa il 2,1% nel Regno Unito (2026) e il 6,5% in Svezia (2025–2026).
  • Rilevamento a Livello di Paragrafo: Analizzando i singoli paragrafi, i tassi di rilevamento sono stati più elevati, indicando che gli LLM sono spesso utilizzati per generare sezioni specifiche di un testo piuttosto che l'intero documento. Entro il 2026, circa il 15,5% delle mozioni del Regno Unito e il 9,4% di quelle svedesi contenevano almeno un paragrafo segnalato come generato da LLM.
• Trend: I dati mostrano un forte aumento dell'uso rilevato a partire dalla fine del 2022/2023, in correlazione con il rilascio pubblico di LLM avanzati.
• Dichiarazione: Una ricerca manuale dei testi rilevati per parole chiave relative all'IA (ad esempio, "ChatGPT", "LLM", "AI") ha confermato che nessuno di questi testi conteneva alcuna dichiarazione sull'uso dell'IA.

Significato e Rivendicazioni
L'articolo sostiene di fornire la prima evidenza sistematica di un crescente trend di utilizzo non dichiarato di LLM all'interno dei testi parlamentari nel Regno Unito e in Svezia. Utilizzando un classificatore interpretabile "glass-box", gli autori sostengono che i loro risultati siano più difendibili nei contesti politici ad alto rischio rispetto a quelli derivati da modelli black-box, poiché le ragioni specifiche della classificazione possono essere ispezionate e visualizzate.

Gli autori sottolineano che i loro risultati suggeriscono una violazione delle linee guida esistenti (sebbene spesso non obbligatorie) riguardanti la trasparenza. Notano che, sebbene gli LLM possano essere strumenti utili, il loro uso non dichiarato rischia di erodere la fiducia del pubblico, introdurre pregiudizi sottili e potenzialmente diffondere disinformazione o "offloading cognitivo" dove la supervisione umana viene ridotta. Lo studio conclude che l'attuale mancanza di trasparenza è una "violazione flagrante" dei principi di trasparenza e richiama la necessità di linee guida più chiare e azionabili e del loro rispetto nei processi parlamentari. Il documento nota con modestia i limiti, come la possibilità che differenze linguistiche influenzino la comparabilità tra le lingue e la possibilità di testi "zona grigia" dove l'editing umano dell'output dell'IA possa sfumare i confini del rilevamento, ma mantiene che i trend rilevati siano robusti e statisticamente significativi.