NOTAI.AI: Explainable Detection of Machine-Generated Text via Curvature and Feature Attribution

NOTAI.AI è un framework spiegabile per il rilevamento di testi generati da IA che combina segnali di curvatura, caratteristiche neurali e stilometriche in un classificatore XGBoost, utilizzando SHAP e un layer basato su LLM per fornire attribuzioni di funzionalità e spiegazioni in linguaggio naturale tramite un'applicazione web interattiva.

L'essenziale

Ecco una spiegazione semplice e creativa del paper NOTAI.AI, pensata per chiunque, anche senza competenze tecniche.

Immagina il mondo digitale come una grande piazza affollata dove scrivono sia umani che robot. Fino a poco tempo fa, era facile distinguere le due voci: gli umani facevano errori, usavano parole strane e avevano uno stile unico; i robot scrivevano in modo troppo perfetto, noioso e ripetitivo.

Oggi, però, i robot (le Intelligenze Artificiali) sono diventati così bravi a imitare gli umani che è come cercare di distinguere un dipinto originale da una copia fatta da un maestro: a occhio nudo è quasi impossibile.

NOTAI.AI è il nuovo "detective" creato da ricercatori dell'Università del Lussemburgo per risolvere questo mistero. Ecco come funziona, spiegato con delle analogie:

1. Il Detective non guarda solo la "faccia" (L'approccio ibrido)

Molti vecchi detective si affidavano a un solo trucco: guardavano se il testo aveva errori grammaticali o se sembrava troppo "liscio". Ma i robot moderni sono furbi e non fanno più errori.

NOTAI.AI è diverso perché è un detective poliedrico che usa tre tipi di indizi contemporaneamente, come se avesse tre occhi diversi:

• L'occhio dello stilista (Stilometria): Guarda come è scritto il testo. Conta le virgole, la lunghezza delle frasi, la varietà di parole usate. È come se un detective analizzasse l'andatura di una persona: "Questa persona cammina troppo dritta, è un robot!" oppure "Questa persona inciampa un po', è umana!".
• L'occhio del matematico (Curvatura): Questo è il trucco più geniale. Immagina che ogni parola abbia una "probabilità" di essere scelta. I robot tendono a scegliere sempre le parole più sicure e prevedibili, creando una strada dritta e liscia. Gli umani, invece, fanno curve, salti e scelte imprevedibili. NOTAI.AI misura queste "curve" matematiche. Se il testo è troppo dritto e piatto, è probabilmente un robot.
• L'occhio dell'esperto (Intelligenza Artificiale): Usa un altro cervello artificiale (chiamato ModernBERT) che è stato addestrato specificamente per fiutare i testi scritti da macchine. È come avere un cane poliziotto addestrato a sentire l'odore della "paura" o della "falsità" nel testo.

2. Il "Cervello Centrale" che decide (XGBoost)

Tutti questi indizi (17 in tutto) vengono portati a un capo detective (un algoritmo chiamato XGBoost). Questo capo non si fida di un solo indizio. Se l'occhio dello stilista dice "Sembra umano" ma l'occhio matematico urla "Troppo liscio!", il capo detective pesa tutte le prove insieme per prendere la decisione finale.

3. Il grande problema: "Perché?" (Spiegabilità)

Fino a oggi, molti detector dicevano: "Questo testo è al 90% scritto da un robot". Ma non dicevano perché. Era come se un giudice ti desse una condanna senza spiegarti le prove. Questo spaventava gli utenti: "Come faccio a fidarmi se non so il motivo?".

NOTAI.AI risolve questo problema con due passaggi magici:

1. La mappa delle prove (SHAP): Il sistema calcola esattamente quanto ogni singolo indizio ha contribuito alla decisione. È come se il detective ti mostrasse la lista degli indizi: "Ho sospettato di te perché hai usato troppe virgole (indizio A) e perché le tue frasi sono troppo perfette (indizio B)".
2. Il traduttore umano (LLM): Qui entra in gioco la vera magia. Il sistema prende quei dati tecnici complessi e li chiede a un'Intelligenza Artificiale generativa (Gemma) per scriverli in linguaggio semplice.
   • Invece di dire: "Il valore SHAP della curvatura è -0.45",
   • Dice: "Il testo sembra scritto da un'IA perché le frasi sono troppo fluide e mancano di quelle piccole imperfezioni tipiche della scrittura umana."

4. L'interfaccia interattiva: Il laboratorio del detective

Il sistema non è solo un codice nascosto. È un sito web interattivo.
Immagina di entrare in un laboratorio:

• Incollate il vostro testo.
• Vedete un indicatore che si muove verso "Umano" o "Robot".
• Sotto, leggete la spiegazione in parole povere.
• Il tocco in più: Potete fare esperimenti! Potete dire al detective: "E se togliessimo l'indizio delle virgole? Cosa cambia?". Il sistema ricalcola tutto in tempo reale. È come se poteste smontare il detective pezzo per pezzo per vedere come lavora.

In sintesi

NOTAI.AI non è solo un filtro che dice "Sì" o "No". È un sistema trasparente che vi dice: "Ehi, questo testo sembra fatto da un robot perché è troppo perfetto, ha troppe parole ripetute e manca di quelle piccole 'rugosità' che solo gli umani hanno. Ecco le prove, eccome le ho analizzate."

L'obiettivo è rendere la tecnologia non solo potente, ma anche onesta e comprensibile per tutti, dagli insegnanti agli studenti, fino ai giornalisti.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper NOTAI.AI: Explainable Detection of Machine-Generated Text via Curvature and Feature Attribution, tradotto e adattato in italiano.

1. Il Problema

L'ascesa dei Large Language Models (LLM) ha reso la generazione di testo grammaticalmente accurata, stilisticamente naturale e semanticamente coerente quasi indistinguibile da quella umana. Questo solleva preoccupazioni critiche riguardo all'autenticità, alla paternità dei testi e all'integrità delle informazioni.
Sebbene esistano detector basati su statistiche (come DetectGPT e Fast-DetectGPT) o su modelli neurali supervisionati, presentano diverse limitazioni:

• Mancanza di trasparenza: Molti sistemi restituiscono solo un punteggio di probabilità senza fornire giustificazioni interpretabili dall'utente.
• Fragilità: Le prestazioni degradano significativamente sotto spostamenti di dominio (domain shifts), variazioni di decodifica e perturbazioni avversariali.
• Separazione dei segnali: Spesso i metodi si basano su un solo tipo di segnale (statistico, neurale o stilometrico) invece di integrarli.

2. Metodologia: NOTAI.AI

NOTAI.AI è un framework ibrido e spiegabile per il rilevamento di testi generati da macchine. Integra segnali neurali, analisi statistica basata sulla curvatura e caratteristiche stilometriche all'interno di un framework di classificazione meta-supervisionata.

L'architettura segue un pipeline a quattro stadi: Estrazione → Decisione → Spiegazione → Presentazione.

A. Estrazione delle Caratteristiche (17 Feature Interprétabili)

Il sistema estrae 17 feature complementari che catturano proprietà distributive, strutturali e stilistiche:

1. Codificatore Neurale: Utilizza un modello ModernBERT (finetunato) per estrarre probabilità di rilevamento neurale (bert_ai_score), catturando pattern di fluidità semantica e prior di generazione.
2. Curvatura della Probabilità Condizionata (CPC): Derivato da Fast-DetectGPT, quantifica la variazione del secondo ordine nella probabilità dei token sotto perturbazioni locali. I testi umani tendono ad avere paesaggi di probabilità più irregolari e ad alta varianza, mentre quelli AI sono più lisci e stabili.
3. Leggibilità e Diversità Lessicale: Include metriche come l'indice di leggibilità Flesch, conteggio delle frasi, lunghezza media, rapporto Tipo-Token (TTR) e rapporto delle parole uniche (hapax legomena).
4. Segnali Stilometrici e Superficiali: Rapporto di parole vuote (stopwords), rapporto di cliché, frequenza massima di n-grammi ripetuti, punteggiatura (virgole, punti, ecc.).

B. Meta-Classificazione

Tutte le feature estratte vengono aggregate e alimentate in un classificatore XGBoost (Extreme Gradient Boosting). Questo modello apprende le interazioni non lineari tra i punteggi di confidenza neurale, le statistiche di curvatura e gli indicatori stilometrici per determinare se un testo è umano o AI.

C. Spiegabilità (Explainability)

Per rendere il sistema trasparente agli utenti non esperti, NOTAI.AI implementa un doppio livello di spiegazione:

1. Attribuzione SHAP: Vengono calcolati i valori SHAP (Shapley Additive Explanations) per quantificare il contributo di ciascuna feature alla decisione finale. Valori positivi indicano evidenza verso "AI", negativi verso "Umano".
2. Generazione di Razionali Strutturati (LLM): Per superare la complessità matematica di SHAP, i valori di attribuzione vengono convertiti in razionali in linguaggio naturale tramite un LLM (Google Gemma-3-27b-it). L'LLM riceve i dati strutturati (valori delle feature e punteggi di importanza) e genera una spiegazione concisa e non tecnica.

D. Interfaccia Utente

Il sistema è distribuito come un'applicazione web interattiva (Flask + JavaScript) che permette:

• Analisi in tempo reale.
• Visualizzazione del punteggio di probabilità e della classe predetta.
• Ispezione delle feature top (top-3 che spingono verso AI o Umano) con i loro valori SHAP.
• Analisi di Ablazione Interattiva: Gli utenti possono disabilitare sottogruppi di feature per osservare come cambia la decisione finale, permettendo una verifica diretta dell'impatto di ciascun segnale.

3. Risultati Sperimentali

La valutazione è stata condotta su una versione modificata e bilanciata del dataset RAID (rapporto 1:1 tra testi umani e AI, a differenza dell'originale sbilanciato).

• Performance dell'Ensemble: L'approccio completo (NOTAI.AI Ensemble) ha raggiunto un'accuratezza del 96,34% e un F1-score del 96,31%.
• Confronto con Componenti Singoli:
  • Solo Stilometria: F1 = 0,871
  • Solo ModernBERT: F1 = 0,856
  • Solo Curvatura (CPC): F1 = 0,888 (migliore tra i singoli, con alta precisione ma recall ridotta).
  • Ensemble: Migliora il miglior singolo segnale di +7,5 punti F1.
• Analisi delle Feature: L'analisi SHAP globale ha mostrato che la maggior parte dell'importanza è concentrata su tre feature: CPC, TTR (Type-Token Ratio) e ModernBERT score.
  • La curvatura (CPC) mostra una relazione non lineare: valori negativi forti (tipici di AI) hanno un impatto diverso rispetto a valori vicini a zero.
  • Il TTR influenza la classificazione con una soglia intorno a 0,56.
  • Il punteggio ModernBERT agisce come indicatore confermativo ad alta confidenza.

4. Contributi Chiave

1. Integrazione Ibrida: Unisce per la prima volta in un framework supervisionato segnali di curvatura (basati su Fast-DetectGPT), encoder neurali moderni e feature stilometriche interpretabili.
2. Spiegabilità Strutturata: Trasforma l'attribuzione tecnica (SHAP) in spiegazioni naturali comprensibili tramite un layer LLM, colmando il divario tra accuratezza tecnica e usabilità pratica.
3. Interattività e Trasparenza: Fornisce un'interfaccia web che non solo classifica, ma permette agli utenti di "ispezionare" il processo decisionale e simulare l'ablazione delle feature.
4. Riproducibilità: Il codice sorgente e il video dimostrativo sono pubblicamente disponibili.

5. Significato e Limitazioni

Significato: NOTAI.AI dimostra che è possibile costruire detector di testo AI ad alte prestazioni che non sono "scatole nere". Fornendo evidenze strutturate e spiegazioni in linguaggio naturale, il sistema è più utile per educatori, giornalisti e analisti che devono comprendere perché un testo è stato segnalato, aumentando la fiducia nell'output del modello.

Limitazioni e Lavori Futuri:

• Robustezza: Come per molti detector supervisionati, le prestazioni potrebbero degradare sotto spostamenti di dominio estremi, generatori mai visti o parafrasi avversariali sofisticate.
• Livello di Spiegazione: Le spiegazioni attuali operano a livello di feature (macro-livello). Il lavoro futuro mira a localizzare le parole o le frasi specifiche (micro-livello) che influenzano la decisione, potenzialmente tramite heatmap a livello di token nell'interfaccia.
• Scalabilità: Sono necessari test su scenari multilingue e di co-autoria umano-AI.