Sintesi Tecnica: Sull'insicurezza della rilevazione dell'autoria IA basata sulla digitazione

Definizione del Problema

Le recenti proposte per il rilevamento di testi generati dall'IA si sono spostate dall'analisi del linguaggio (perplessità, stilometria) all'analisi dei segnali comportamentali a livello di processo, specificamente la dinamica temporale della digitazione (keystroke timing). Sistemi come quelli proposti da Kundu et al. [1] e Mehta et al. [2] si basano sul presupposto che i segnali motori umani — caratterizzati da intervalli tra i tasti (IKI) variabili e specifici pattern temporali come le "pause di riflessione" — siano distinti dall'iniezione uniforme e rapida di testo operata dai bot automatizzati.

Questo articolo identifica un errore categoriale fondamentale in tali approcci: essi confondono la presenza motoria (un corpo umano che opera la tastiera) con la provenienza del contenuto (un essere umano che origina cognitivamente il testo). Gli autori sostengono che i modelli di minaccia attuali non tengano conto di un avversario razionale che può generare contenuti tramite Large Language Models (LLM) e poi trascriverli fisicamente carattere per carattere. Questo attacco di tipo "copia-digita" (copy-type) produce segnali motori autentici, indistinguibili dalla composizione genuina, rendendo i rilevatori basati solo sulla temporizzazione insicuri per la verifica dell'autoria. Inoltre, l'articolo dimostra che anche gli attacchi di "falsificazione della temporizzazione" (timing-forgery) automatizzati, che sintetizzano gli intervalli di digitazione basandosi su distribuzioni umane, possono eludere tali sistemi.

Metodologia

Modello di Minaccia e Definizioni di Attacco

Lo studio valuta i Sistemi di Verifica del Segnale Motorio (MSVS) che accettano un documento e la relativa traccia di digitazione per classificare l'output come UMANO o IA. Gli autori definiscono due vettori di attacco primari:

1. Attacco Copy-Type: Un avversario genera un testo utilizzando un LLM e lo digita fisicamente nell'interfaccia strumentata. I segnali motori risultanti sono genuini per costruzione.
2. Attacchi di Falsificazione della Temporizzazione (Timing-Forgery): Agenti automatizzati generano tracce sintetiche campionando gli intervalli tra i tasti da distribuzioni empiriche umane. Gli autori implementano tre varianti:
   • Campionamento Istogrammatico (Histogram Sampling): Campionamento degli IKI indipendentemente da una Funzione di Distribuzione Cumulativa (CDF) empirica di dati umani.
   • Impersonificazione Statistica (Statistical Impersonation): Corrispondenza dei primi e secondi momenti (media e varianza) della distribuzione IKI della popolazione target, regolata per le latenze specifiche dei digrafi.
   • LSTM Generativa: Una rete LSTM a 2 strati addestrata su sequenze di digitazione reali per modellare la distribuzione condizionale degli IKI dato lo storico dei caratteri.

Configurazione Sperimentale

• Dataset: La valutazione utilizza 13.000 sessioni di digitazione umana dal Keystroke Corpus della Stony Brook University (SBU), integrati da 5.000 sessioni di iniezione automatizzata e 2.000 sessioni di attacco (1.000 Istogramma, 500 Statistici, 500 LSTM). La validazione è eseguita su 11 dataset pubblici aggiuntivi (totale >150.000 sessioni) per garantirne la generalizzabilità.
• Feature: Lo studio valuta un vettore di 7 feature che comprende tutte le feature proposte nei lavori precedenti [1], [2]:
  • $\delta$: Coefficiente di variazione (CV) degli IKI.
  • $\bar{t}$: Media degli IKI.
  • $\sigma^2_{IKI}$: Varianza degli IKI.
  • $\rho$: Densità delle pause (frazione di IKI > 500ms).
  • $\beta$: Lunghezza media dei burst.
  • $H$: Entropia di Shannon della distribuzione IKI.
  • $\gamma$: Variabilità dei digrafi.
• Classificatori: Cinque classificatori (Regressione Logistica, Random Forest, Gradient Boosting, SVM-RBF, MLP) sono addestrati utilizzando la validazione incrociata stratificata a 5 fold.

Risultati Chiave

1. Efficacia degli Attacchi

• Attacco Copy-Type: Nella validazione empirica utilizzando il dataset IIITD-BU (34 sessioni di trascrizione) e i corpora aggregati (879 sessioni), l'attacco copy-type ha ottenuto un tasso di bypass del 100% contro la soglia di rilevamento ($T = 0.269$). La media di $\delta$ per la trascrizione era $0.991$, ben al di sopra della soglia, con un Cohen's $d$ di soli $0.14$ tra composizione e trascrizione in condizioni di testo libero.
• Attacchi di Falsificazione della Temporizzazione: Tutte e tre le varianti automatizzate hanno ottenuto tassi di evasione $\ge 99.8\%$ contro i cinque classificatori.
  • Gli attacchi Istogramma e LSTM hanno raggiunto il 100% di evasione.
  • Gli attacchi Statistici hanno raggiunto il 99.8% di evasione.
  • I campioni di attacco sono stati classificati come umani con una confidenza media $\ge 0.993$.

2. Prestazioni dei Classificatori e Compromessi (Trade-offs)

• Separazione Baseline: I classificatori hanno raggiunto un'Area Sotto la Curva (AUC) di 1.000 distinguendo la digitazione umana genuina dall'iniezione completamente automatizzata (paste/API). Ciò conferma che i sistemi rilevano correttamente l'assenza di segnali motori.
• Fallimento Operativo: Di fronte a segnali motori umani (sia genuini che falsificati), i sistemi non riescono a distinguere la provenienza.
  • Per ridurre il tasso di passaggio dell'attacco LSTM sotto il 50%, la soglia di rilevamento deve essere alzata a $T > 0.80$.
  • A questa soglia, il Tasso di Falso Rifiuto (FRR) per gli utenti umani legittimi sale al 16.3%.
  • A $T = 0.90$ (FRR = 32.6%), l'attacco LSTM mantiene comunque un tasso di passaggio del 44%.
• Ablazione delle Feature: Nessuna singola feature separa in modo affidabile tutte le varianti di attacco dalla digitazione umana genuina. Sebbene feature come $\delta$ ed entropia separino efficacemente gli umani dai bot, non possono distinguere tra un umano che compone un testo e un umano che trascrive un testo.

3. Limiti Teorici

Gli autori formalizzano un risultato di non-identificabilità (Teorema 1). Sotto l'assunto che il rilevatore osservi solo la temporizzazione della digitazione ($\tau$) e non lo stato cognitivo, l'informazione mutua tra le feature e la provenienza del contenuto è zero:
$$I(f(\tau); \text{Provenienza} | s, M_u) = 0$$
Anche rilassando l'assunto idealizzato secondo cui lo stato cognitivo non influenza l'esecuzione motoria (empiricamente $d \approx 1.28$), l'errore di Bayes risultante è del 26.1%, insufficiente dal punto di vista operativo per decisioni di sicurezza.

Significato e Rivendicazioni

L'articolo afferma che i sistemi di rilevamento dell'autoria IA basati sulla digitazione, così come attualmente architettati, sono fondamentalmente insicuri contro avversari razionali.

1. Errore Categoriale: Questi sistemi verificano l'autenticità motoria (che un essere umano fosse presente) ma non possono verificare la provenienza del contenuto (che l'essere umano abbia originato il testo). L'attacco "copy-type" sfrutta questo divario utilizzando il sistema motorio dell'uomo per "lavare" contenuti generati dall'IA.
2. Limite Strutturale: La vulnerabilità non è algoritmica ma strutturale. Poiché la variabile distintiva (origine del contenuto) è un confonditore latente non osservato nello spazio delle feature, nessuna quantità di ingegneria delle feature o ottimizzazione del classificatore può superare la sovrapposizione distributiva tra composizione e trascrizione.
3. Falsa Assicurazione: I sistemi commercializzati come certificazione "AI-free" basata sui pattern di digitazione forniscono una falsa sicurezza. Possono confermare che un essere umano ha operato la tastiera, ma non possono determinare se quell'umano sia l'autore.
4. Implicazioni per la Difesa: Proteggere la provenienza del contenuto richiede architetture fondamentalmente diverse che leghino il processo di scrittura osservato al contenuto semantico. Gli autori suggeriscono direzioni percorribili, tra cui:
   • Coerenza della Cronologia delle Revisioni: Analizzare pattern di editing non monotoni (delezioni, riformulazioni) che sono rari nella trascrizione.
   • Challenge-Response: Imporre la comprensione in tempo reale del testo durante la composizione.
   • Legame Semantico: Integrare l'NLP per distinguere gli errori motori dalle correzioni semantiche.

Gli autori concludono che finché non verranno implementati tali meccanismi di legame con il contenuto, la temporizzazione della digitazione dovrebbe essere utilizzata solo per confermare la presenza umana, non l'autoria.