Normalisation-Based Likelihood Ratio Estimation for Forensic Authorship Verification

Sintesi Tecnica: Stima del Rapporto di Verosimiglianza basata sulla Normalizzazione per la Verifica dell'Autore in Ambito Forense

Definizione del Problema
La verifica dell'autore (AV - Authorship Verification) in contesti forensi mira a determinare se due testi condividano lo stesso autore. Lo standard legale per valutare tali prove è il framework del Rapporto di Verosimiglianza (LR - Likelihood Ratio), che quantifica la probabilità relativa dell'evidenza sotto ipotesi contrastanti di accusa ($H_p$) e difesa ($H_d$). Sebbene esistano metodi di AV basati su punteggi, essi tipicamente restituiscono punteggi di somiglianza non calibrati o rapporti di verosimiglianza grezzi che non riflettono in modo affidabile le frequenze empiriche. Per rendere questi punteggi interpretabili come prove forensi valide, è richiesto un modello di calibrazione separato — comunemente la regressione logistica. Questo processo di calibrazione necessita di dataset ampi e specifici per ogni caso (coppie di testi con stessa fonte e fonti diverse) che sono spesso difficili, lenti e costosi da compilare. Inoltre, la selezione dei dati di calibrazione comporta decisioni soggettive degli esperti (ad esempio, strategie di ancoraggio) che richiedono ulteriore validazione, aggiungendo complessità e opacità al processo forense.

Metodologia
Questo studio indaga se i punteggi grezzi prodotti da LambdaG, un metodo di AV estrinseco binario allo stato dell'arte basato sulla modellazione del linguaggio n-gram, possano essere trasformati in LR ben calibrati senza un modello di addestramento separato. Gli autori ipotizzano che il punteggio grezzo di LambdaG ($\lambda_G$) soffra di "inflazione del punteggio" a causa della dipendenza del metodo dalla somma di contributi a livello di token indipendenti. Questa aggregazione assume l'indipendenza condizionale tra le feature, un'assunzione che il linguaggio naturale viola a causa della ripetizione. Di conseguenza, testi più lunghi o altamente ripetitivi accumulano punteggi sproporzionatamente elevati, sopravvalutando la forza dell'evidenza.

Per affrontare questo problema, l'articolo propone due tecniche di normalizzazione originali che scalano direttamente il punteggio $\lambda_G$:

1. Correzione della Radice Quadrata: Questo metodo scala il punteggio tramite la radice quadrata del numero di token nel documento in esame ($N(Q)$). Si basa sul principio statistico secondo cui la varianza nelle feature aggregate cresce proporzionalmente a $\sqrt{N}$. La formula è:
   $$\Lambda_G = \frac{\lambda_G}{\sqrt{N(Q)}}$$
   L'obiettivo è mitigare l'inflazione causata dalla lunghezza del testo, riconoscendo che ulteriori token in testi lunghi contribuiscono con un peso evidenziale indipendente decrescente.

2. Correzione Hapax: Questo metodo incorpora una misura della diversità lessicale e della ridondanza. Scala il punteggio attraverso il rapporto tra hapax legomena (parole che appaiono esattamente una volta, $V_1(Q)$) e il conteggio totale dei token ($N(Q)$). La formula è:
   $$\Lambda_G = \lambda_G \times \frac{V_1(Q)}{N(Q)}$$
   Questa correzione mira alla ridondanza dei pattern ripetuti. Nei testi con bassa diversità (alta ripetizione), il rapporto è basso, riducendo il punteggio per contrastare l'artificiale inflazione. Ciò si allinea alla Legge di Herdan-Heap, che descrive la crescita sub-lineare del vocabolario all'aumentare della lunghezza del testo.

Protocollo Sperimentale
Gli autori hanno valutato queste correzioni rispetto al baseline standard della calibrazione tramite regressione logistica attraverso 15 corpora diversi (inclusi articoli accademici, notizie, blog, recensioni, forum, email, chat log e tweet). La valutazione ha utilizzato la metrica Log-Likelihood Ratio Cost ($C_{llr}$), dove valori più bassi indicano una migliore calibrazione e discriminazione.

• Dati: Lo studio ha incluso 13.146 problemi di verifica dell'autore.
• Variabili: Per un sottoinsieme di corpora (Avocado, Twitter, Bolt), gli autori hanno variato sistematicamente le lunghezze del testo in esame ($Q$) e del testo dell'autore noto ($K$) da 100 a 9.500 token per testare la robustezza attraverso diverse lunghezze di testo.
• Baseline: Modelli di regressione logistica sono stati addestrati su una porzione del 40–50% dei dati per ogni corpus e testati sul restante. Le normalizzazioni proposte sono state applicate direttamente ai punteggi grezzi senza addestramento.

Risultati Chiave

• Prestazioni Generali: Attraverso i 15 corpora, la Correzione Hapax ha superato la calibrazione tramite regressione logistica nel 45,4% dei test. Nei casi rimanenti in cui la regressione logistica è risultata superiore, la prestazione della Correzione Hapax era entro il 5% del baseline nel 56,91% delle istanze.
• Robustezza alla Lunghezza del Testo:
  • Su testi lunghi (ad esempio, Avocado e Twitter con $K > 5.500$ token), la regressione logistica ha spesso ottenuto valori di $C_{llr}$ di picco leggermente inferiori, probabilmente a causa di una stima dei parametri più stabile con dataset più ampi. Tuttavia, la Correzione Hapax ha prodotto costantemente LR ben calibrati ($C_{llr} < 0,1$) in queste condizioni.
  • Su testi brevi, la Correzione Hapax ha spesso superato la regressione logistica, dimostrando maggiore robustezza quando i dati sono scarsi.
  • La Correzione della Radice Quadrata è stata generalmente superata sia dalla Correzione Hapax che dalla regressione logistica (perdendo in oltre il 70% dei test), sebbene offrisse comunque miglioramenti rispetto ai punteggi grezzi.
• Anomalie: La calibrazione tramite regressione logistica ha occasionalmente prodotto risultati fuorvianti ($C_{llr} > 1$) su dataset con piccoli set di calibrazione (ad esempio, Twitter, Avocado), suggerendo sensibilità al rumore e overfitting. Le normalizzazioni proposte hanno mostrato una minore variabilità e una maggiore stabilità.
• Corpus Bolt (Testi Brevi): Sul corpus SMS/Chat con testi molto brevi (100–500 token), la Correzione della Radice Quadrata ha superato la Correzione Hapax nell'84% delle condizioni, probabilmente perché il rapporto Hapax diventa rumoroso e inaffidabile in campioni estremamente brevi dove la crescita del vocabolario è rapida.

Significato e Rivendicazioni
L'articolo sostiene che queste tecniche di normalizzazione offrono un'alternativa funzionalmente equivalente, ma più semplice, alla calibrazione tramite regressione logistica per il metodo LambdaG. Il significato primario risiede nell'eliminazione del modello di calibrazione, che:

1. Riduce i Requisiti di Dati: Elimina la necessità di grandi dataset di addestramento specifici per il caso, che sono difficili da ottenere.
2. Aumenta la Trasparenza: Sostituisce la trasformazione "opaca" della regressione logistica con semplici correzioni matematiche interpretabili, fondate sulla statistica lessicale e sulla teoria linguistica basata sull'uso.
3. Migliora l'Accessibilità: Semplifica il workflow forense, rendendo la derivazione di LR calibrati più accessibile agli esperti e più facile da spiegare ai decisori legali.

Gli autori concludono che, sebbene la Correzione Hapax non domini universalmente la regressione logistica, la sua capacità di mantenere prestazioni comparabili attraverso diverse lunghezze di testo e registri — senza i carichi computazionali e di dati dell'addestramento — ne supporta l'adozione in contesti forensi per i testi in lingua inglese. Lo studio postula che queste correzioni modellino efficacemente il valore dell'evidenza decrescente dei pattern linguistici ripetuti, offrendo un approccio scientificamente più valido rispetto alla calibrazione standard per questa specifica classe di metodi di AV.