Fusing Stylometric and Embedding Systems to Estimate Authorship Likelihood Ratios in Japanese

Sintesi Tecnica: Fusione di Sistemi Stilometrici e di Embedding per la Stima dei Rapporti di Verosimiglianza dell'Autorialità in Lingua Giapponese

Definizione del Problema
Il framework del rapporto di verosimiglianza (Likelihood Ratio, LR) è lo standard consolidato per l'analisi delle prove nelle scienze forensi, offrendo un metodo logicamente fondato per quantificare la forza dell'evidenza sotto ipotesi contrastanti di accusa e difesa. Tuttavia, la sua applicazione nel confronto di testi forensi (Forensic Text Comparison, FTC) è stata quasi esclusivamente limitata ai testi in lingua inglese. Inoltre, sebbene l'attribuzione dell'autorialità si sia tradizionalmente basata su caratteristiche stilometriche discrete (ad es., conteggio delle parole, n-grammi di caratteri), l'avvento di modelli linguistici di grandi dimensioni (LLM) pre-addestrati ha introdotto approcci basati su embedding contestuali. Sebbene l'apprendimento d'insieme (fusione) sia noto per migliorare le prestazioni nell'elaborazione del linguaggio naturale, nessun studio precedente ha tentato di fondere i sistemi tradizionali di caratteristiche stilometriche con i sistemi di embedding basati su LLM all'interno del paradigma LR, in particolare per lingue non inglesi con sistemi di scrittura distinti come il giapponese.

Metodologia
Questo studio affronta tali lacune applicando il framework LR a testi digitali giapponesi (estratti di circa 1.000 caratteri da Yahoo! Blogs). Il disegno della ricerca comprende le seguenti componenti:

• Dataset: Un corpus di 4.574 post di blog da 2.287 autori unici, derivato dal Balanced Corpus of Contemporary Written Japanese (BCCWJ). I dati sono stati suddivisi in cinque batch per una validazione incrociata a cinque pieghe (five-fold cross-validation), utilizzando set di Training, Validazione, Test e Calibrazione.
• Architettura del Sistema: Sono stati sviluppati e valutati sette sistemi distinti:
  • Sistemi di Caratteristiche Stilometriche (5 sistemi): Questi utilizzano un modello Dirichlet-multinomiale per gestire input discreti basati sul conteggio. Le caratteristiche includono bigrammi di caratteri, unigrammi di parole funzionali (function-words), bigrammi di parti del discorso (POS), bigrammi di virgole (virgola e carattere precedente) e tipi di caratteri (hiragana, katakana, kanji, ecc.).
  • Sistemi Basati su Embedding (2 sistemi): Utilizzano modelli RoBERTa pre-addestrati e perfezionati come reti Siamese. Un sistema utilizza la tokenizzazione a livello di parola (word-embeddings) e l'altro la tokenizzazione a livello di carattere (character-embeddings). I punteggi sono derivati dalla distanza del coseno.
• Scoring e Calibrazione:
  • I sistemi stilometrici generano punteggi basati sul rapporto tra le probabilità sotto le ipotesi di accusa e di difesa.
  • I sistemi di embedding generano punteggi di similarità basati sulla distanza del coseno.
  • Tutti i punteggi grezzi vengono convertiti in rapporti di log-verosimiglianza (log LR) utilizzando la calibrazione tramite regressione logistica per garantire che gli output siano valori evidenti ben calibrati.
• Strategia di Fusione: Lo studio impiega la regressione logistica per fondere i punteggi di più sistemi. Questo metodo esegue simultaneamente fusione e calibrazione, tenendo conto delle correlazioni tra le diverse fonti di evidenza. Sono state testate tutte le combinazioni possibili da due a sette sistemi.

Risultati Chiave
Lo studio ha valutato le prestazioni del sistema utilizzando il costo del rapporto di log-verosimiglianza ($C_{llr}$), dove valori più bassi indicano una migliore discriminazione e calibrazione.

• Prestazioni dei Singoli Sistemi: Tra i singoli sistemi, il sistema di word-embedding (Sistema 6) ha ottenuto la prestazione migliore ($C_{llr} = 0,38757$), superando il miglior sistema stilometrico (Character bigrams, $C_{llr} = 0,47115$).
• Prestazioni della Fusione:
  • Fusione Stilometrica: Fondendo Character-bigrams, Comma-bigrams e POS-bigrams, si è ottenuto il miglior risultato esclusivamente stilometrico ($C_{llr} = 0,43964$).
  • Fusione di Embedding: Fondendo word e character embeddings, la prestazione è migliorata a $C_{llr} = 0,36186$.
  • Fusione Eterogenea: Il risultato ottimale è stato ottenuto fondendo cinque sistemi: Character-bigrams, Comma-bigrams, Character types, Word-embeddings e Character-embeddings. Questo sistema fuso ha raggiunto un $C_{llr}$ di 0,32484.
• Impatto della Fusione: Il sistema fuso con le migliori prestazioni ha dimostrato:
  1. Un'eccellente calibrazione (perdita di calibrazione $C_{llr}^{cal} \approx 0,03$).
  2. Magnitudo aumentata dei LR coerenti con i fatti (evidenza più forte quando gli autori corrispondono).
  3. Diminuzione delle magnitudo dei LR contrari ai fatti (evidenza più debole e meno fuorviante quando gli autori non corrispondono).
  4. Migliore discriminabilità complessiva rispetto a qualsiasi singolo sistema o fusione omogenea.

Significatività e Rivendicazioni
Gli autori affermano che questo studio è il primo ad applicare il framework di confronto di testi forensi basato sul LR ai testi digitali giapponesi. La principale significatività risiede nel dimostrare la fattibilità del framework LR per una lingua con un sistema di scrittura fondamentalmente diverso rispetto all'inglese.

Inoltre, il documento stabilisce che fondere sistemi eterogenei — combinando le tradizionali caratteristiche stilometriche discrete con i moderni embedding contestuali di LLM — produce prestazioni superiori all'interno del paradigma LR. I risultati suggeriscono che, sebbene i singoli sistemi abbiano i propri punti di forza, la loro combinazione cattura dimensioni complementari dell'autorialità (ad es., sequenze grezze di caratteri vs schemi sintattici vs contesto semantico), portando a un'evidenza forense più robusta e discriminativa. Lo studio conclude che il framework LR è vitale per l'FTC in giapponese e che la fusione tra diversi approcci di modellazione è una strategia critica per potenziare la forza dell'evidenza.