Fusing Stylometric and Embedding Systems to Estimate Authorship Likelihood Ratios in Japanese

Technische Samenvatting: Fusie van Stylometrische en Embedding-systemen voor het Schatten van de Waarschijnlijkheidsratio van Auteurschap in het Japans

Probleemstelling
Het raamwerk van de waarschijnlijkheidsratio (likelihood ratio, LR) is de gevestigde standaard voor bewijsanalyse in forensische wetenschappen, omdat het een logisch onderbouwde methte biedt om de kracht van bewijs te kwantificeren onder concurrerende aanklagende en verdedigende hypothesen. De toepassing hiervan op forensische tekstvergelijking (forensic text comparison, FTC) is echter bijna uitsluitend beperkt gebleven tot Engelstalige teksten. Bovendien heeft auteurschapstoeschrijving traditioneel vertrouwd op discrete stilometrische kenmerken (bijv. woordtellingen, karakter n-grammen), terwijl de komst van pre-trained large language models (LLM's) contextuele embedding-benaderingen heeft geïntroduceerd. Hoewel ensemble learning (fusie) bekend staat om het verbeteren van prestaties in natuurlijke taalverwerking, heeft geen enkele eerdere studie geprobeerd om traditionele stilometrische kenmerken-systemen te fuseren met LLM-gebaseerde embedding-systemen binnen het LR-paradigma, in het bijzonder voor niet-Engelstalige talen met een afwijkend schrift zoals het Japans.

Methodologie
Deze studie adresseert deze hiaten door het LR-raamwerk toe te passen op Japanse digitale teksten (fragmenten van ongeveer 1.000 tekens uit Yahoo! Blogs). Het onderzoeksontwerp omvat de volgende componenten:

• Dataset: Een corpus van 4.574 blogberichten van 2.287 unieke auteurs, afgeleid van de Balanced Corpus of Contemporary Written Japanese (BCCWJ). De data werd verdeeld in vijf batches voor vijfwaardige kruisvalidatie, waarbij gebruik is gemaakt van Trainings-, Validatie-, Test- en Kalibratiesets.
• Systeemarchitectuur: Zeven verschillende systemen zijn ontwikkeld en geëvalueerd:
  • Stylometrische Kenmerken-systemen (5 systemen): Deze maken gebruik van een Dirichlet-multinomial model om discrete, op tellingen gebaseerde inputs te verwerken. De kenmerken omvatten karakter-bigrammen, functiewoord-unigrammen, Part-of-Speech (POS) bigrammen, komma-bigrammen (komma en het voorafgaande karakter) en karaktertypen (hiragana, katakana, kanji, etc.).
  • Embedding-gebaseerde Systemen (2 systemen): Deze maken gebruik van pre-trained RoBERTa-modellen die zijn gefinetuned als Siamese netwerken. Eén systeem gebruikt woordniveau-tokenisatie (woord-embeddings), en het andere gebruikt karakterniveau-tokenisatie (karakter-embeddings). Scores worden afgeleid via cosinusafstand.
• Scoring en Kalibratie:
  • Stylometrische systemen genereren scores op basis van de ratio van waarschijnlijkheden onder de aanklagende versus de verdedigende hypothesen.
  • Embedding-systemen genereren gelijkenisscores op basis van cosinusafstand.
  • Alle ruwe scores worden omgezet naar log-waarschijnlijkheidsratio's (log LR) met behulp van logistische regressie-kalibratie om ervoor te zorgen dat de outputs goed gekalibreerde bewijswaarden zijn.
• Fusiestrategie: De studie maakt gebruik van logistische regressie om de scores van meerdere systemen te fuseren. Deze methode voert simultaan fusie en kalibratie uit, waarbij rekening wordt gehouden met de correlaties tussen de verschillende bronnen van bewijs. Alle mogelijke combinaties van twee tot zeven systemen zijn getest.

Belangrijkste Resultaten
De studie evalueerde de systeemprestaties met behulp van de log-waarschijnlijkheidsratio kosten ($C_{llr}$), waarbij lagere waarden duiden op een betere discriminatie en kalibratie.

• Prestaties van Individuele Systemen: Onder de individuele systemen behaalde het woord-embedding-systeem (Systeem 6) de beste prestaties ($C_{llr} = 0,38757$), waarmee het beste stilometrische systeem (Karakter-bigrammen, $C_{llr} = 0,47115$) overtrof.
• Fusieprestaties:
  • Stylometrische Fusie: Het fuseren van Karakter-bigrammen, Komma-bigrammen en POS-bigrammen leverde het beste stilometrische-resultaat op ($C_{llr} = 0,43964$).
  • Embedding Fusie: Het fuseren van woord- en karakter-embeddings verbeterde de prestaties naar $C_{llr} = 0,36186$.
  • Heterogene Fusie: Het optimale resultaat werd bereikt door vijf systemen te fuseren: Karakter-bigrammen, Komma-bigrammen, Karaktertypen, Woord-embeddings en Karakter-embeddings. Dit gefuseerde systeem behaalde een $C_{llr}$ van 0,32484.
• Impact van Fusie: Het best presterende gefuseerde systeem vertoonde:
  1. Uitstekende kalibratie (kalibratieverlies $C_{llr}^{cal} \approx 0,03$).
  2. Grotere magnitudes van de met de feiten overeenstemmende LRs (sterker bewijs wanneer auteurs overeenkomen).
  3. Afgenomen magnitudes van de tegen de feiten in gaande LRs (zwakker, minder misleidend bewijs wanneer auteurs niet overeenkomen).
  4. Verbeterde algehele discriminatie vergeleken met enig enkel systeem of homogene fusie.

Betekenis en Claims
De auteurs stellen dat deze studie de eerste is die het op LR gebaseerde forensische tekstvergelijkingsraamwerk toepast op Japanse digitale teksten. De primaire significantie ligt in het aantonen van de haalbaarheid van het LR-raamwerk voor een taal met een fundamenteel ander schrift (Japans) dan het Engels.

Verder stelt het artikel vast dat het fuseren van heterogene systemen — het combineren van traditionele, discrete stilometrische kenmerken met moderne, contextuele LLM-embeddings — superieure prestaties oplevert binnen het LR-paradigma. De resultaten suggereren dat hoewel individuele systemen sterke punten hebben, hun combinatie complementaire dimensies van auteurschap vangt (bijv. ruwe karaktersequenties versus syntactische patronen versus semantische context), wat leidt tot robuuster en discriminatiever forensisch bewijs. De studie concludeert dat het LR-raamwerk levensvatbaar is voor Japanse FTC en dat fusie over diverse modelleringsbenaderingen een cruciale strategie is voor het verhogen van de bewijskracht.