Normalisation-Based Likelihood Ratio Estimation for Forensic Authorship Verification

Technische Samenvatting: Normalisatie-gebaseerde Likelihood Ratio Schatting voor Forensische Auteurschapverificatie

Probleemstelling
Auteurschapverificatie (AV) in forensische contexten beoogt te bepalen of twee teksten een gemeenschappelijke auteur delen. De juridische standaard voor de evaluatie van dergelijk bewijs is het Likelihood Ratio (LR) raamwerk, dat de relatieve waarschijnlijkheid van het bewijs onder concurrerende aanklagende ($H_p$) en verdedigende ($H_d$) hypothesen kwantificeert. Hoewel score-gebaseerde AV-methoden bestaan, produceren deze doorgaans ongekalibreerde gelijkenissscores of ruwe likelihood ratios die de empirische frequenties niet betrouwbaar weerspiegelen. Om deze scores interpreteerbaar te maken als geldig forensisch bewijs, is een apart kalibratiemodel nodig—meestal logistische regressie. Dit kalibratieproces vereist grote, casus-specifieke datasets (tekstparen van dezelfde bron en verschillende bronnen) die vaak moeilijk, tijdrovend en kostbaar zijn om samen te stellen. Bovendien vereist de selectie van kalibratiedata subjectieve deskundige beslissingen (bijv. verankeringstrategieën) die verdere validatie behoeven, wat complexiteit en ondoorzichtigheid aan het forensische proces toevoegt.

Methodologie
Deze studie onderzoekt of de ruwe scores geproduceerd door LambdaG, een state-of-the-art binaire extrinsieke AV-methode gebaseerd op n-gram taalmodellering, direct getransformeerd kunnen worden naar goed gekalibreerde LRs zonder een apart trainingsmodel. De auteurs hypothetiseren dat de ruwe LambdaG-score ($\lambda_G$) lijdt aan "score-inflatie" door de afhankelijkheid van de methode van het optellen van onafhankelijke token-niveau bijdragen. Deze aggregatie gaat uit van conditionele onafhankelijkheid tussen kenmerken, een aanname die natuurlijke taal schendt vanwege herhaling. Bijgevolg accumuleren langere of zeer repetitieve teksten disproportioneel hoge scores, waardoor de bewijskracht wordt overschat.

Om dit aan te pakken, stelt het artikel twee innovatieve normalisatietechnieken voor die de ruwe $\lambda_G$-score direct schalen:

1. Vierkantswortel-correctie: Deze methode schaalt de score door de vierkantswortel van het aantal tokens in het onderzochte document ($N(Q)$). Het is gebaseerd op het statistische principe dat de variantie in geaggregeerde kenmerken vaak evenredig groeit met $\sqrt{N}$. De formule is:
   $$\Lambda_G = \frac{\lambda_G}{\sqrt{N(Q)}}$$
   Dit beoogt de inflatie veroorzaakt door tekstlengte te mitigeren, waarbij erkend wordt dat extra tokens in lange teksten een afnemende onafhankelijke bewijskracht bijdragen.

2. Hapax-correctie: Deze methode incorporeert een maatstaf voor lexicale diversiteit en redundantie. Het schaalt de score door de ratio van hapax legomena (woorden die precies één keer voorkomen, $V_1(Q)$) tot het totaal aantal tokens ($N(Q)$). De formule is:
   $$\Lambda_G = \lambda_G \times \frac{V_1(Q)}{N(Q)}$$
   Deze correctie richt zich op de redundantie van herhaalde patronen. In teksten met een lage diversiteit (hoge herhaling) is de ratio laag, waardoor de score wordt verlaagd om de kunstmatige inflatie tegen te gaan. Dit sluit aan bij de Herdan-Heap's Wet, die de sublineaire groei van de woordenschat beschrijft naarmate de tekstlengte toeneemt.

Experimenteel Protocol
De auteurs evalueerden deze correcties tegen de standaard baseline van logistische regressie kalibratie over 15 diverse corpora (inclusclusief academische artikelen, nieuws, blogs, recensies, fora, e-mails, chatlogs en tweets). De evaluatie maakte gebruik van de Log-Likelihood Ratio Cost ($C_{llr}$) metriek, waarbij lagere waarden duiden op betere kalibratie en discriminatie.

• Data: De studie omvatte 13.146 auteurschapverificatie-problemen.
• Variabelen: Voor een subset van corpora (Avocado, Twitter, Bolt) varieerden de auteurs systematisch de lengtes van de onderzochte tekst ($Q$) en de bekende-auteur tekst ($K$) van 100 tot 9.500 tokens om robuustheid over verschillende tekstlengtes te testen.
• Baseline: Logistische regressie modellen werden getraind op 40–50% van de data voor elk corpus en getest op de resterende data. De voorgestelde normalisaties werden direct toegepast op de ruwe scores zonder training.

Belangrijkste Resultaten

• Algemene Prestaties: Over de 15 corpora presteerde de Hapax-correctie beter dan logistische regressie kalibratie in 45,4% van de tests. In de resterende gevallen waarin logistische regressie beter presteerde, lag de prestatie van de Hapax-correctie in 56,91% van de instanties binnen 5% van de baseline.
• Robuustheid van Tekstlengte:
  • Op langere teksten (bijv. Avocado en Twitter met $K > 5.500$ tokens) bereikte logistische regressie vaak iets lagere piek $C_{llr}$ waarden, waarschijnlijk door stabielere parameterschatting met grotere datasets. Echter, de Hapax-correctie produceerde consequent goed gekalibreerde LRs ($C_{llr} < 0,1$) onder deze condities.
  • Op kortere teksten presteerde de Hapax-correctie regelmatig beter dan logistische regressie, wat een grotere robuustheid demonstreert wanneer data schaars is.
  • De Vierkantswortel-correctie werd over het algemeen overtroffen door zowel de Hapax-correctie als logistische regressie (verlies in meer dan 70% van de tests), hoewel het nog steeds verbeteringen bood ten opzichte van de ruwe scores.
• Anomalieën: Logistische regressie kalibratie produceerde incidenteel misleidende resultaten ($C_{llr} > 1$) op datasets met kleine kalibratiesets (bijv. Twitter, Avocado), wat wijst op gevoeligheid voor ruis en overfitting. De voorgestelde normalisaties vertoonden lagere variabiliteit en grotere stabiliteit.
• Bolt Corpus (Korte Teksten): Op de SMS/Chat corpus (met zeer korte teksten van 100–500 tokens) presteerde de Vierkantswortel-correctie beter dan de Hapax-correctie in 84% van de condities, waarschijnlijk omdat de Hapax-ratio onbetrouwbaar en ruizig wordt in extreem korte monsters waar de vocabulairegroei snel verloopt.

Betekenis en Claims
Het artikel claimt dat deze normalisatietechnieken een functioneel gelijkwaardig, doch eenvoudiger alternatief bieden voor logistische regressie kalibratie voor de LambdaG-methode. De primaire betekenis ligt in de eliminatie van het kalibratiemodel, wat:

1. De Datavoorwaarden Vermindert: Het vermindert de noodzaak voor grote, casus-specifieke trainingsdatasets die moeilijk te verkrijgen zijn.
2. Transparantie Verhoogt: Vervangt de "ondoorzichtige" logistische regressie transformatie door eenvoudige, interpreteerbare wiskundige correcties die geworteld zijn in lexicale statistiek en gebruiksgebaseerde linguïstische theorie.
3. Toegankelijkheid Verbeteren: Vereenvoudigt de forensische workflow, waardoor de afleiding van gekalibreerde LRs toegankelijker is voor experts en gemakkelijker uit te leggen aan juridische feitenonderzoekers.

De auteurs concluderen dat hoewel de Hapax-correctie de logistische regressie niet universeel domineert, haar vermogen om vergelijkbare prestaties te handhaven over variërende tekstlengtes en registers—zonder de computationele en data-belastingen van het trainen van een model—haar adoptie in forensische settings voor Engelstalige teksten ondersteunt. De studie stelt dat deze correcties effectief de afnemende bewijskracht van herhaalde linguïstische patronen modelleren, en daarmee een wetenschappelijk validere benadering bieden dan standaard kalibratie voor deze specifieke klasse van AV-methoden.