GerAV: Towards New Heights in German Authorship Verification using Fine-Tuned LLMs on a New Benchmark

Probleemstelling

Auteurverificatie (Authorship Verification - AV) is de taak om te bepalen of twee teksten door dezelfde auteur zijn geschreven. Hoewel dit veld uitgebreid is bestudeerd voor de Engelse taal, ontbreekt het aan grote, gestandaardiseerde benchmarks en systematische evaluaties voor andere talen, met name het Duits. Bestaande methoden zijn vaak beperkt tot feature-based benaderingen of kleine datasets, en het potentieel van Large Language Models (LLMs) voor AV in niet-Engelse contexten is onderzocht. Dit creëert een gat in de forensische toepasbaarheid, waar betrouwbare en hoogpresterende methoden cruciaal zijn (bijvoorbeeld voor het opsporen van misinformatie of criminele activiteiten).

Methodologie

1. De GerAV Benchmark
De auteurs introduceerden GerAV, een omvangrijke benchmark voor Duitse auteurverificatie bestaande uit meer dan 400.000 gelabelde tekstparen. De dataset is afgeleid van twee sociale media-platforms:

• Reddit: Onderverdeeld in drie subsets:
  • In-domain (rid): Paren uit hetzelfde subdomein.
  • Cross-domain (rcd): Paren uit verschillende thematische domeinen (geclusterd met GPT-4o) om de robustheid tegen inhoudelijke verschuivingen te testen.
  • Profile-based (rpb): Geconstrueerde profielen waarbij alle posts van een gebruiker worden samengevoegd om te evalueren hoe modellen presteren met meer data per auteur.
• Twitter (tw): Een dataset van Duitse tweets.
• Mixed (mix): Een gecombineerde dataset van alle bovenstaande bronnen.

De datasets zijn zorgvuldig gefilterd (bijv. uitsluiting van bots, minimale lengte van 25 woorden) en gesplitst in training, validatie en testsets zonder auteurs-overlap.

2. Experimenteel Opzet
De auteurs voerden een brede evaluatie uit met drie categorieën van modellen:

• Basislijnen (Baselines): Bestaande methoden zoals feature-based benaderingen (n-gram, ppm), neurale netwerken (hLSTM) en Siamese BERT-netwerken (sBERT).
• Zero-shot LLMs: Evaluatie van recente modellen (Gemma-3, Llama-3, Qwen-2.5) en GPT-5 zonder fine-tuning, gebruikmakend van prompt-engineering.
• Fine-tuned LLMs: De kern van de studie. De auteurs fine-tuneden vier open-source LLMs (Gemma-3-12b, Llama-3.1-8b, Llama-3.2-3b, Qwen-2.5-7b) op de GerAV training sets met behulp van LoRA (Low-Rank Adaptation) voor parameter-efficiëntie.

3. Evaluatiemetrics
De prestaties werden gemeten aan de hand van Accuracy, F1-score en ROC AUC. Statistische significantie werd getest met gepaarde non-parametrische bootstrap-tests.

Belangrijkste Bijdragen

1. GerAV Dataset: De introductie van een van de grootste benchmarks voor Duitse auteurverificatie, die diverse scenario's (in-domain, cross-domain, profielgebaseerd) mogelijk maakt.
2. Systematische Evaluatie: De meest uitgebreide vergelijking tot nu toe die traditionele baselines, zero-shot LLMs en fine-tuned LLMs omvat voor een niet-Engelse taal.
3. State-of-the-Art Resultaten: Het aantonen dat fine-tuned open-source LLMs aanzienlijk beter presteren dan bestaande methoden en zelfs gesloten modellen (zoals GPT-5) kunnen verslaan in zero-shot settings.
4. Analyse van Generalisatie: Diepgaande inzichten in de trade-off tussen specialisatie (trainen op specifieke data) en generalisatie (presteren op nieuwe data), en het effect van tekstlengte en taalafhankelijkheid.

Resultaten

• Prestatie van Fine-tuned LLMs: De beste aanpak was Gemma-3-12b, fine-tuned op de gemengde dataset (mix). Dit model behaalde een gemiddelde F1-score van 0,83 over alle testsets. Dit is een verbetering van 0,09 ten opzichte van de beste traditionele baseline (msr met 0,74).
• Vergelijking met GPT-5: Op een kleine testsubset versloeg het fine-tuned Gemma-3-12b model GPT-5 met 0,08 punten in F1-score, terwijl het aanzienlijk kleiner en lokaal inzetbaar is.
• Cross-Domain Generalisatie: Modellen getraind op gemengde data presteerden het beste over alle domeinen heen. Modellen getraind specifiek op cross-domain data presteerden slechter op in-domain data, wat aangeeft dat diversiteit in trainingdata essentieel is voor robuustheid.
• Invloed van Tekstlengte: Er is een sterke correlatie tussen tekstlengte en prestatie (Spearman correlatie tot 0,94). De F1-score stijgt van ongeveer 0,78 bij 25 woorden naar bijna 1,0 bij 900 woorden. Fine-tuned modellen profiteren hier het meest van als ze ook lange voorbeelden in de training hebben gezien.
• Taalafhankelijkheid: Een model getraind op Engelse Twitter-data presteerde slecht op de Duitse testset (daling van 0,12 in F1), wat het belang van taal-specifieke datasets onderstreept.
• Low-Resource Scenarios: Zelfs met slechts een kwart van de training data (20.000 in plaats van 80.000 samples) daalde de F1-score slechts met 0,04, wat aangeeft dat de LoRA-methode zeer efficiënt is voor data-arme scenario's.

Betekenis en Conclusie

Dit paper markeert een belangrijke stap in de forensische taalverwerking voor het Duits. Het toont aan dat:

1. Fine-tuning cruciaal is: Open-source LLMs, wanneer ze specifiek worden getraind op auteurverificatie-taken, superieur zijn aan zowel traditionele methoden als zero-shot prompts van gesloten modellen.
2. Data-diversiteit nodig is: Het combineren van verschillende bronnen (Reddit, Twitter) en domeinen leidt tot robuustere modellen die beter generaliseren dan modellen die op één specifiek domein zijn getraind.
3. Toepasbaarheid: De resultaten maken het mogelijk om betrouwbare, lokaal draaiende systemen te bouwen voor forensisch onderzoek, zonder afhankelijk te zijn van dure API's of gesloten modellen, terwijl de privacy en reproduceerbaarheid gewaarborgd blijven.

De auteurs benadrukken echter ook de beperkingen, zoals het gebrek aan interpretabiliteit (de "black box" aard van LLMs) en de noodzaak voor menselijke evaluatie in hoog-risico scenario's. Toekomstig werk zou zich moeten richten op het verbeteren van de uitlegbaarheid van de modellen en het uitbreiden naar andere low-resource talen.