Technische Samenvatting: DistilledGemma voor Persoon-Plaats Relatie-extractie

Probleemdefinitie

Het artikel behandelt de uitdaging van Persoon-Plaats Relatie-extractie uit meertalige historische krantenartikelen, specifiek binnen de context van de HIPE-2026 shared task. Het doel is om de relatie tussen geëxtraheerde persoon- en plaatsentiteiten te classificeren in Engelse, Duitse en Franse teksten. De taak behelst het voorspellen van twee specifieke relaties:

1. at: Of de persoon ooit met de plaats geassocieerd is geweest (labels: TRUE, PROBABLE, FALSE).
2. isAt: Of de persoon zich op de plaats bevindt binnen de onmiddellijke temporele horizon van het artikel (labels: TRUE, FALSE).

De taak presenteert aanzienlijke hindernissen, waaronder:

• Ruisende OCR-tekst: Historische documenten bevatten frequente fouten in de optische tekenherkenning die de kwaliteit van entiteitsvermeldingen verslechteren.
• Klassenimbalans: De negatieve labels domineren de dataset (ongeveer 55% voor at en 78% voor isAt), wat modellen richting foutieve voorspellingen stuurt.
• Meertalige Redenering: Modellen moeten consistent presteren over drie typologisch diverse talen met variërende beschikbaarheid van data.
• Impliciet Bewijs: Veel verbindingen zijn impliciet in plaats van expliciet, wat wereldkennis en contextuele inferentie vereist.

Hoewel Large Language Models (LLMs) veelbelovend zijn, is het computationeel onpraktisch om modellen met voldoende capaciteit (bijv. 26B+ parameters) in te zetten voor het verwerken van miljoenen historische documenten. De kernonderzoeksvraag is of de relatie-extractiecapaciteiten van een groot, gefinetuned LLM gedestilleerd kunnen worden naar een kleiner model dat geschikt is voor praktische implementatie zonder catastrofale prestatievermindering.

Methodologie

De auteurs stellen DistilledGemma voor, een driestaps kennisdistillatie-pipeline ontworpen om een balans te vinden tussen classificatienauwkeurigheid en computationele efficiëntie.

Fase 1: Modelselectie en Prompt Engineering

De auteurs evalueerden systematisch acht LLM-configuraties binnen vier families (Gemma, Qwen, Mistral, HY-MT) met behulp van diverse prompt engineering-strategieën.

• Prompt Design: Vijf prompt-varianten werden getest, waarbij een Chain-of-Thought (CoT) template het meest effectief bleek. Deze prompt frameert het model als een historicus, definieert expliciet de at en isAt relaties, dwingt logische beperkingen af (bijv. als isAt TRUE is, moet at ook TRUE zijn), en vereist beknopte, op bewijs gebaseerde JSON-outputs.
• Selectie: Het Gemma 4 26B A4B model werd gekozen als de "teacher" vanwege de superieure zero-shot macro-gemiddelde recall (0.7255) en de overeenkomst met de doelstelling van de student-familie.

Fase 2: Teacher Fine-Tuning en Silver Data Generatie

Het geselecteerde teacher-model werd gefinetuned met behulp van QLoRA (Quantized Low-Rank Adaptation) op de HIPE-trainingsdata.

• Configuratie: LoRA rank $r=32$, $\alpha=64$, toegepast op alle attention en MLP projecties. De training draaide gedurende 3 epochs met een batchgrootte van 32 (via gradient accumulation).
• Data Generatie: Het gefinetuned teacher-model genereerde silver-standard trainingsdata voor het gehele corpus. Cruciaal was dat deze outputs niet alleen de voorspelde labels bevatten, maar ook Chain-of-Thought verklaringen, waardoor het redeneerproces achter elke beslissing werd vastgelegd.

Fase 3: Student Distillatie

Een compact Gemma 4 E2B model (ongeveer 2.3B parameters) diende als de "student".

• Trainingsstrategie: De student werd getraind op de door de teacher gegenereerde silver data met behulp van QLoRA ($r=16, \alpha=32$) voor 6 epochs.
• Distillatie-aanpak: Dit was een response-level distillatie waarbij de student leerde om de gestructureerde redeneerpatronen en label-outputs van de teacher na te bootsen, in plaats van enkel op gold labels te trainen.
• Implementatie: De LoRA-adapters werden samengevoegd met het basismodel voor inferentie, wat resulteerde in een inzetbaar 2.3B parameter model.

Post-verwerking

Om klassenimbalans aan te pakken en semantische consistentie te waarborgen, werd een regelgebaseerde post-verwerkingsstap toegepast op alle outputs. Dit dwong af:

1. Entiteit-type compatibiliteit.
2. Relatie-richting beperkingen (persoon-naar-plaats).
3. Contextuele triggerpatronen.
4. Logische beperkingen (specifiek, isAt=TRUE impliceert at=TRUE).

Belangrijkste Resultaten

Het systeem, ingediend door team "WHEREAMI", behaalde de volgende resultaten in de officiële HIPE-2026 evaluatie:

• Standaard Accuratieprofiel: Gerangschikt op de 3e plaats met een gemiddeld profielscore van 0.688.
• Binair Accuratieprofiel: Gerangschikt op de 2e plaats met een gemiddelde profielscore van 0.8156.
• Gebalanceerd Efficiëntie-Accuratieprofiel: Gerangschikt op de 2e plaats op zowel de standaard als de binaire testsets.

Effectiviteit van Distillatie:

• Het gedestilleerde 2.3B student-model herstelde ongeveer 88% van de macro-gemiddelde recall-prestaties van de 26B teacher.
• Dit werd bereikt met een 11x reductie in het aantal ingezette parameters.
• De gedestilleerde student presteerde beter dan verschillende grotere zero-shot modellen (bijv. Qwen3.5 9B en Gemma 4 E4B) in macro-gemiddelde recall, wat valideert dat distillatie de prestatiekloof tussen kleine en grote modellen kan overbruggen.

Efficiëntie:

• Het 2.3B student-model kan worden bediend op een enkele consumenten-GPU (<8 GB VRAM) en verwerkt ongeveer ~50 paren per seconde.
• In contrast hiermee vereist de 26B teacher hardware met veel geheugen en werd deze enkel offline gebruikt voor datageneratie.

Betekenis en Claims

Het artikel claimt dat DistilledGemma een praktische en schaalbare oplossing biedt voor de verwerking van historische documenten. De primaire betekenis ligt in het aantonen dat:

1. Kennisdistillatie levensvatbaar is voor historische NLP: Het is mogelijk om complexe redeneercapaciteiten van een groot, gefinetuned LLM over te dragen aan een compact model zonder significante prestatievermindering.
2. Redeneringsoverdracht ertoe doet: Trainen op de Chain-of-Thought traces van de teacher (response-level distillatie) stelt de student in staat om gestructureerde inferentiepatronen te leren, wat effectiever is dan enkel op labels trainen, met name voor taken die genuanceerde bewijsvoering vereisen.
3. Efficiëntie-Nauwkeurigheid Afweging: De aanpak levert concurrerende prestaties voor meertalige relatie-extractie zonder de excessieve computationele kosten die gepaard gaan met het inzetten van 26B+ parameter modellen, wat het geschikt maakt voor grootschalige digitale geesteswetenschappen-pipelines.

De auteurs concluderen dat hoewel grote modellen domineren in zero-shot settings, een zorgvuldig ontworpen distillatie-pipeline een superieur evenwicht biedt voor real-world implementatiescenario's waar computationele middelen beperkt zijn.