LLMs Underperform Graph-Based Parsers on Supervised Relation Extraction for Complex Graphs

Probleemstelling

Relationele extractie (RE) is een fundamentele taak in de NLP voor het creëren van kennisgrafieken, waarbij entiteiten en de relaties ertussen worden geïdentificeerd. Hoewel Large Language Models (LLMs) steeds vaker worden ingezet voor RE, zowel in in-context learning (ICL) als in gesuperviseerde settings, is er tot nu toe geen directe vergelijking gemaakt tussen LLMs en traditionele, op grafen gebaseerde parsers in een volledig gesuperviseerde context.

De kernvraag van dit onderzoek is: Hoe presteren LLMs ten opzichte van lichtere, gespecialiseerde grafen-parsers wanneer de complexiteit van de onderliggende linguïstische graaf (het aantal relaties en entiteiten in een tekst) toeneemt? De auteurs vermoeden dat de schaalbaarheid van LLMs beperkt is bij complexe grafen, ondanks hun enorme parametergrootte.

Methodologie

De auteurs hebben een uitgebreid experiment opgezet om vier LLMs te vergelijken met een op grafen gebaseerde parser op zes verschillende datasets met variërende complexiteit.

1. Datasets en Complexiteit:
Er zijn zes datasets gebruikt die variëren van eenvoudige zinnen met weinig relaties tot complexe documenten met honderden relaties:

• Eenvoudige grafen: CoNLL04, ADE en SciERC (meeste samples hebben ≤5 relaties).
• Complexe grafen: enEWT (Web Treebank), SciDTB (wetenschappelijke abstracts) en ERFGC (culinaire recepten als stroomgrafieken). Deze datasets bevatten gemiddeld 18 tot 49 relaties per document, met maxima tot 167 relaties.

2. Geëvalueerde Modellen:

• LLMs: Vier modellen met verschillende grootte en architectuur:
  • Mistral-7B-Instruct-v0.3 (7B parameters)
  • Qwen3-14B-Base (14B parameters, geen instructie-tuning)
  • Qwen3-32B (32B parameters)
  • Llama-3.3-70B-Instruct (70B parameters)
  • Opmerking: De LLMs werden gefinetuned met LoRA (Low-Rank Adaptation) en getest in verschillende prompt-configuraties (met/zonder beschrijvingen, met/zonder ICL-voorbeelden, en zelfs met een "UUID"-prompt of een "adversariale" prompt).
• Graph-based Parser: Een lichtgewicht architectuur gebaseerd op Dozat & Manning (2017) en uitgebreid door Bhatt et al. (2024). Dit model heeft slechts 124M parameters (waarvan slechts ~14M trainbaar bovenop een bevroren BERT-encoder). Het gebruikt biaffine attention en Graph Neural Networks (GNN) om afhankelijkheidsbomen en relaties direct te voorspellen.

3. Evaluatiemetingen:
De prestaties werden gemeten aan de hand van Micro-F1 scores. De evaluatie was "exact": een triple (hoofd, relatie, afhankelijke) werd alleen als correct beschouwd als zowel de entiteiten als de relatie exact overeenkwamen.

Belangrijkste Resultaten

1. Prestatieverschil gebaseerd op complexiteit:

• Eenvoudige grafen: Bij datasets met weinig relaties (zoals CoNLL04, ADE) presteren de LLMs (vooral na finetuning) vergelijkbaar met of zelfs beter dan de grafen-parsers.
• Complexe grafen: Zodra het aantal relaties in een document toeneemt, daalt de prestatie van de LLMs drastisch. De grafen-parsers blijven stabiel en presteren aanzienlijk beter.
  • Op de meest complexe dataset (ERFGC, gemiddeld ~49 relaties) presteerde de grafen-parsers met een F1-score van 0.713, terwijl de beste LLM (Qwen3-32B) slechts 0.606 haalde.
  • Het prestatieverschil (delta) groeit exponentieel met de complexiteit: van 1,4 punten op enEWT tot 13,2 punten op ERFGC.

2. Correlatie met graafgrootte:
Er werd een sterke negatieve correlatie gevonden tussen het aantal relaties ($k$) en de F1-score van de LLMs (Pearson $r \approx -0.64$ voor Qwen3-14B op ERFGC). Voor de grafen-parsers was deze correlatie veel zwakker, wat aangeeft dat ze minder gevoelig zijn voor toename in complexiteit.

3. Parametergrootte vs. Prestatie:
Interessant is dat de 124M-parameter grafen-parsers consistent beter presteert dan de 32B en 70B parameter LLMs op complexe taken. Dit weerlegt de aanname dat "groter altijd beter is" voor deze specifieke taak.

4. Prompting en Finetuning:

• De prestaties van de LLMs waren niet sterk afhankelijk van de prompt-structuur (beschrijvingen, ICL-voorbeelden) tijdens het finetunen.
• Zelfs een "UUID"-prompt (zonder instructies, alleen een code) leverde goede resultaten op, wat suggereert dat het model de taak leert te herkennen via de finetuning en niet via de prompt-instructies.
• Adversariale prompts (waarbij het model gevraagd wordt de taak niet uit te voeren) toonden aan dat gefinetunde modellen de instructie van de prompt negeren en toch de triple-extractie uitvoeren, wat aantoont dat het gedrag door het finetunen is verankerd.

Kernbijdragen

1. Empirisch Bewijs: Het artikel levert het eerste directe bewijs dat LLMs onderpresteren ten opzichte van gespecialiseerde, lichtere modellen bij relationele extractie in complexe linguïstische grafen.
2. Schaalbaarheidsprobleem: Het identificeert dat de noodzaak van tekstuele formatting (prompting en generatie van JSON/triples) door LLMs "ruis" injecteert in de causale attention-mechanismen. Dit vergroot de afstand tussen relevante tokens, wat funest is voor het voorspellen van lange-afstand relaties in grote grafen.
3. Efficiëntie: Het toont aan dat voor gesuperviseerde RE-taken op complexe data, een model van 124M parameters (graf-parsen) superieur is aan modellen van 70B+ parameters, zowel qua nauwkeurigheid als inferentiesnelheid (één doorloop vs. duizenden forward passes voor een grote graaf).

Significantie en Conclusie

De studie concludeert dat LLMs, ondanks hun veelzijdigheid, niet de ideale oplossing zijn voor relationele extractie in scenario's met complexe, dichtbevolkte kennisgrafieken. De beperkingen liggen in de architectuur van autoregressive modellen die tekst genereren, wat inefficiënt is voor het structureren van complexe grafen.

Voor praktische toepassingen waarbij kennisgrafieken moeten worden opgebouwd uit complexe teksten (zoals recepten, technische documentatie of uitgebreide juridische teksten), zijn gespecialiseerde grafen-parsers de superieure keuze. Ze zijn lichter, sneller en nauwkeuriger. De auteurs suggereren dat toekomstig onderzoek zich moet richten op het verminderen van de tekstuele formatting-overhead bij LLMs of het integreren van grafen-structuren directer in de attention-mechanismen van LLMs om deze kloof te overbruggen.