Diagnosing Structural Failures in LLM-Based Evidence Extraction for Meta-Analysis

Technische Samenvatting: Diagnostiek van Structurele Fouten in LLM-gebaseerde Bewijsextractie voor Meta-analyses

1. Probleemstelling

Systematische reviews en meta-analyses zijn essentieel voor wetenschappelijke synthese, maar het proces van het omzetten van narratieve artikelen naar gestructureerde, numerieke gegevens is extreem arbeidsintensief. Hoewel Large Language Models (LLM's) goed presteren bij het herkennen van geïsoleerde entiteiten (zoals namen of termen), is het onduidelijk of zij de structurele integriteit kunnen waarborgen die nodig is voor meta-analyse. Voor een succesvolle meta-analyse moeten modellen niet alleen entiteiten herkennen, maar ook complexe relaties behouden: de juiste koppeling tussen variabelen, hun rollen (onafhankelijk vs. afhankelijk), statistische methoden, eenheden en de bijbehorende effectgroottes, en dit alles correct toeschrijven aan de juiste bronpublicatie.

2. Methodologie

De auteurs introduceren een diagnostisch raamwerk dat extractie niet ziet als een eind-tot-eind taak, maar als een progressie van queries met toenemende relationele en numerieke complexiteit.

• Semantisch Schema: Er is een universeel schema ontwikkeld dat abstract is genoeg voor vijf verschillende wetenschappelijke domeinen (civiele techniek, medische wetenschappen, landbouw, milieuwetenschappen en sociale wetenschappen). Dit schema bevat eigenschappen zoals populatie, steekproefgrootte, variabelen, statistische methoden en effectgroottes.
• Query-hiërarchie: De evaluatie maakt gebruik van drie niveaus:
  1. L1 (Single-atom): Extractie van geïsoleerde eigenschappen (bijv. alleen de steekproefgrootte).
  2. L2 (Multi-atom binding): Extractie van complexe tuples (bijv. de koppeling van een onafhankelijke variabele, afhankelijke variabele én de bijbehorende effectgrootte).
  3. C (Derived statistical queries): Aggregatie-taken op basis van de geëxtraheerde data (bijv. het berekenen van het gemiddelde van alle steekproefgroottes in een corpus).
• Input Regimes: De modellen werden getest in twee scenario's: Per-Paper (elke paper apart verwerken) en Global (alle papers tegelijk in één lange context invoeren).
• Modellen: Er is vergeleken tussen een gesloten model (GPT-5.2) en een open-source vision-language model (Qwen3-VL).

3. Belangrijkste Bijdragen

1. Structureel Diagnostisch Raamwerk: Een methode om precies te identificeren waar een model faalt (bij de herkenning, de koppeling of de aggregatie).
2. Gecureerde Benchmark: Een handmatig geannoteerde dataset over vijf diverse wetenschappelijke domeinen.
3. Gelaagde Query-suite: Een systeem dat de complexiteit van relationele binding en numerieke gronding systematisch opbouwt.
4. Empirische Analyse van Foutpatronen: De identificatie van specifieke structurele zwakheden in huidige LLM's.

4. Resultaten

De resultaten laten een scherpe achteruitgang in prestaties zien naarmate de complexiteit toeneemt:

• Prestatiedaling: Terwijl de modellen redelijk scoren op eenvoudige L1-taken (geïsoleerde entiteiten), stort de betrouwbaarheid bijna volledig in bij L2-taken (het koppelen van variabelen aan effectgroottes). De extractie van volledige meta-analytische associatie-tuples heeft een betrouwbaarheid die neigt naar nul.
• Input Regime: De Global input (lange context) presteert consistent slechter dan de Per-Paper aanpak, wat wijst op problemen met informatieverwerking in uitgebreide teksten.
• Foutpatronen: De auteurs identificeerden vier kritieke fouten:
  • Role Confusion: Het omdraaien van de onafhankelijke en afhankelijke variabelen.
  • Binding Drift: Het onjuist koppelen van een variabele aan een statistische waarde die eigenlijk bij een andere analyse in hetzelfde document hoort.
  • Instance Compression: Het missen van data in secties met zeer veel resultaten (dense result sections).
  • Error Amplification: Kleine fouten in de extractie leiden tot volledig onjuiste statistische conclusies bij aggregatie (bijv. een foutieve gemiddelde waarde).

5. Betekenis en Conclusie

De studie concludeert dat de huidige beperkingen van LLM's voor meta-analyse niet liggen in het begrijpen van de taal, maar in het behouden van structurele getrouwheid. LLM's missen de capaciteit voor stabiele "relational binding" en numerieke gronding die nodig is voor wetenschappelijke synthese.

De implicatie is dat voor de automatisering van meta-analyses de focus moet verschuiven van puur neurale modellen naar neuro-symbolische benaderingen: systemen die expliciete schema's, programmeerbare beperkingen en verificatielagen gebruiken om de structurele relaties tussen wetenschappelijke data te waarborgen.