Few-Shot Biomedical Relation Extraction with Large Language Models: A Viable Alternative to Supervised Learning?

Technische Samenvatting: Few-Shot Biomedische Relatie-extractie met Large Language Models

Probleemstelling
Biomedische relatie-extractie (BioRE) is cruciaal voor het omzetten van ongestructureerde literatuur naar gestructureerde kennisgrafen. Bestaande benaderingen vertrouwen echter voornamelijk op supervised learning, wat kostbare, door experts geannoteerde datasets vereist en vaak moeite heeft met het generaliseren naar zeldzame relatietypes of nieuwe domeinen. Hoewel Large Language Models (LLM's) een potentiële oplossing bieden voor situaties met weinig middelen via prompt-gebaseerd leren, is hun prestatie in BioRE inconsistent geweest, met gerapporteerde resultaten die variëren van aanzienlijke onderprestatie tot concurrentievermogen met supervised baselines. Bov�ar, een systematische vergelijking van verschillende taakformuleringen (pairwise classificatie versus joint generatie) en hun afwegingen tussen extractiekwaliteit en computationele efficiëntie ontbrak tot nu toe.

Methodologie
De auteurs onderzoeken few-shot BioRE met behulp van prompt-gebaseerd leren met recente open-weight LLM's (Gemma-4 en Qwen-3.5 families, specifiek de 25–35B parameter varianten). De studie wordt uitgevoerd op de BioREDirect dataset, die PubMed-abstracts bevat geannoteerd met zes entiteitstypes en acht relatietypes. De evaluatie richt zich op document-niveau extractie, een uitdagendere setting dan sentence-level extractie vanwege de langetermijnafhankelijkheden (long-range dependencies).

De studie vergelijkt twee primaire taakformuleringen:

1. Pairwise Classification: Het model verwerkt de tekst met één geannoteerd entiteitspaar en voorspelt het relatietype (of "None"). Dit vereist één modeloproep per kandidaat-paar.
2. Joint Generation: Het model verwerkt de tekst met meerdere geannoteerde entiteiten en genereert alle ondersteunde (head, tail, relation) triples in één enkele oproep.
   • Om de precisie-recall afweging te analyseren, introduceren de auteurs een $k$-constrained generation setting. Hierbij worden entiteiten verdeeld in overlappende subsets van grootte $k$ (waarbij $k < N$, het totaal aantal entiteiten). Voorspellingen uit overlappende subsets worden geaggregeerd via meerderheidsstemming.

De experimenten maken gebruik van deterministische decoding en evalueren prestaties met en zonder redeneervermogen (tussenliggende redeneerstappen). Metrics zijn onder meer Precision, Recall, Micro-F1 en Macro-F1 (om rekening te houden met klassenimbalans), naast een gewogen token-kostenmetriek om de computationele efficiëntie te meten.

Belangrijkste Resultaten

• Prestaties vs. Supervised Baselines: Het best presterende few-shot model (Qwen3.5-27B in pairwise classification) behaalde een Micro-F1 score van 0,44, waarmee het eerdere few-shot resultaten (0,34) aanzienlijk overtrof, maar nog steeds onder de supervised PubMedBERT baseline (0,56) bleef.
• Het "Association" Class Effect: Het prestatieverschil met supervised modellen wordt grotendeels toegeschreven aan het "Association" relatietype, dat ambigu gedefinieerd is en dient als een fallback-label in de dataset. Wanneer geëvalueerd met Macro-F1 (dat de prestaties over ongebalanceerde klassen beter vastlegt), overtroffen de prompt-gebaseerde benaderingen de supervised baseline (0,45 vs. 0,38), met name op zeldzame relatietypes zoals Bind, Comparison en Cotreatment.
• Afwegingen in Taakformulering:
  • Pairwise Classification behaalde consistent een hogere recall, wat het geschikt maakt voor toepassingen die maximale relatie-dekking vereisen.
  • Joint Generation leverde een hogere precision op, maar een lagere recall, waarschijnlijk door de autoregressieve aard van generatie waarbij onzekere relaties worden weggelaten.
  • $k$-constrained generation bood een afstembaar middenpad, waardoor beoefenaars de balans kunnen vinden tussen precisie, recall en kosten.
• Computationele Efficiëntie: Joint generation was aanzienlijk efficiënter, waarbij de computationele kosten met wel 25× werden verminderd ten opzichte van pairwise classification. Hoewel het mogelijk maken van redeneren de prestaties verbeterde (vooral voor Mixture-of-Experts modellen), bracht dit substantiële computationele kosten met zich mee door de toename van gegenereerde output-tokens. Mixture-of-Experts (MoE) architecturen bleken kostenefficiënter dan dense modellen.

Betekenis en Claims
Het artikel claimt dat few-shot LLM's een levensvatbaar alternatief vormen voor supervised learning bij BioRE, met name in situaties met weinig middelen of bij het werken met goed gedefinieerde, specifieke relatietypes. De auteurs stellen dat de waargenomen onderprestatie van LLM's ten opzichte van supervised modellen vaak een artefact is van dataset-imbalans en annotatie-ambiguïteit (specifiek de "Association" klasse) in plaats van een fundamentele beperking van de modellen.

De studie benadrukt dat:

1. Macro-F1 een cruciale metriek is voor het evalueren van BioRE in ongebalanceerde settings, waar LLM's een superieure generalisatie vertonen naar zeldzame relaties vergeleken met supervised baselines.
2. Taakformulering ertoe doet: De keuze tussen pairwise classification en joint generation moet worden gedreven door specifieke applicatiebehoeften (recall vs. precisie/kosten) in plaats van door één enkele "beste" metriek.
3. Goed gedefinieerde schema's essentieel zijn: De prestaties van instructie-gestuurde LLM's zijn sterk afhankelijk van heldere relatie-definities; ambiguïteit in annotatieschema's beïnvloedt LLM's onevenredig veel vergeleken met modellen die direct op de ruisgevoelige data zijn getraind.

De auteurs concluderen dat hoewel LLM's de supervised baselines in rauwe Micro-F1 nog niet volledig evenaren, hun flexibiliteit, vermogen om te generaliseren naar zeldzame klassen en hun computationele efficiëntie (via joint generation) hen een aantrekkelijke optie maken voor biomedische kennisextractie.