Large Language Models for Biomedical Article Classification

Probleemstelling

De klassieke aanpak voor tekstclassificatie vereist doorgaans een groot aantal gelabelde trainingsdata, wat in gespecialiseerde domeinen zoals de biomedische wetenschap vaak kostbaar en tijdrovend is om te verkrijgen (door menselijke annotatie). Hoewel Large Language Models (LLM's) bekend staan om hun generatieve vermogen, is hun effectiviteit als tekstclassificator voor complexe domeinen met ernstige klasse-ongelijkheid en vage klassengrenzen nog niet volledig onderzocht.

De auteurs identificeren een specifiek gat in het bestaande onderzoek:

1. De meeste eerdere studies beperken zich tot de nauwkeurigheid van de voorspelde klasse (discreet), zonder de mogelijkheid om voorspellingsvertrouwen (probabiliteiten) te genereren.
2. Er is weinig systematisch onderzoek gedaan naar de impact van verschillende output-verwerkingsmethoden, voorbeeldselectie-strategieën voor "few-shot" learning, en geavanceerde prompttechnieken op de prestaties in een strikt biomedische context.

Het doel van deze studie is om de bruikbaarheid van LLM's te evalueren voor het classificeren van biomedische artikelen (specifiek voor systematische literatuurreviews) en de meest veelbelovende configuraties te identificeren.

Methodologie

De studie is uitgevoerd op 15 datasets afkomstig uit de "Drug Class Review" (DCR), waarbij de taak is om te bepalen of een artikel (abstract) relevant is voor een specifieke medicijncategorie (inclusie/exclusie). De datasets kenmerken zich door ernstige onbalans (slechts 2-35% positieve klassen).

Experimenteel Ontwerp:
De auteurs hebben een reeks experimenten uitgevoerd om verschillende variabelen te testen:

• Modellen: Vier open-source modellen (Llama 3.1 8B/70B, Mistral 7B, Gemma 2 9B) en twee gesloten bron-modellen (GPT-4.1 mini/nano).
• Prompts: Variatie in complexiteit (simpel, medium, complex) en structuur (zero-shot vs. few-shot).
• Output-verwerking: Vergelijking van methoden om een klasse te extraheren:
  • Directe tekst (woord).
  • Gestructureerde JSON.
  • Numerieke score (0-5).
  • Token-probabiliteiten: Berekening van klassenprobabiliteiten op basis van de kansverdeling van het gegenereerde eerste token (een innovatieve aanpak in deze context).
• Few-Shot Strategieën:
  • Aantal voorbeelden (1 tot 4).
  • Selectiemethoden: Willekeurig vs. semantische gelijkenis (gebruikmakend van embedding-modellen zoals all-MiniLM-L6-v2, all-distilroberta-v1, all-mpnet-base-v2).
  • Class rebalancing (balanceren van voorbeelden per klasse).
• Geavanceerde Technieken: Chain of Thought (CoT), Tree of Thoughts (ToT) en "Chunking" (opsplitsen van lange teksten).
• Benchmarks: Vergelijking met conventionele algoritmen (Naive Bayes, Random Forest) en fine-tuned transformer-modellen (DeBERTa, SciDeBERTa-v2).

Evaluatiemetingen:
De prestaties zijn gemeten met stratified 5-fold cross-validation. Belangrijke metrieken zijn:

• Discreet: Precision, Recall, F1-score, Matthews Correlation Coefficient (MCC).
• Probabilistisch: Area Under the Precision-Recall Curve (AUPRC). Dit is cruciaal vanwege de onbalans in de datasets en de behoefte aan voorspellingsvertrouwen.

Belangrijkste Bijdragen

1. Systematische Evaluatie van Output-verwerking: Het artikel introduceert en valideert het gebruik van token-probabiliteiten voor het schatten van klassenprobabiliteiten. Dit bleek superieur te zijn ten opzichte van het vragen aan het model om een numerieke score te geven of JSON-output te genereren.
2. Uitgebreide Vergelijking van Few-Shot Selectie: Het onderzoek toont aan dat semantische gelijkenis (via embeddings) aanzienlijk beter presteert dan willekeurige selectie, maar dat het balanceren van klassen in de few-shot voorbeelden geen verbetering bracht.
3. Realistische Benchmarking: In plaats van alleen te kijken naar nauwkeurigheid, worden de LLM's vergeleken met conventionele methoden op 15 uitdagende biomedische datasets, waarbij zowel zero-shot als few-shot scenario's worden getest.
4. Praktische Richtlijnen: Het papier biedt concrete aanbevelingen voor het opzetten van LLM-classificatiepipelines in domeinen met weinig gelabelde data.

Resultaten

• Prestaties: De beste LLM-configuraties (few-shot met token-probabiliteiten) behaalden een gemiddelde AUPRC van bijna 0,5. Dit komt dicht in de buurt van de prestaties van conventionele methoden:
  • Naive Bayes: ~0,50
  • Random Forest (tuned): ~0,55
  • Fine-tuned SciDeBERTa: ~0,53
• Zero-shot vs. Few-shot: Zero-shot prompting leverde een gemiddelde AUPRC van >0,4 op, wat al indrukwekkend is. Few-shot (met slechts 3 voorbeelden) bracht een aanzienlijke verbetering, maar meer dan 3-4 voorbeelden leverde geen significante meerwaarde op.
• Output-verwerking: Het berekenen van probabiliteiten op basis van token-probabiliteiten (Token-Word en Token-JSON) gaf de hoogste AUPRC-scores, aanzienlijk beter dan het vragen om een numerieke score of het extraheren van een enkel woord.
• Geavanceerde Technieken: Technieken zoals Chain of Thought, Tree of Thoughts en Chunking verbeterden de prestaties niet significant ten opzichte van de basis few-shot setup, ondanks de extra rekenkosten.
• Modelkeuze: Er was geen duidelijke correlatie tussen modelgrootte en prestaties. De Llama 3.1 8B presteerde soms zelfs beter dan de 70B variant. Gesloten bron-modellen (GPT-4.1) presteerden vergelijkbaar met de beste open-source modellen.
• Conventionele vs. LLM: Hoewel conventionele modellen (vooral fine-tuned transformers en Random Forest) over het algemeen iets beter presteerden, waren de LLM's in veel gevallen (bijv. ADHD, Estrogenen, Opiaten) vergelijkbaar of zelfs superieur, vooral gezien het gebrek aan trainingsdata voor de LLM's.

Betekenis en Conclusie

De studie bevestigt dat Large Language Models bruikbare tekstclassificatoren zijn voor complexe, gespecialiseerde domeinen zoals de biomedische wetenschap, zelfs zonder extensive fine-tuning.

Praktische aanbevelingen:

1. Gebruik few-shot prompting met een klein aantal (3-4) voorbeelden die zijn geselecteerd op semantische gelijkenis.
2. Gebruik token-probabiliteiten om voorspellingsvertrouwen te genereren in plaats van het model te vragen om een score te geven. Dit stelt onderzoekers in staat om de drempel voor classificatie aan te passen aan de kosten van fouten (bijv. bij onbalans).
3. Voeg een directe vraag toe aan de user message van de prompt (bijv. "Moet dit artikel worden opgenomen?") in plaats van alleen de context te geven.
4. Geavanceerde technieken zoals Chain of Thought of Tree of Thoughts zijn in deze specifieke context niet rendabel.

De studie concludeert dat LLM's een krachtig alternatief bieden wanneer gelabelde data schaars is, en dat ze, bij juiste configuratie, prestaties kunnen leveren die dicht bij die van traditionele, op data-getrainde modellen liggen.