FMI@SU ToxHabits: Evaluating LLMs Performance on Toxic Habit Extraction in Spanish Clinical Texts

Probleemstelling

Het paper richt zich op het uitdaging om gestructureerde informatie te extraheren uit ongestructureerde klinische teksten, specifiek in het Spaans. Ongeveer 80% van de klinische data bestaat in ongestructureerde vorm (zoals casusrapporten en ontslagbrieven), wat geautomatiseerde analyse bemoeilijkt. De specifieke taak is het herkennen van Named Entities (NER) gerelateerd aan "toxische gewoonten" (substance use and abuse) in Spaanse klinische teksten.

De uitdagingen zijn tweeledig:

1. Het nauwkeurig identificeren van de start- en eindindices van de entiteit (bijv. "rookt" vs. "rookt veel").
2. Het correct classificeren van de entiteit in een van de vier categorieën: Tabak, Alcohol, Cannabis of Drugs.
   Dit is cruciaal voor het verbeteren van klinisch onderzoek en het begrijpen van patiëntuitkomsten op het gebied van drugsgebruik.

Methodologie

Het team (FMI@SU) nam deel aan de ToxHabits Shared Task (Subtask 1) en onderzocht verschillende benaderingen met behulp van Large Language Models (LLMs), specifiek OpenAI-modellen. De voorgestelde methode maakt gebruik van In-Context Learning via Few-Shot Prompting.

De kernstappen van de methode zijn:

1. Tekstverdeling: Klinische rapporten worden opgesplitst in secties (gebaseerd op dubbele regeleinden) om de context voor het model beheersbaar te houden en de nauwkeurigheid te verhogen.
2. Few-Shot Learning: Er wordt een willekeurige set van voorbeelden (5 voorbeelden in de optimale configuratie) uit de trainingsset geselecteerd om het model instructies te geven.
3. Prompt Engineering: Een prompt wordt samengesteld die de taak uitlegt en vraagt om gestructureerde output voor de vier categorieën.
4. Post-processing: De geëxtraheerde zinsdelen worden teruggezocht in de originele tekst om de exacte span (indices) te bepalen. Bij overlappingen wordt de kortere span gekozen, omdat annotatoren in de trainingsset vaak kortere spans labelen.
5. Optimalisatie: Er werden experimenten uitgevoerd met verschillende optimalisatietechnieken, waaronder:
   • Vergelijking van Zero-shot vs. Few-shot.
   • Gebruik van de DsPy-bibliotheek voor prompt-optimalisatie (o.a. MIPROv2 voor het optimaliseren van instructies).
   • Manuele prompt-optimalisatie om de precisie te verhogen.
   • Experimenten met kNN Few-Shot (semantische gelijkenis van voorbeelden), hoewel dit vanwege tijdsbeperkingen niet volledig kon worden voltooid.

Het beste model dat werd gebruikt was GPT-4.1 (via een privé Azure-deploying).

Belangrijkste Resultaten

De resultaten werden geëvalueerd op een ontwikkelingsset (dev set) en een testset.

• Beste Prestatie: Het GPT-4.1 Few-Shot model (met 5 voorbeelden) behaalde de beste resultaten op de testset met een F1-score van 0,65 (Precisie: 0,59, Recall: 0,72).
• Vergelijking met Baselines:
  • De Zero-shot benadering van GPT-4.1 presteerde ongeveer 6% slechter in F1-score dan de Few-shot benadering.
  • Een Dictionary Baseline had een hoge recall (0,87) maar een lage precisie (0,46), wat resulteerde in een lagere F1-score (0,60).
  • Een Spanish Clinical RoBERTa (fine-tuned BERT-model) behaalde op de dev-set een hogere F1-score (0,79), maar werd niet als hoofdmethode ingediend voor de testset in de uiteindelijke ranking zoals beschreven in de resultaten van de submit.
• Hybride Aanpak: Het combineren van het woordenboek en het LLM-resultaat bleek niet succesvol; de prestaties daalden in plaats van te stijgen.
• Overlap-metrics: Hoewel de exacte match (F1) lager was dan bij fine-tuned modellen, toonden de LLM's aan dat ze de gold entities vaak wel volledig bevatten binnen hun voorspelling (GC-metric > 0,83), maar vaak te veel context (zoals negaties of hoeveelheidsaanduidingen) meenamen.

Kernbijdragen

1. Evaluatie van LLMs voor Spaanse Klinische NER: Het paper demonstreert dat LLMs, zelfs zonder fine-tuning op de specifieke dataset, competitieve resultaten kunnen behalen voor NER in niet-Engelse klinische teksten.
2. Few-Shot Superioriteit: Het bevestigt dat Few-Shot prompting aanzienlijk beter presteert dan Zero-Shot voor deze specifieke taak, met name bij het onderscheiden van subtiele nuances in klinische taal.
3. Analyse van Foutbronnen: Het paper identificeert dat de grootste bron van fouten ligt in de bepaling van de entiteitsgrenzen. Het model neigt ertoe extra context (zoals "actief roken" in plaats van alleen "roken", of het meenemen van negaties) toe te voegen aan de voorspelling.
4. Openbare Beschikbaarheid: Code, prompts en experimentele setups zijn openbaar gemaakt op GitHub, wat reproduceerbaarheid bevordert.

Betekenis en Toekomstperspectief

De studie toont aan dat LLMs een veelbelovende richting zijn voor meertalige klinische NER, vooral vanwege hun vermogen om instructies te volgen met weinig voorbeelden en hun ondersteuning voor verschillende talen.

Beperkingen en Aanbevelingen:

• Grensbepaling: Een belangrijke aanbeveling voor toekomstig werk is het implementeren van een post-processing stap om de entiteitsgrenzen te verfijnen (bijv. door de extra context of negaties te verwijderen) om de precisie te verhogen.
• Semantische Voorbeeldselectie: Het gebruik van kNN Few-Shot (het selecteren van voorbeelden op basis van semantische gelijkenis met de huidige input) wordt voorgesteld als een manier om de prestaties verder te verbeteren.
• Annotatiekwaliteit: Er wordt opgemerkt dat variatie in menselijke annotatie (bijv. of leestekens deel uitmaken van de span) een bron van fouten kan zijn voor het model.

Concluderend biedt deze aanpak een robuust alternatief voor traditionele, zwaar gefinetunte modellen, met name in scenario's waar data schaars is of waar snelle aanpassing aan nieuwe domeinen vereist is.