L2D-Clinical: Learning to Defer for Adaptive Model Selection in Clinical Text Classification

1. Probleemstelling

Klinische tekstclassificatie (bijv. detectie van bijwerkingen van medicijnen of het vaststellen van behandelingsuitkomsten) vereist vaak een keuze tussen twee soorten modellen:

1. Gespecialiseerde, fijn-afgestemde modellen (zoals BioBERT of ClinicalBERT): Deze presteren uitstekend op specifieke taken dankzij domeinspecifiek vooraf getrainde kennis, maar missen soms nuance bij impliciete taal of hedging.
2. Algemeen doel Large Language Models (LLMs): Deze hebben brede wereldkennis en kunnen complexe redeneringen uitvoeren, maar zijn duur, traag en presteren niet altijd beter dan gespecialiseerde modellen op specifieke taken.

Het huidige dilemma is dat geen van beide modellen universeel superieur is. Traditionele "Learning to Defer" (L2D) systemen verwerpen een voorspelling meestal ten gunste van een menselijk expert, die als altijd betrouwbaarder wordt beschouwd. Dit artikel introduceert echter een nieuw scenario: AI-naar-AI deferentie, waarbij het "expert"-model (de LLM) in sommige gevallen slechter presteert dan het basismodel (BERT). De uitdaging is om te leren wanneer BERT moet wachten op de LLM, zelfs als de LLM over het algemeen minder goed presteert, om zo de sterke punten van beide te benutten.

2. Methodologie: L2D-Clinical

Het auteurs stellen een framework voor genaamd L2D-Clinical. Dit systeem leert een "defer-functie" $d(x)$ die bepaalt of een invoer $x$ door BERT moet worden verwerkt of door de LLM.

De Werkflow:

1. Invoer: Een klinische tekst wordt eerst verwerkt door een BERT-classificator (BioBERT voor ADE, ClinicalBERT voor uitkomsten).
2. Feature Extractie: Het defer-model analyseert niet alleen de voorspelling van BERT, maar ook specifieke tekstkenmerken.
   • Onzekerheidsfeatures: Softmax-waarden, entropie (mate van verwarring) en de marge tussen de top-2 klassen.
   • Tekstfeatures: Lengte van de tekst en de aanwezigheid van specifieke linguïstische signalen (bijv. causale taal zoals "veroorzaakt door" of uitkomstwoorden zoals "gestopt").
3. Besluitvorming: Een logistische regressie-model (geïnterpreteerd als een router) voorspelt de waarschijnlijkheid dat BERT een fout maakt. Als deze kans een drempelwaarde ($\tau$) overschrijdt, wordt de taak doorgestuurd naar de LLM. Anders wordt het BERT-resultaat gebruikt.
4. Training: Het defer-model wordt getraind om de fouten van BERT te voorspellen op een validatieset, met als doel de totale F1-score van het hybride systeem te maximaliseren.

Belangrijke Design Keuzes:

• Logistische Regressie: Gebruikt in plaats van complexe ensemble-methoden voor interpretatie. Klinici moeten begrijpen waarom een geval is doorgestuurd (bijv. hoge entropie of aanwezigheid van twijfelachtige taal).
• Adaptief Gedrag: Het systeem past de defer-ratio aan op basis van de relatieve sterkte van de modellen voor de specifieke taak.

3. Experimentele Opzet en Data

Het framework is geëvalueerd op twee Engelse klinische taken met tegenovergestelde model-dynamieken:

1. ADE Detectie (Adverse Drug Events):

   • Data: ADE Corpus V2 (PubMed case reports).
   • Dynamiek: BioBERT (F1=0.911) is sterker dan de LLM (F1=0.765).
   • Doel: Kijken of L2D de prestaties kan verbeteren door alleen de specifieke gevallen te gebruiken waar de LLM beter is (hoge recall), ondanks dat de LLM over het algemeen slechter is.

2. Behandelingsuitkomsten Classificatie (MIMIC-IV):

   • Data: MIMIC-IV ontslagrapporten.
   • Dynamiek: De LLM (GPT-5-nano, F1=0.967) is sterker dan ClinicalBERT (F1=0.887).
   • Ground Truth: Gebruik van een consensus-methode waarbij GPT-5.2 en Claude 4.5 onafhankelijk labelen; alleen overeenstemmende labels worden gebruikt. Dit is gevalideerd door menselijke experts (100% accuraatheid op een subset).

4. Belangrijkste Resultaten

Taak 1: ADE Detectie (BERT > LLM)

• BioBERT alleen: F1 = 0.911.
• L2D-Clinical: F1 = 0.928 (+1.7 punten).
• Mechanisme: Het systeem deert slechts 7% van de gevallen door naar de LLM. Deze selectieve deferentie vangt de gevallen waar BioBERT faalt door impliciete taal of "hedging" (bijv. "misschien gerelateerd"), waarbij de LLM een hogere recall heeft.
• Kosten: De LLM wordt 93% minder vaak aangeroepen dan bij een puur LLM-benadering.

Taak 2: Behandelingsuitkomsten (LLM > BERT)

• ClinicalBERT alleen: F1 = 0.887.
• L2D-Clinical: F1 = 0.980 (+9.3 punten).
• Mechanisme: Hier deert het systeem 16.8% van de gevallen door. Het leert om ClinicalBERT te vertrouwen bij expliciete taal, maar deert naar de LLM bij complexe, contextuele redeneringen.
• Vergelijking: L2D presteert beter dan een vaste drempelwaarde (F1=0.971) en gebruikt minder LLM-calls (16.8% vs 26.2%).

Algemene Bevindingen:

• Adaptiviteit: L2D-Clinical past de defer-ratio automatisch aan. Als de LLM zwakker is (ADE), wordt zelden gedeerd. Als de LLM sterker is (MIMIC), wordt vaker gedeerd.
• Interpreteerbaarheid: De analyse van de model-coëfficiënten toont aan dat entropie (onzekerheid) de sterkste voorspeller is voor deferentie, aangevuld met taak-specifieke sleutelwoorden.
• Kostenbesparing: Door alleen de LLM te gebruiken wanneer nodig, worden API-kosten met 81-93% verlaagd ten opzichte van een puur LLM-benadering, terwijl de nauwkeurigheid toeneemt.

5. Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

1. AI-naar-AI Deferentie: Het is de eerste studie die L2D toepast op een setting waar het "expert"-model (LLM) niet universeel superieur is. Het bewijst dat selectief gebruik van een zwakker model de algehele prestatie kan verhogen door complementaire foutpatronen te benutten.
2. Adaptief Deferral: Het systeem leert dynamisch wanneer deferentie nuttig is, ongeacht welke van de twee basismodellen over het algemeen beter presteert.
3. Nieuwe Ground Truth Methode: Voor de MIMIC-taak wordt een nieuwe methode voorgesteld voor het genereren van hoogwaardige ground truth via multi-LLM consensus, gevalideerd door menselijke experts.
4. Klinische Toepasbaarheid: Het biedt een praktische, kostenefficiënte oplossing voor klinische NLP-pipelines. Het systeem is model-onafhankelijk, interpreteerbaar (cruciaal voor klinisch vertrouwen) en biedt "graceful degradation" (kan terugvallen op BERT als de LLM niet beschikbaar is).

Conclusie:
L2D-Clinical demonstreert dat het combineren van gespecialiseerde en algemene modellen via een leerbaar routeringsmechanisme superieur is aan het gebruik van één enkel model. Het lost het compromis op tussen nauwkeurigheid en kosten, en biedt een robuust raamwerk voor de toekomstige integratie van AI in de gezondheidszorg, zelfs wanneer de beschikbaarheid van modellen en hun prestaties fluctueren.