MADE: A Living Benchmark for Multi-Label Text Classification with Uncertainty Quantification of Medical Device Adverse Events

1. Probleemstelling

In hoog-risico domeinen zoals de gezondheidszorg is het niet voldoende dat machine learning-modellen alleen goede voorspellingen doen; ze moeten ook betrouwbare onzekerheidskwalificatie (Uncertainty Quantification, UQ) bieden om menselijk toezicht te ondersteunen.

De specifieke uitdagingen in dit paper zijn:

• Multi-Label Text Classification (MLTC): Het classificeren van teksten waarbij meerdere labels tegelijkertijd kunnen worden toegewezen. Dit leidt tot een combinatorisch probleem dat exponentieel schaalt met het aantal labels.
• Data-uitdagingen: Real-world data (zoals medische rapporten) vertonen vaak ernstige onbalans (een paar veelvoorkomende labels vs. een lange staart van zeldzame, maar veiligheidskritische labels) en hiërarchische label-afhankelijkheden.
• Benchmark-veroudering: Bestaande benchmarks voor MLTC zijn vaak statisch, verzadigd en kunnen vervuild zijn door data die in de pre-training corpora van Large Language Models (LLMs) is opgenomen. Dit maakt het moeilijk om te onderscheiden of een model echt redeneert of dat het de antwoorden heeft uit het geheugen opgehaald (memorization).
• Ontbrekende UQ-evaluatie: Er is weinig inzicht in welke modelarchitecturen (discriminatief vs. generatief) en leerparadigma's (fine-tuning vs. prompting) het beste presteren op zowel nauwkeurigheid als UQ in complexe medische contexten.

2. Methodologie

De MADE Benchmark

De auteurs introduceren MADE (Medical Device Adverse Events), een "levende" benchmark die is opgebouwd uit adverse event-rapporten van de Amerikaanse FDA (Food and Drug Administration).

• Levend karakter: De dataset wordt continu bijgewerkt met nieuwe rapporten. Dit voorkomt data-vervuiling voor toekomstige modellen, omdat testdata altijd na de trainingstijd van bestaande foundation models wordt gepubliceerd.
• Data-opbouw: De dataset bevat rapporten van 2015 tot medio 2025. Er zijn 1.154 unieke, hiërarchisch georganiseerde labels (3 niveaus) die productproblemen en patiëntproblemen beschrijven.
• Preprocessing: De data is gededupliceerd, gesplitst in tijd (train: 2015-2023, val: 1e helft 2024, test: 2e helft 2024 - 2025) en bevat een lange staartverdeling van labels.

Experimenteel Opzet

De auteurs evalueren meer dan 20 modellen onder verschillende leerparadigma's:

1. Discriminatieve Fine-tuning: Encoder-only modellen (bijv. Ettin-reeks) en Decoder-only modellen (Llama-3.1/3.2) met een classificatiekop.
2. Generatieve Fine-tuning: Decoder-only modellen die labels genereren als tokens.
3. Few-shot Prompting: In-context learning met lokale en API-toegankelijke modellen (inclusief "reasoning" modellen zoals GPT-5, DeepSeek-R1, Qwen3).

Onzekerheidskwalificatie (UQ) Methoden

Voor generatieve modellen worden drie benaderingen getest:

• Informatie-gebaseerd (Uinfo): Gebaseerd op token-probabiliteiten (Entropie, Perplexity, Gemiddelde Log-probabiliteit).
• Consistentie-gebaseerd (Ucons): Gebaseerd op variatie in output bij meerdere stochastische runs (som van eigenwaarden van de graf-Laplaciaan).
• Zelf-verbaliseerde onzekerheid (Uself): Het model vraagt om een vertrouwensscore (confidence score) te genereren.

De kwaliteit van de UQ wordt gemeten via Selective Prediction (Prediction Rejection Rate - PRR), Spearman-correlatie tussen onzekerheid en correctheid, en Positive Class Expected Calibration Error (ECE+).

3. Belangrijkste Resultaten

Voorspellende Prestaties

• Discriminatieve Fine-tuning: Kleine tot middelgrote discriminatief gefinetunteerde decoders (bijv. Llama-3.1-8B-Base) leveren de beste algehele nauwkeurigheid (Macro F1 ~0.54) en presteren consistent sterk op zowel hoofd- als staartklassen.
• Generatieve Fine-tuning: Levert vergelijkbare prestaties op hoofd- en middengroepen, maar is iets inferieur aan discriminatieve fine-tuning voor gelijke modelgroottes.
• Reasoning Modellen (Prompting): Modellen zoals GPT-5 en Qwen3-235B-Thinking presteren uitstekend op de extreme staart (zeer zeldzame labels), maar missen vaak de nauwkeurigheid op de veelvoorkomende hoofdklassen in vergelijking met gefinetunteerde modellen.
• Trade-off: Er is een duidelijke trade-off: reasoning-modellen verbeteren de prestaties op zeldzame labels, maar ten koste van de prestaties op frequente labels.

Onzekerheidskwalificatie (UQ)

• Generatieve Fine-tuning: Biedt de meest betrouwbare UQ (hoogste PRR en beste correlatie). Deze modellen weten het beste wanneer ze het niet weten.
• Discriminatieve Fine-tuning: Biedt solide en stabiele UQ, maar iets minder robuust dan generatieve fine-tuning.
• Reasoning Modellen (Prompting): Vertonen verrassend zwakke UQ. Hun vertrouwensscores correleren nauwelijks met hun daadwerkelijke correctheid. Ze zijn vaak onbetrouwbaar voor het doorsturen van twijfelachtige gevallen naar mensen.
• Zelf-verbaliseerde onzekerheid: Werkt slecht en is geen betrouwbare proxy voor echte onzekerheid.
• Beste UQ-methode: Entropie-gebaseerde metingen (Uinfo) presteren het beste en zijn computatie-efficiënter dan consistentie-gebaseerde methoden.

4. Kernbijdragen

1. MADE Benchmark: Een schone, vervuiling-vrije, levende benchmark voor MLTC in de medische device-sector, specifiek ontworpen om generalisatie te testen en data-lekkage te voorkomen.
2. Umfassende Baselines: Systematische vergelijking van meer dan 20 modellen (encoders/decoders, klein/groot, open/gesloten) onder fine-tuning en prompting settings.
3. UQ Evaluatie: Een gedetailleerde analyse van hoe verschillende UQ-methoden presteren in een multi-label context, met de conclusie dat fine-tuning over het algemeen superieur is aan prompting voor betrouwbare onzekerheidsschatting.
4. Inzicht in Trade-offs: Het blootleggen van de compromis tussen prestaties op zeldzame labels (waar reasoning-modellen sterk zijn) en betrouwbare onzekerheidskwalificatie (waar fine-tuned modellen sterk zijn).

5. Betekenis en Conclusie

Dit werk is significant voor de toepassing van AI in de gezondheidszorg en regulering:

• Veiligheid: Het benadrukt dat voor hoog-risico toepassingen (zoals het monitoren van medische hulpmiddelen) betrouwbare onzekerheidskwalificatie minstens zo belangrijk is als pure voorspellingsnauwkeurigheid.
• Modelkeuze: Voor systemen die menselijke review nodig hebben bij twijfel, zijn fine-tuned generatieve of discriminatieve modellen de beste keuze. "Reasoning" modellen via prompting zijn momenteel te onbetrouwbaar qua vertrouwensscores voor kritieke triage.
• Toekomstgericht: De "levende" aard van MADE biedt de gemeenschap een manier om toekomstige modellen continu te evalueren zonder het risico van data-vervuiling, wat essentieel is voor de voortdurende verbetering van betrouwbare AI-systemen.

Samenvattend concludeert het paper dat hoewel state-of-the-art modellen (zoals GPT-5) indrukwekkende prestaties leveren op zeldzame labels, de combinatie van hoge nauwkeurigheid en betrouwbare onzekerheidsschatting momenteel het beste wordt bereikt met gespecialiseerde, fine-tuned modellen.