LMOD+: A Comprehensive Multimodal Dataset and Benchmark for Developing and Evaluating Multimodal Large Language Models in Ophthalmology

Deze paper introduceert LMOD+, een uitgebreide multimodale dataset en benchmark met 32.633 gevallen voor ophthalmologie die is ontwikkeld om multimodale grote taalmodellen te evalueren op taken zoals ziekteopsporing, -stadiëring en demografische voorspelling, met als doel de ontwikkeling van AI-toepassingen ter bestrijding van wereldwijde oogziekten te versnellen.

De kern

Stel je voor dat de oogheelkunde (de wereld van oogartsen) een enorme bibliotheek is vol met duizenden foto's van ogen, maar de boeken staan in de war en de titels ontbreken. Nu zijn er slimme computerprogramma's, genaamd Multimodale Grootte Taalmodellen (MLLMs), die net als een superintelligente bibliothecaris kunnen lezen én kijken. De vraag is: kunnen deze robots echt goed diagnoses stellen voor oogziektes, of zijn ze nog maar net begonnen met leren?

Dit paper introduceert LMOD+, een nieuw, gigantisch hulpmiddel om deze robots te testen en te trainen. Hier is de uitleg in simpele taal:

1. Het Probleem: De "Leerboeken" Ontbreken

Vroeger waren er al slimme computers die oogziektes konden herkennen, maar die waren als speciale gereedschappen. Je had één gereedschap voor diabetes in de ogen, een ander voor staar, en weer een ander voor glaucoom. Ze waren goed in één ding, maar niet flexibel.

Nu hebben we de nieuwe generatie AI (zoals de slimme robots die je kent van chatbots), die alles in één keer kunnen doen. Maar om ze te leren, hadden we geen goede "oefenmateriaal". De oude testsets waren te simpel (alleen ja/nee-vragen) en niet geschikt voor deze nieuwe, creatieve robots die zinnen moeten vormen. Het was alsof je een Formule 1-auto wilde testen op een kinderfietsbaan.

2. De Oplossing: LMOD+ (De Grote Oefensessie)

De onderzoekers hebben LMOD+ gebouwd. Dit is een enorm verzamelpakket met 32.633 oogafbeeldingen. Het is als een super-omvangrijke oefenboek voor oogartsen, maar dan voor robots.

Wat maakt dit pakket zo speciaal?

• Verschillende soorten foto's: Het bevat niet alleen gewone oogfoto's, maar ook diepe scans (OCT), foto's van tijdens operaties, en foto's van de lens. Het is alsof je een robot leert kijken met verschillende soorten brillen.
• Vier soorten taken: De robots moeten niet alleen zeggen "ziek of niet ziek", maar ook:
  1. Anatomie herkennen: "Waar zit de pupil en waar zit de iris?" (Zoals het leren van de namen van de onderdelen van een auto).
  2. Ziektes diagnosticeren: "Heeft deze patiënt diabetes in de ogen?"
  3. Ernst bepalen: "Is de ziekte net begonnen of al heel erg?" (Zoals het beoordelen of een krasje op de auto een kleine kras is of een deuk).
  4. Voorspellen: Kunnen ze uit de oogfoto zien of de patiënt man of vrouw is? (Dit doen ze om te kijken of de robot vooroordelen heeft).

3. De Test: Hoe doen de robots het?

De onderzoekers hebben 24 verschillende robots (de slimste AI-modellen van dit moment) op deze test gezet. Het resultaat? Een mix van hoop en teleurstelling.

• Het goede nieuws: Sommige robots (zoals Qwen en InternVL) kunnen redelijk goed zien of iemand een veelvoorkomende oogziekte heeft. Ze doen het zelfs zonder dat ze eerst specifiek voor die taak zijn getraind (dit heet "zero-shot", alsof ze de test doen zonder te studeren).
• Het slechte nieuws: Als de taak moeilijker wordt, zoals het bepalen van de ernst van een ziekte (stadiëring), zakken de robots vaak naar een niveau dat niet veel beter is dan raden. Ze lijken dan net een kind dat probeert een ingewikkeld raadsel op te lossen.
• De verrassing: De robots die speciaal voor de geneeskunde waren gemaakt (zoals LLaVA-Med), deden het soms zelfs slechter dan de algemene robots! Het lijkt erop dat het "medische" training niet altijd helpt als je geen specifieke oogtraining hebt.

4. Waar gaan de robots de fout in?

De onderzoekers keken naar de fouten en vonden vijf hoofdsoorten:

1. Verkeerd lezen: Ze zien een vlekje en denken dat het een ziekte is, terwijl het niets is (of andersom).
2. Verwarde logica: Ze zeggen "Ja, het is glaucoom", maar geven als reden "want de patiënt heeft een rode neus".
3. Geen kijken: Ze zeggen "Ik kan niet kijken" en geven een standaard antwoord, zonder de foto echt te analyseren.
4. Tekst-krampen: Soms beginnen ze te stotteren en herhalen ze woorden eindeloos (zoals "uitleg... uitleg... uitleg...").
5. Onbekende feiten: Ze gebruiken medische termen verkeerd.

De belangrijkste les: De robots zien de foto's wel, maar ze begrijpen de betekenis van wat ze zien nog niet goed genoeg. Ze missen de "klinische ervaring" die een menselijke arts heeft.

5. Waarom is dit belangrijk?

Oogziektes zijn een wereldwijd probleem. Er zijn niet genoeg oogartsen voor iedereen. Als we deze robots goed kunnen trainen, kunnen ze helpen om ziektes sneller te ontdekken, vooral in plekken waar geen specialisten zijn.

De onderzoekers hebben de hele dataset en de testresultaten gratis beschikbaar gesteld. Ze zeggen eigenlijk: "Kijk, hier is de oefenboek en de antwoordenlijst. Laat ons samen werken om deze robots slimmer te maken, zodat ze ooit echt kunnen helpen om blindheid te voorkomen."

Kortom: LMOD+ is de nieuwe "rijbewijstest" voor oog-AI. De robots hebben hun rijbewijs nog niet gehaald, maar ze hebben nu eindelijk een goede baan om te oefenen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "LMOD+: A Comprehensive Multimodal Dataset and Benchmark for Developing and Evaluating Multimodal Large Language Models in Ophthalmology", vertaald en samengevat in het Nederlands.

Probleemstelling

De wereldwijde prevalentie van gezichtsbedreigende oogziekten vormt een enorme last voor de volksgezondheid, maar tijdige diagnose wordt beperkt door personeelstekorten, diagnostische vertragingen en beperkte toegang tot specialistische zorg. Hoewel kunstmatige intelligentie (KI) en multimodale grote taalmodellen (MLLMs) veelbelovend zijn voor medische beeldinterpretatie en geautomatiseerde documentatie, stuit de ontwikkeling in de oogheelkunde op een fundamenteel probleem: het ontbreekt aan unifieerde, uitgebreide benchmarkdatasets.

Bestaande benchmarks zijn vaak ontworpen voor oudere modellen (zoals CNN's) die zich richten op smalle taken of specifieke ziektecondities met uitkomsten in de vorm van vaste labels in plaats van vrije tekst. Deze zijn niet geschikt om de generatieve en redeneercapaciteiten van moderne MLLMs te evalueren. Daarnaast missen veel datasets de diversiteit aan beeldmodaliteiten en demografische informatie die nodig is om modelbias te beoordelen.

Methodologie

De auteurs introduceren LMOD+, een grootschalige multimodale oogheelkundige benchmarkdataset en een gestructureerde data-curatiepijplijn.

1. Dataset Samenstelling:

   • LMOD+ bevat 32.633 instanties met multi-granulaire annotaties.
   • Het dekt 12 veelvoorkomende oogheelkundige aandoeningen (zoals diabetische retinopathie, maculadegeneratie, glaucoom).
   • Het omvat 5 beeldmodaliteiten:
     • Kleurfundusfotografie (CFP) – 43,2%
     • Scanning Laser Ophthalmoscopy (SLO) – 30,6%
     • Optical Coherence Tomography (OCT) – 11,8%
     • Lensfotografie (LP) – 7,5%
     • Chirurgische scènes (SS) – 6,9%
   • De dataset bevat ook demografische informatie (geslacht, leeftijd) en vrije tekstannotaties.

2. Data Curatie Pijplijn:

   • De auteurs ontwikkelden een uniforme annotatiepijplijn om bestaande datasets (oorspronkelijk voor CNN's) om te zetten naar een formaat geschikt voor MLLMs.
   • Ruwe annotaties (zoals segmentatiemaskers of bounding boxes) worden omgezet in gestructureerde prompt-response paren.
   • De pijplijn genereert vragen die vier hoofdtaken dekken:
     • Anatomische herkenning: Identificatie van anatomische structuren.
     • Ziektediagnose: Binair (aanwezig/afwezig) en multi-class diagnose.
     • Ziektestadiëring: Classificatie van de ernst (bijv. ICDR-schaal voor diabetische retinopathie).
     • Demografische voorspelling: Voorspellen van geslacht en leeftijd om bias te testen.

3. Evaluatie:

   • Er werden 24 state-of-the-art MLLMs systematisch geëvalueerd, waaronder modellen van de families InternVL, Qwen, DeepSeek, LLaVA, en gespecialiseerde medische modellen (LLaVA-Med, Med-Flamingo).
   • De evaluatie vond plaats in een zero-shot setting (zonder fijnafstemming), wat een veel uitdagender paradigma is dan traditionele taak-specifieke training.
   • Gebruikte metrieken omvatten nauwkeurigheid (accuracy), precisie, recall, F1-score en een nieuwe metriek voor hallucinatiereuzistie (Hallucination Resistance - HR).

Belangrijkste Bijdragen

• LMOD+ Dataset: De grootste en meest diverse oogheelkundige multimodale dataset tot nu toe, met een toename van bijna 50% ten opzichte van de voorganger LMOD.
• Unificatie van Modaliteiten: Voor het eerst worden vijf verschillende beeldmodaliteiten gecombineerd in één benchmark, wat een realistischere weergave biedt van de klinische praktijk.
• Uitgebreide Taken: Uitbreiding van de evaluatie naar anatomische herkenning, ziektestadiëring en demografische bias-analyse, naast standaard diagnose.
• Open Science: Publicatie van de volledige dataset, een representatieve subset (1000 instanties) voor snelle benchmarking, en een dynamische leaderboard.
• Gedetailleerde Foutanalyse: Een taxonomie van fouten (bijv. misinterpretatie van visuele kenmerken, inconsistente redenering) die inzicht geeft in de beperkingen van huidige modellen.

Resultaten

De evaluatie van de 24 modellen onthulde zowel potentie als aanzienlijke beperkingen:

• Algemene Prestaties: De prestaties van zowel algemene als medische MLLMs waren over het algemeen suboptimaal en vaak dicht bij willekeurige baselines, vooral bij complexe taken zoals ziektestadiëring.
  • Anatomische herkenning: GPT-4o behaalde de beste F1-score (57,61%), gevolgd door InternVL-1.5-4B (57,16%). Medische modellen zoals LLaVA-Med presteerden aanzienlijk slechter (F1 ~7%).
  • Ziektediagnose: Qwen-7B en InternVL-2.5-8B behaalden de beste resultaten voor binaire diagnose (respectievelijk 58,26% en 57,83%), maar dit is nog steeds slechts marginaal boven willekeur.
  • Stadiëring: De prestaties waren zeer laag (beste model: 26,67%), wat aangeeft dat het onderscheiden van ziekte-ernst veel moeilijker is dan het detecteren van aanwezigheid.
• Medische vs. Algemene Modellen: Interessant genoeg presteerden gespecialiseerde medische modellen (LLaVA-Med, Med-Flamingo) vaak slechter dan hun algemene tegenhangers. Dit suggereert dat de huidige aanpassingsstrategieën (vaak gebaseerd op PubMed-teksten) onvoldoende zijn voor het leren van complexe visuele oogheelkundige patronen.
• Demografische Bias: De modellen konden geslacht en leeftijd niet betrouwbaar voorspellen uit oogbeelden (prestaties rond de willekeurige kans), wat in contrast staat met eerdere CNN-studies. Dit suggereert dat MLLMs in zero-shot setting minder gevoelig zijn voor demografische bias op basis van beeld, maar wel aandacht vereist voor toekomstige fine-tuning.
• Foutanalyse: De meest voorkomende fout (50%) was misinterpretatie van visuele kenmerken. Modellen zagen de beelden wel, maar interpreteerden de klinische betekenis verkeerd. Inconsistent redeneren (21%) en afwezigheid van visuele verwerking (15%) waren ook veelvoorkomend.

Betekenis en Toekomstperspectief

LMOD+ markeert een mijlpaal in de ontwikkeling van AI voor de oogheelkunde. Het paper benadrukt dat hoewel MLLMs veelbelovend zijn voor generatieve taken en zero-shot learning, er een grote kloof bestaat tussen de huidige algemene modellen en de specifieke eisen van de oogheelkunde.

• Noodzaak voor Domein-specifieke Training: De resultaten tonen aan dat zero-shot prestaties onvoldoende zijn voor klinische toepassing. Er is dringende behoefte aan domein-specifieke training en fijnafstemming met hoogwaardige oogheelkundige data.
• Klinische Impact: Het platform biedt een gestandaardiseerde manier om nieuwe modellen te testen, wat essentieel is voor het opbouwen van vertrouwen in AI-gestuurde diagnostiek.
• Community Inzet: Door de dataset en pijplijn openbaar te maken, stimuleren de auteurs de gemeenschap om samen te werken aan het ontwikkelen van robuuste, betrouwbare en eerlijke MLLMs die uiteindelijk kunnen bijdragen aan het verminderen van de wereldwijde last van blindheid.

Kortom, LMOD+ is niet alleen een dataset, maar een noodzakelijk instrument om de evolutie van AI in de oogheelkunde van experimenteel naar klinisch bruikbaar te sturen.