Triple-Phase Multimodal Knowledge Aggregation Framework for Microbial Keratitis Subtype Diagnosis on Slit-Lamp Photography

Technische Samenvatting: Triple-Phase Multimodale Kennisaggregatie-framework voor de Diagnose van Subtypen van Microbiële Keratitis

Probleemstelling
Microbiële keratitis (MK) is een ernstige corneale infectie die een snelle identificatie van het veroorzakende pathogeen (bacterieel versus schimmel) vereist om gerichte behandeling te sturen. De huidige diagnostische standaarden, die vertrouwen op cultuur en PCR, zijn traag (het duurt enkele dagen) en identificeren in meer dan 50% van de gevallen geen pathogeen. Deze vertraging leidt vaak tot suboptimale empirische behandeling, wat de klinische uitkomsten verslechtert. Hoewel slit-lamp fotografie (SLP) een breed beschikbare, goedkope beeldvormingsmethode is die specifieke biomarkers vastlegt (bijv. stromale infiltraten, hypopyon) onder variërende verlichting, is het onderscheiden tussen bacteriële en schimmel-subtypen op basis van enkel deze beelden uitdagend vanwege subtiele visuele verschillen en aanzienlijke heterogeniteit in beeldvormingsomstandigheden (verlichtingsmodi, vergroting). Bestaande deep learning-benaderingen lijden vaak aan een slechte generalisatie wanneer ze worden toegepast op externe cohorten en hebben de neiging om te worden geëvalueerd op gepoolde multi-center data, wat geografische en distributionele biases kan maskeren.

Methodologie
De auteurs stellen een Triple-Phase Multimodale Kennisaggregatie-framework voor, ontworpen om bacteriële versus schimmel MK te classificeren met behulp van SLP-beelden en klinische metadata. Het framework integreert data uit drie verlichtingsmodaliteiten: diffuus blauw licht (met fluoresceïne), sclerotische scatter en diffuus wit licht.

1. Data Curatie & Preprocessing:

   • Een grootschalige, multi-center dataset werd samengesteld bestaande uit 1.645 patiënten (1.048 schimmel, 597 bacterieel) en 17.158 beelden uit de VS en India.
   • Limbus-gebaseerde Cropping: Een connectiviteitsgebaseerd segmentatienetwerk (BiconNet) werd gebruikt om de limbusregio te croppen, waardoor irrelevante achtergrondruis (sclera, oogleden) werd verwijderd om het model te concentreren op de voor de laesie relevante gebieden.
   • Metadata Integratie: Klinische variabelen (traumageschiedenis, organische/waterblootstelling, contactlensgebruik, gezichtsscherpte) werden ingebed en geconcateneerd met beeldkenmerken.

2. Fase Eén: Cross-Modality Contrastive Learning (CMCL):

   • Een universeel model wordt getraind middels contrastief leren. Beelden van dezelfde patiënt, ongeacht de verlichtingsmodaliteit of vergroting, worden behandeld als positieve paren, terwijl beelden van verschillende patiënten negatieve paren zijn.
   • Deze fase heeft als doel om modaliteit-invariante representaties te leren, waarbij ziektespecifieke kenmerken worden vastgelegd die persistent zijn over verschillende beeldvormingscondities heen.

3. Fase Twee: Modality-Specifieke Fine-Tuning:

   • De getrainde gewichten worden overgedragen naar drie afzonderlijke netwerken, die elk worden gefinetuned op een specifieke verlichtingsmodaliteit (Blauw, Sclerotic Scatter, Wit).
   • Een regularisatieterm (de contrastieve loss) wordt toegevoegd aan de classificatie-loss tijdens de fine-tuning om de geleerde invariante kenmerken te behouden terwijl wordt aangepast aan modaliteit-specifieke cues.

4. Fase Drie: Feature-Level Multimodale Ensemble:

   • In plaats van eenvoudige meerderheidsstemming (majority voting), extraheert het framework feature-vectoren uit de laag voorafgaand aan de classificatiekop voor elke modaliteit-specifieke netwerk.
   • Deze vectoren worden gemiddeld per modaliteit (waarbij ontbrekende modaliteiten worden afgehandeld via zero-vector initialisatie) en geconcateneerd tot een enkele feature-matrix.
   • Een Multi-Layer Perceptron (MLP) fuseert deze features om de uiteindelijke patiënt-niveau voorspelling te produceren.

Belangrijkste Bijdragen

1. Dataset Constructie: De creatie van een grootschalige, multi-center, multi-modale dataset (17.158 beelden van 1.645 patiënten) met gekoppelde klinische metadata, wat een oplossing biedt voor de schaarste aan geannoteerde SLP-datasets voor MK.
2. Nieuw Framework: De introductie van een triple-phase architectuur die expliciet de beeldvormingsheterogeniteit aanpakt door middel van contrastieve pre-training, modaliteit-specifieke fine-tuning en feature-level ensemble learning.
3. Rigoureuze Evaluatieprotocol: De auteurs leggen een kritiek nadeel bloot van eerdere multi-center studies: geaggregeerde metrieken op gepoolde data leveren vaak te optimistische resultaten op die ernstige prestatieverschillen tussen geografische locaties maskeren. Zij introduceren site-gestratificeerde evaluaties onder drie protocollen (originele distributie, resampling, en volledig gebalanceerde subsets) om een realistischere beoordeling van cross-site generalisatie te geven.

Resultaten

• Algehele Prestaties: Het voorgestelde framework bereikte state-of-the-art prestaties met 85,84% accuratesse, een gemiddelde F1-score van 84,46%, en een AUC van 0,885, waarmee het baselines zoals ResNet-50, DenseNet-121, SwinV2-T en DeepIK overtreft.
• Bacteriële Classificatie: Het framework verbeterde opmerkelijk de herkenning van bacteriële gevallen, die historisch gezien moeilijk te identificeren zijn. De bacteriële F1-score steeg van ~76,7% (beste baseline) naar 80,0%, terwijl een hoge schimmel F1-score van 89,0% behouden bleef.
• Modaliteitsanalyse: Het model presteerde het best onder sclerotic scatter verlichting (84,81% accuratesse) en toonde consistente verbeteringen over alle modaliteiten vergeleken met single-modality baselines.
• Site-Specifieke Generalisatie:
  • Op de originele dataset vertoonden alle methoden een hoge schimmel-prestatie in India maar een slechte bacteriële prestatie, en vice versa in de VS, wat wijst op geografische bias.
  • Onder resampling en gebalanceerde evaluatie-instellingen bleef het voorgestelde framework de beste performer, wat duidt op een grotere robuustheid en eerlijkheid over locaties heen vergeleken met baselines.
  • Een ablatie-studie waarbij de expliciete locatie-metadata werd verwijderd ("No Location"), toonde nog steeds geografische bias, wat suggereert dat het model impliciet site-specifieke visuele cues (bijv. sensorruis, populatiedemografie) leert van de beelden zelf.

Betekenis en Claims
Het artikel claimt dat dit werk een belangrijke stap is richting toegankelijke, AI-ondersteunde diagnose voor microbiële keratitis. Door een triple-phase framework te gebruiken, demonstreren de auteurs dat het mogelijk is om robuuste, modaliteit-invariante kenmerken te extraheren uit heterogene slit-lamp beelden, waardoor de diagnostische nauwkeurigheid voor het uitdagende bacteriële subtype wordt verbeterd.

Cruciaal is dat de auteurs betogen dat hun evaluatiemethodologie een getrouwere benchmark biedt voor real-world implementatie. Zij benadrukken dat standaard gepoolde-data evaluatie misleidend kan zijn, omdat het significante zwakheden in specifieke geografische domeinen verbergt. Het vermogen van hun framework om top-prestaties te behouden onder strikte, gebalanceerde en geresamplede evaluatie-instellingen suggereert een hoger potentieel voor eerlijke en generaliseerbare cross-site implementatie.

De auteurs blijven bescheiden over klinische implementatie en merken op dat hoewel de offline prestaties sterk zijn, prospectieve validatie in real-world point-of-care workflows essentieel is. Ze erkennen ook huidige beperkingen, waaronder de binaire aard van de classificatie (bacterieel versus schimmel), de noodzaak van bredere geografische representatie om shortcut learning te mitigeren, en de noodzaak van gestandaardiseerde beeldvormingsprotocollen in toekomstige prospectieve studies.