Technische Samenvatting: MEDICALNARRATIVES

Probleem

Multimodale modellen vereisen enorme hoeveelheden data voor effectieve representatieleer, maar medische beelddatasets missen de schaal en diversiteit die te vinden zijn in repositories met natuurlijke afbeeldingen. Bestaande medische vision-language (VL) modellen hebben vaak moeite met het gelijktijdig combineren van ruimtelijke lokalisatie en semantisch begrip. Hoewel sommige recente datasets proberen ruimtelijke annotaties te bieden, vertrouwen ze vaak op suboptimaal voorgetrainde modellen om tekstbeschrijvingen en Regions of Interest (ROIs) te genereren voor afbeeldingen zonder ground truth, wat potentieel modelbiases en fouten voortplant. Bovendien missen standaard medische datasets vaak de "gelokaliseerde narratieven" waarbij tekst expliciet wordt gekoppeld aan specifieke beeldregio's door menselijke interactie, een protocol dat cruciaal is voor het trainen van modellen om ruimtelijke beeldregio's te verbinden met klinische concepten.

Methodologie

De auteurs stellen MEDICALNARRATIVES voor, een grootschalige dataset samengesteld uit ongestructureerde pedagogische medische video's en wetenschappelijke artikelen, ontworpen om de kloof tussen medische visie en taal te overbruggen met gelokaliseerde, ruimtelijk gegrondeerde narratieven.

Data Curatie Pipeline:

1. Bronvermelding: De dataset aggregeert data uit twee primaire bronnen:
   • YouTube: Meer dan 738.000 video's werden doorzocht met domeinspecifieke trefwoorden en een "video-first" strategie om educatieve inhoud te identificeren.
   • PubMed: 5,4 miljoen artikelen werden verwerkt om figuren en bijschriften te extraheren.
2. Filtering en Extractie:
   • Video Filtering: Video's werden gefilterd op basis van duur, aanwezigheid van spraak en het percentage keyframes dat als medische afbeeldingen werd geïdentificeerd met behulp van domeinspecifieke classifiers. Narratieve video's werden geïdentificeerd door het detecteren van "narrative streaks" (perioden waarin de verteller pauzeert om statische frames te analyseren) of persistente narratie over dynamische content.
   • Tekstverwerking: Een open-source ASR-model (Whisper) transcribeerde spraak, gevolgd door LLM-gebaseerde correctie van medische terminologie en extractie van medisch relevante tekst en Region of Interest (ROI) beschrijvingen.
   • Beeldbewerking: Keyframes werden geëxtraheerd, gedenoised, en voor samengestelde figuren in artikelen werden subfiguren gescheiden met behulp van objectdetectie (YOLO) en gekoppeld aan sub-bijschriften met behulp van OCR en LLM's.
3. Lokalisatie (Traces): Een kerninnovatie is de extractie van muiscursor-traces uit video's. De auteurs hebben de Quilt-LLaVA aanpak aangepast om "stabiele chunks" (frames met minimale achtergrondbeweging) te identificeren en geïsoleerde cursorbewegingen te extraheren door een mediaan achtergrondframe af te trekken. Dit creëert een temporele associatie tussen de gesproken tekst en specifieke pixels, wat het "think-aloud" protocol nabootst dat door medische experts wordt gebruikt.
4. Interleaving: De dataset bevat geïnterleavde samples waarbij een enkel narratief meerdere modaliteiten verbindt (bijv. röntgen en CT voor dezelfde patiënt) of meerdere sub-afbeeldingen binnen een enkele figuur, wat cross-modaal leren bevordt.

Dataset Statistieken:

• Totale Omvang: 4,7 miljoen beeld-tekst paren over 12 medische domeinen (11 medisch + 1 pseudo-medisch).
• Gelokaliseerde Narratieven: 1 miljoen samples bevatten dichte ruimtelijke annotaties in de vorm van cursor-traces (101,8 miljoen unieke trace-punten), die kunnen worden geherformatteerd naar bounding boxes of masks.
• Video Component: 118.000 video's gecentreerd rond trace-events, waarbij de temporele uitlijning tussen narratie en aanwijzen behouden blijft.

Belangrijkste Bijdragen

1. MEDICALNARRATIVES Dataset: Een nieuwe dataset van 4,7M beeld-tekst paren, met 1M samples voorzien van door experts gevalideerde ruimtelijke traces, wat spatiotemporele grounding mogelijk maakt buiten enkelvoudige frames.
2. Schaalbaar Curatieprotocol: Een robuuste pipeline voor het extraheren van gegronde vision-language data uit ruisige, ongestructureerde bronnen (YouTube-video's) en gestructureerde bronnen (wetenschappelijke artikelen), waarbij de gemak van verzameling wordt gebalanceerd met trainingsnut.
3. GENMEDCLIP: Een vision-language model getraind op MEDICALNARRATIVES met een CLIP-achtige doelstelling. Het model werd geëvalueerd op een nieuwe benchmark die 11 medische modaliteiten beslaat.
4. Trace-to-Segmentation Nut: Demonstratie dat de geëxtraheerde traces kunnen dienen als ijle supervisie (punten/scribbles) voor interactieve medische beeldsegmentatie (IMIS) modellen zoals ScribblePrompt.

Resultaten

De auteurs evalueerden GENMEDCLIP op een geconstrueerde benchmark die 29 downstream datasets over 11 medische domeinen beslaat.

• Zero-Shot Classificatie: GENMEDCLIP presteerde beter dan state-of-the-art modellen (inclusief BIOMEDCLIP, PUBMEDCLIP en PMC-CLIP) over de gehele benchmark. Specifiek behaalde het een gemiddelde verbetering van 4,75% ten opzichte van BIOMEDCLIP.
• Linear Probing: In gesuperviseerde settings presteerde GENMEDCLIP gemiddeld 2,8% beter dan BIOMEDCLIP en 1,9% beter dan PUBMEDCLIP.
• Cross-Modal Retrieval: Het model toonde superieure prestaties in zero-shot image-to-text en text-to-image retrieval, waarbij het gemiddeld 26,07% beter presteerde dan BIOMEDCLIP.
• Ablatie-studies: Experimenten die modellen vergeleken die alleen op artikelen waren getraind versus artikelen plus video's, lieten zien dat het toevoegen van video-afgeleide data de classificatieprestaties met 11,65% en de retrieval-prestaties met 53,6% verhoogde, wat de waarde van dynamische, trace-gealigneerde data benadrukt.

Betekenis

Het artikel stelt dat MEDICALNARRATIVES het kritieke tekort aan grootschalige, gegronde multimodale medische datasets aanpakt. Door gebruik te maken van het "think-aloud" protocol dat inherent is aan medische pedagogische video's, biedt de dataset een unieke vorm van zwakke supervisie waarbij tekst temporeel en ruimtelijk is uitgelijnd met beeldregio's via cursor-traces.

De auteurs betogen dat dit protocol kan dienen als een de facto standaard voor het annoteren van toekomstige multimodale medische datasets vanwege de flexibiliteit en kosteneffectiviteit in vergelijking met handmatige dichte annotatie. De resultaten suggereren dat training op deze diverse, trace-gegronde data modellen in staat stelt om state-of-the-art prestaties te behalen in zowel classificatie- als retrieval-taken, zelfs met minder trainingssamples (4,7M) vergeleken met voorgaande werken (bijv. BIOMEDCLIP getraind op 15M+ samples). De dataset is gepositioneerd om progressie te katalyseren in ruimtelijk controleerbare rapportgeneratie, interactieve segmentatie en generatieve medische beeldvormingsmodellen.

Erkende Beperkingen:

• De dataset mist door mensen geannoteerde bounding boxes, wat de directe overlap-beoordeling beperkt voor dichte taken zoals semantische segmentatie.
• Er is een overrepresentatie van abnormale gevallen, wat klinische vermoedens-biases reflecteert, wat de generaliseerbaarheid van het model kan beïnvloeden.
• Hoewel traces nuttig blijken te zijn voor IMIS, traint het artikel geen modellen specifiek op traces voor downstream ruimtelijke taken, waardoor dit aan toekomstig werk wordt overgelaten.