Instruction-Guided Lesion Segmentation for Chest X-rays with Automatically Generated Large-Scale Dataset

Probleemstelling

Bestaande modellen voor het segmenteren van laesies op thoraxfoto's (CXR) kampen met twee fundamentele beperkingen die hun praktische toepassing belemmeren:

1. Beperkte labelvariatie: De meeste datasets focussen op slechts één type laesie (bijv. COVID-19 of pneumothorax) of bieden slechts grove bounding boxes in plaats van pixel-accurate segmentatiemaskers.
2. Complexiteit van input: Huidige modellen vereisen vaak complexe, expert-niveau tekstuele beschrijvingen als input (bijv. "Bilaterale pulmonaire infectie, twee gebieden, bovenste rechter- en linkerlong"). Dit maakt ze onbruikbaar voor artsen die snel specifieke gebieden willen analyseren voordat ze de foto grondig bekijken, en onmogelijk voor niet-experts die de beelden niet zelf kunnen interpreteren.

Er is een gebrek aan een dataset die het mogelijk maakt om een model te trainen dat reageert op eenvoudige, natuurlijke instructies (zoals "Segmenteer de pneumonie in de rechterlong") en tegelijkertijd de afwezigheid van laesies kan bevestigen.

Methodologie

De auteurs introduceren een nieuwe taak genaamd Instruction-Guided Lesion Segmentation (ILS) en ontwikkelen een volledig geautomatiseerde pipeline om dit probleem op te lossen zonder menselijke tussenkomst.

1. Geautomatiseerde Dataset Constructie (MIMIC-ILS)

De kern van de bijdrage is de creatie van MIMIC-ILS, het eerste grote dataset voor ILS in CXR, afgeleid van de bestaande MIMIC-CXR dataset (192.000 beelden en bijbehorende radiologieverslagen). De pipeline bestaat uit vier stappen:

• Rapportstructurering: Large Language Models (LLMs) worden gebruikt om radiologieverslagen te analyseren en te converteren naar gestructureerde tuples (entiteit, aanwezigheid, zekerheid, locatie, voorspelde laesietype).
• Ruimtelijke informatiewinning: Drie visuele modellen worden ingezet:
  • RadEdit: Een diffusion-model dat de laesie uit de afbeelding verwijdert om een "normale" versie te genereren. Het verschil tussen de originele en de bewerkte afbeelding levert een anomaliekaart op.
  • CXAS: Een anatomie-segmentatiemodel dat maskers genereert voor specifieke longgebieden.
  • YOLO: Een objectdetectiemodel dat boks-maskers voor potentiële laesies genereert.
• Maskergeneratie: De anomaliekaart wordt gefilterd en gecombineerd met de anatomische en detectiemaskers. Alleen gebieden die voldoen aan strikte criteria (overlap met rapportlocatie, hoge betrouwbaarheidsscore, voldoende signaalsterkte) worden behouden als grondwahrheid-maskers.
• Locatieverificatie: Het systeem verifieert of een gegenereerd masker daadwerkelijk overeenkomt met de locatie in het verslag. Als er geen laesie is op een specifieke locatie, wordt dit gebruikt om negatieve voorbeelden (afwezigheidsbevestiging) te genereren.

2. Dataset Statistieken

• Grootte: 1,1 miljoen instructie-antwoordparen.
• Bron: 192.000 unieke beelden en 91.000 unieke segmentatiemaskers.
• Laesietypes: Zeven hoofdtypen (cardiomegalie, pneumonie, atelectase, opaciteit, consolidatie, edema, effusie).
• Kwaliteit: Ondanks volledige automatisatie, beoordeelden vier radiologie-oncologen het testset met een acceptatiegraad van 96,4%.

3. Model: ROSALIA

Op basis van MIMIC-ILS wordt ROSALIA (RadiOlogy Segmentation Assistant) getraind.

• Architectuur: Een fine-tuning van LISA (Language Instructed Segmentation Assistant), een Vision-Language Model (VLM) dat de Segment Anything Model (SAM) integreert.
• Werking: ROSALIA ontvangt een CXR-afbeelding en een tekstuele instructie. Het model genereert een speciaal [SEG] token en een tekstuele beschrijving. De embedding van dit token wordt doorgegeven aan de decoder van SAM om het definitieve segmentatiemasker te produceren.
• Vermogens: Het model kan specifieke segmentaties uitvoeren, globale zoekopdrachten doen, en de afwezigheid van laesies bevestigen.

Kernbijdragen

1. Nieuwe Automatische Pipeline: Een methode om hoogwaardige laesiemaskers en bijbehorende instructies direct uit ruwe beelden en verslagen te halen zonder menselijke annotatie.
2. MIMIC-ILS Dataset: De eerste schaalbare dataset voor instructie-gestuurde segmentatie in de thoraxradiologie, die de kloof overbrugt tussen ruwe data en bruikbare trainingsdata voor VLM's.
3. ROSALIA Model: Het eerste VLM dat is ontworpen voor ILS-taken in CXR, capable van het interpreteren van diverse instructies en het leveren van zowel pixel-accurate maskers als tekstuele uitleg.

Resultaten

De prestaties van ROSALIA werden vergeleken met bestaande modellen uit zowel het algemene domein (bijv. LISA, Text4Seg) als het medische domein (bijv. BiomedParse, RecLMIS) op de MIMIC-ILS testset.

• Segmentatiekwaliteit: ROSALIA behaalde een gIoU (generalized Intersection-over-Union) van 71,2% en een cIoU van 75,6%. Dit is aanzienlijk hoger dan de baselines, die vaak onder de 25% bleven.
• Afwezigheidsdetectie: ROSALIA behaalde een N-Acc. (Negative Accuracy) van 91,8%, wat betekent dat het zeer betrouwbaar kan bevestigen wanneer een laesie niet aanwezig is. Baseline-modellen faalden hier bijna volledig (vaak < 1%).
• Tekstuele nauwkeurigheid: Het model behaalde een tekstuele antwoordnauwkeurigheid van 94,4% over alle vraagtypen heen.
• Kwalitatieve resultaten: Visualisaties tonen aan dat ROSALIA correct reageert op specifieke instructies (bijv. alleen de pneumonie in de rechterlong segmenteren) en correcte maskers genereert voor complexe scenario's, terwijl baselines vaak hele longvelden segmenteren of volledig verkeerde maskers produceren.

Betekenis en Impact

Dit werk markeert een belangrijke stap in de automatisering van medische beeldanalyse:

• Toegankelijkheid: Door gebruik te maken van eenvoudige instructies in plaats van expert-terminologie, kunnen zowel artsen als niet-experts (bijv. in triage-scenario's) de technologie effectief gebruiken.
• Schaalbaarheid: De bewezen methode voor volledig geautomatiseerde datasetgeneratie opent de deur voor het creëren van grote, diverse datasets voor andere medische domeinen waar menselijke annotatie te duur of tijdrovend is.
• Fundering voor Onderzoek: MIMIC-ILS en ROSALIA bieden een solide basis voor toekomstig onderzoek naar fijnmazige laesie-grounding en multimodale redenering in de radiologie.

Samenvattend bewijst dit paper dat het mogelijk is om een robuust, instructie-gestuurd segmentatiemodel te bouwen voor thoraxfoto's door slimme integratie van bestaande AI-modellen en radiologieverslagen, zonder de noodzaak van duizenden manuren aan handmatige annotatie.