AnatomiX, an Anatomy-Aware Grounded Multimodal Large Language Model for Chest X-Ray Interpretation

Each language version is independently generated for its own context, not a direct translation.

🩺 AnatomiX: De "Lijf-kenner" voor Röntgenfoto's

Stel je voor dat je een zeer slimme robot hebt die röntgenfoto's van de longen kan lezen. Deze robot is getraind op miljoenen teksten en foto's. Hij is goed in het vinden van ziektes, maar hij heeft een groot probleem: hij weet niet precies waar hij kijkt.

Het is alsof je een detective hebt die weet dat er een "gevaarlijke hond" in de stad is, maar die denkt dat de hond links staat, terwijl hij eigenlijk rechts staat. Als je de foto spiegelt (links wordt rechts), raakt deze detective volledig in de war. Hij denkt dan dat de hond links staat, terwijl hij nu rechts staat. Hij leert alleen patronen ("links is meestal ziek"), maar begrijpt niet wat een long of een hart echt is.

AnatomiX is de nieuwe, slimme robot die dit probleem oplost. Hij is speciaal ontworpen om niet alleen te "kijken", maar om de anatomie (de bouw van het lichaam) echt te begrijpen.

🧩 Hoe werkt AnatomiX? (De Twee-Stappen Dans)

De meeste oude modellen proberen alles in één keer te doen: "Kijk naar de foto, en zeg direct wat er mis is." AnatomiX doet het anders, net zoals een echte arts. Het is een tweestaps-proces:

Stap 1: De "Lijf-Scan" (De Anatomie Perceptie Module)

Voordat AnatomiX een diagnose stelt, doet hij eerst een grondige inspectie van het lichaam.

De Analogie: Stel je voor dat je een huis inspecteert voordat je zegt of er brand is. Je kijkt eerst: "Waar is de keuken? Waar is de slaapkamer? Waar is de trap?"
Wat doet AnatomiX? Hij zoekt eerst naar de 36 belangrijkste onderdelen van de borstkas (zoals de linkerlong, de rechterlong, het hart, de ribben). Hij trekt een onzichtbaar kaders (een 'bounding box') om elk onderdeel en geeft elk onderdeel een naam.
Het resultaat: Hij heeft nu een kaart van het lichaam, niet alleen een wazige foto. Hij weet: "Dit is de linkerlong, en die zit hier."

Stap 2: De "Diagnose" (De Taalmodel)

Pas nadat hij weet waar de delen zitten, kijkt hij naar de ziekte.

De Analogie: Nu dat de inspecteur weet waar de keuken is, kan hij zeggen: "In de keuken (die ik net heb gevonden) staat er water op de vloer." Hij hoeft niet te raden waar de keuken zit; hij weet het al.
Wat doet AnatomiX? Hij gebruikt de informatie van Stap 1 om vragen te beantwoorden, verslagen te schrijven of ziektes te lokaliseren. Omdat hij de "kaarten" van het lichaam al heeft, maakt hij geen fouten meer over links en rechts.

🪞 Waarom is dit zo belangrijk? (De Spiegel-test)

De onderzoekers deden een grappige test: ze draaiden de röntgenfoto's om (spiegelbeeld).

Oude modellen: Kregen een zenuwinzinking. Omdat ze alleen leerden dat "ziektes vaak links zitten", dachten ze dat als de foto omgedraaid was, de ziekte nu ook links zat (terwijl hij nu rechts was). Ze verloren hun oriëntatie.
AnatomiX: Bleef kalm. Hij dacht: "Ah, ik zie de 'rechterlong' (die nu links op de foto staat). Die ziet er ziek uit." Hij herkende het onderdeel, niet alleen de positie.

Dit is als een spiegelbeeld van jezelf in de spiegel. Een oude robot denkt: "Mijn hand is links." Maar AnatomiX denkt: "Mijn hand is mijn hand, waar hij ook staat."

🚀 Wat kan AnatomiX nu beter doen?

Dankzij deze manier van werken, presteert AnatomiX veel beter dan de concurrenten op vier belangrijke gebieden:

Het vinden van ziektes: Hij kan precies aangeven waar op de foto de ziekte zit (bijvoorbeeld: "Er is een vlek in de linkeronderste long").
Het schrijven van verslagen: Hij schrijft verslagen die klinisch correcter zijn, omdat hij weet welk orgaan hij beschrijft.
Vragen beantwoorden: Als je vraagt: "Zie je de linkerrib?", kan hij die vinden, zelfs als de foto gekanteld is.
Links en Rechts: Hij maakt bijna geen fouten meer in het onderscheiden van links en rechts, wat cruciaal is voor artsen.

🏁 Conclusie

AnatomiX is als een medische student die niet alleen uit zijn hoofd leert wat ziektes zijn, maar eerst de anatomie van het menselijk lichaam perfect heeft geleerd. Door eerst te begrijpen waar de organen zitten, wordt hij een veel betrouwbaarder arts-assistent.

De boodschap is simpel: Om goed te kunnen kijken naar een ziekte, moet je eerst begrijpen hoe het lichaam is opgebouwd. AnatomiX doet precies dat, en dat maakt hem tot de nieuwe kampioen in het interpreteren van longfoto's.

Each language version is independently generated for its own context, not a direct translation.

Probleemstelling

Multimodale Large Language Models (MLLM's) hebben aanzienlijke vooruitgang geboekt in de interpretatie van thoraxröntgenfoto's (CXR). Echter, deze modellen kampen nog steeds met significante tekortkomingen in ruimtelijk redeneren en anatomisch begrip. Bestaande "grounding"-technieken (het koppelen van tekstconcepten aan objecten in een afbeelding) verbeteren vaak de algemene prestaties, maar falen in het waarborgen van een ware anatomische correspondentie.

Een kritiek punt is dat huidige state-of-the-art modellen vaak afhankelijk zijn van globale ruimtelijke correlaties in plaats van daadwerkelijke anatomische herkenning. Dit leidt tot fouten bij het lokaliseren van laesies of het identificeren van de juiste anatomische structuren, vooral wanneer beelden worden gespiegeld (links/rechts verwisseld) of wanneer radiologische markers ontbreken. Radiologen werken volgens een iteratief proces: eerst anatomische structuren identificeren en lokaliseren, en vervolgens diagnostische conclusies trekken. Huidige MLLM's proberen dit vaak in één stap te doen, wat resulteert in een gebrek aan fijnmazig ruimtelijk inzicht.

Methodologie: AnatomiX

AnatomiX is een nieuwe, anatomie-bewuste multimodale MLLM die is ontworpen om de radiologische workflow na te bootsen door een tweestapsproces te implementeren. Het model bestaat uit twee hoofdcomponenten:

1. Anatomy Perception Module (APM)

De APM is verantwoordelijk voor het extraheren van globale beeldrepresentaties en fijne, anatomisch specifieke kenmerken voordat de taalverwerking plaatsvindt.

Architectuur: De module bevat een beeldencoder ( $E$ ), een decoder ( $D$ ) (geïnspireerd op DETR), een feature extraction module ( $M$ ) en een sentence encoder ( $S$ ).
Anatomische Object Tokens: Het model gebruikt $N$ leerbare object-tokens (waarbij $N=36$ voor specifieke thoracale structuren zoals longen, hart, ribben, etc.). Deze tokens leren om via cross-attention naar relevante anatomische regio's te kijken.
Output: De APM genereert:
- Voorspelde bounding boxes ( $\hat{y}_{box}$ ) voor elke anatomische structuur.
- Gedetailleerde anatomische object features ( $\hat{O}_A$ ) die de visuele kenmerken van die specifieke regio's coderen.
Contrastieve Alignering: Tijdens het trainingstraject worden de visuele tokens gealigneerd met tekstuele beschrijvingen van radiologische bevindingen. In plaats van een standaard CLIP-achtige loss (die uitgaat van één positief paar), gebruikt AnatomiX een zelf-ähnelijkheidsmatrix (Self-Similarity Loss). Dit houdt rekening met het feit dat pathologieën vaak in meerdere regio's voorkomen of overlappen, waardoor meerdere "positieve" koppelingen mogelijk zijn.
Inferentie: Tijdens de inferentie wordt de sentence encoder vervangen door een compacte Vector Database (VDB). De visuele tokens worden vergeleken met vooraf berekende embeddings van unieke zinnen in de database om de meest semantisch vergelijkbare beschrijvingen op te halen.

2. Large Language Model (LM)

Het LM (gebaseerd op MedGemma-4b-it) ontvangt de output van de APM en de gebruikersprompt.

Multimodale Prompt: De input bevat de globale beeldembeddings, de specifieke anatomische tokens ( $\hat{O}_A$ ), de voorspelde bounding boxes en de opgehaalde tekstuele beschrijvingen.
Speciale Tokens: Het vocabulaire is uitgebreid met speciale tokens voor anatomische objecten (<obj_i>) en ruimtelijke grounding (<box>, </box>, <ref>, </ref>). Dit stelt het model in staat om direct te redeneren over specifieke anatomische entiteiten in plaats van te vertrouwen op globale beeldinterpretatie.
Training: Het LM wordt gefinetuned met Low-Rank Adaptation (LoRA) op diverse taken.

Belangrijkste Bijdragen

AnatomiX Model: Introductie van een anatomie-bewuste, grounded MLLM die een tweestapsproces hanteert (eerst anatomie identificeren, dan taak uitvoeren) in plaats van een directe eind-tot-eind mapping.
Superieure Anatomische Redenering: Het model demonstreert aanzienlijk betere prestaties in het onderscheiden van links/rechts en het lokaliseren van structuren, zelfs bij gespiegelde beelden of zonder radiologische markers.
Uitgebreide Evaluatie: Het model is getraind en geëvalueerd op negen verschillende radiologische taken, waaronder phrase grounding, anatomie grounding, grounded diagnose, grounded captioning, rapportgeneratie en VQA.
Open Source: De code en het voorgeïnde model zijn beschikbaar gesteld.

Resultaten

De experimenten tonen aan dat AnatomiX significant presteert boven bestaande state-of-the-art modellen zoals RadVLM, CheXagent en MAIRA-2.

Grounding Taken: AnatomiX behaalt een verbetering van meer dan 25% op taken zoals anatomie grounding, phrase grounding en grounded diagnose. Bijvoorbeeld, de IoU (Intersection over Union) voor anatomie grounding steeg van 0,60 (RadVLM) naar 0,73 (AnatomiX).
Robuustheid tegen Spiegeling: Bij het testen met horizontaal gespiegelde beelden (waarbij links en rechts zijn verwisseld) faalt RadVLM volledig (IoU daalt naar ~0,10), terwijl AnatomiX zijn prestaties behoudt (IoU ~0,71). Dit bewijst dat het model daadwerkelijke anatomische kennis heeft en niet alleen op oriëntatie-cues leunt.
Rapportgeneratie & VQA: Het model behaalt state-of-the-art of vergelijkbare resultaten op rapportgeneratie en Visual Question Answering (VQA), terwijl het aanzienlijk efficiënter is dan grotere concurrenten (bijv. Radialog en MAIRA-2 hebben 1,5x meer parameters).
Ablatie Studies: Experimenten tonen aan dat elke component (beeldembeddings, anatomische tokens, bounding boxes, en opgehaalde zinnen) essentieel is voor de uiteindelijke prestaties. Het verwijderen van de anatomische tokens leidt tot een sterke daling in de grounding-vaardigheden.

Significantie

AnatomiX markeert een belangrijke stap in de ontwikkeling van medische MLLM's door te bewegen van "generalistische" fine-tuning naar domeinspecifiek ontwerp. Het paper benadrukt dat het simpelweg trainen van algemene modellen op medische data niet voldoende is voor nauwkeurig ruimtelijk redeneren. Door de workflow van radiologen na te bootsen (eerst anatomie lokaliseren, dan diagnosticeren), overbrugt AnatomiX de kloof tussen visuele grounding en medisch begrip. Dit heeft grote implicaties voor de betrouwbaarheid van AI in de klinische praktijk, waar het correct identificeren van de juiste kant (links/rechts) en anatomische structuur cruciaal is voor een juiste diagnose.