Paper Title: LoV3D: Grounding Cognitive Prognosis Reasoning in Longitudinal 3D Brain MRI via Regional Volume Assessments

LoV3D is een geavanceerde pipeline die longitudinale 3D-hersenen-MRI-scans analyseert door regionale volumetrische beoordelingen te koppelen aan een cognitieve prognose, waardoor hallucinaties worden verminderd en de diagnose van neurodegeneratieve ziekten zoals Alzheimer aanzienlijk nauwkeuriger en biologisch plausibeler wordt.

De kern

Stel je voor dat je een heel oude, waardevolle fotoalbum hebt: het zijn de hersenscans van een patiënt over de jaren heen. De vraag is: hoe ziet de gezondheid van deze persoon eruit? Is het gewoon ouderdom, of is er iets ernstigs aan de hand, zoals de ziekte van Alzheimer?

Vroeger hadden artsen twee opties, maar beide hadden hun nadelen:

1. De "Snelle Scanner": Een computer die alleen maar zei: "Ja, het is ziek" of "Nee, het is gezond". Maar die gaf geen uitleg waarom. Het was alsof iemand alleen maar "Ja" of "Nee" schreef op een briefje, zonder de reden.
2. De "Dromer": Een slimme computer die mooie verhalen kon schrijven over de scans. Maar soms droomde deze computer dingen in die er niet waren (bijvoorbeeld: "Ik zie een grote klap in het hoofd", terwijl er niets is). Dit noemen we "hallucinaties".

De onderzoekers van dit paper hebben een nieuwe oplossing bedacht: LoV3D. Laten we dit uitleggen met een paar creatieve vergelijkingen.

1. LoV3D is als een super-arts-assistent die nooit liegt

Stel je LoV3D voor als een zeer ervaren, maar streng getrainde arts-assistent. Deze assistent doet drie dingen tegelijk:

• Hij kijkt goed: Hij bestudeert de 3D-scan van de hersenen, net als een radioloog.
• Hij vergelijkt: Hij pakt de oude scan van vorig jaar erbij en zegt: "Kijk, dit stukje hersenen is nu iets kleiner geworden dan toen."
• Hij schrijft een verslag: Hij geeft een diagnose (Gezond, Mild Probleem, of Dementie) én een duidelijk verhaal waarom hij dat denkt.

2. Het geheim: "De Controleur" (De Verifier)

Het grootste probleem met slimme computers is dat ze vaak zelfverzekerd fouten maken. Hoe leer je een computer om niet te liegen?

In het verleden moesten mensen handmatig controleren of de computer het goed had. Dat is duur en traag. LoV3D gebruikt een slimme truc: een automatische controleur.

• De Analogie: Stel je voor dat de computer een huis bouwt. In plaats van dat een mens elke dag komt kijken of de muren recht staan, heeft de computer een laser-niveau (de Verifier) aan de muur gehangen.
• Als de computer zegt: "Ik heb een muur hier neergezet," maar de laser ziet dat de muur scheef staat, dan weet de computer direct: "Oh, dat klopt niet."
• De computer krijgt dan een strafje (een lage score) en moet het opnieuw proberen.
• Het mooie: Deze laser meet niet of de tekst "mooi" klinkt, maar of de feiten kloppen. Bijvoorbeeld: "Als de hersenen kleiner zijn, mag je niet zeggen dat ze groter zijn." Als de computer tegenstrijdige dingen zegt, krijgt hij een nul.

Dit betekent dat de computer zichzelf kan leren zonder dat duizenden mensen de hele tijd hoeven te controleren of hij het goed doet.

3. De drie stappen van het leerproces

De onderzoekers hebben LoV3D in drie fases getraind, net zoals je een kind leert lezen en rekenen:

• Fase 1: De Oefening (De "Warming-up")
  De computer leert eerst alleen maar de grootte van de hersendelen te meten. Het is alsof hij eerst leert tellen voordat hij een verhaal gaat schrijven. Zo leert hij wat "normaal" is en wat "te klein" is.
• Fase 2: Het Schrijven (De "Structuur")
  Nu leert de computer om zijn bevindingen in een strak verslag te gieten. Hij moet eerst zeggen wat hij ziet, dan uitleggen wat het betekent, en pas daarna de diagnose geven. Hij mag niet direct naar het antwoord springen. Dit zorgt ervoor dat hij eerst "nadenkt" voordat hij spreekt.
• Fase 3: De Perfectie (De "Controle")
  Hier komt de automatische controleur (de laser) om de hoek kijken. De computer maakt 4 verschillende verslagen. De controleur kijkt welke het meest logisch en feitelijk correct is. De computer leert dan: "Ah, verslag A was goed, verslag B was raar. De volgende keer doe ik het zoals verslag A."

4. De resultaten: Waarom is dit zo cool?

De testresultaten zijn indrukwekkend:

• Geen rare fouten: De computer maakt bijna nooit een fout waarbij hij een gezond persoon "dement" noemt of andersom. Dat is cruciaal voor de veiligheid van patiënten.
• Wereldwijd werkt het: Ze hebben de computer getest op data uit andere landen (Londen en Australië) met andere scanners. Het werkt daar ook perfect, zonder dat ze de computer opnieuw moesten leren. Het heeft dus echt "geleerd" hoe hersenen werken, en niet alleen hoe die ene specifieke scanner eruit ziet.
• Betrouwbaar: Als de computer zegt dat er een probleem is, dan is er ook echt een probleem. Hij "droomt" niet meer.

Samenvattend

LoV3D is als het geven van een checklist aan een slimme robot. In plaats van de robot vrij te laten om te dromen, zeggen we: "Je moet eerst de maten controleren, dan vergelijken met het verleden, en pas dan een oordeel vellen. Als je maten niet kloppen met je verhaal, dan heb je het fout."

Hierdoor krijgen artsen een hulpmiddel dat niet alleen een diagnose geeft, maar ook een betrouwbaar, controleerbaar verhaal levert. Het is een stap in de richting van AI die niet alleen slim is, maar ook eerlijk en veilig voor de menselijke gezondheid.

Technische samenvatting

Probleemstelling

De progressie van neurologische aandoeningen zoals de ziekte van Alzheimer (AD) vereist longitudinale analyse van 3D hersen-MRI-scans (T1-gewogen). Huidige diep-leerbenaderingen hebben echter fundamentele tekortkomingen:

1. Classificatiemodellen reduceren een scan tot een enkel label, waardoor anatomische specificiteit en redenering verloren gaan.
2. Volumetrische pipelines (bijv. FreeSurfer) leveren precieze metingen op, maar geen klinische redenering of rapportage.
3. Vision-Language Models (VLMs) kunnen vloeiende teksten genereren, maar zijn vatbaar voor hallucinaties (bijv. atrofie beschrijven in een gezond gebied) en missen longitudinale coherentie.

Er bestaat geen systeem dat end-to-end longitudinale 3D MRI leest, gestructureerde diagnostische redenering produceert en deze redenering via geautomatiseerde verificatie traint.

Methodologie: LoV3D

LoV3D is een pipeline voor het trainen van 3D Vision-Language Models die een gestructureerde, verifieerbare output genereert. De architectuur en het trainingsproces zijn als volgt opgebouwd:

1. Architectuur

• Encoder: Een aangepaste MONAI ResNet-50 (afgekapt na laag 3) verwerkt de 3D MRI-scans. In tegenstelling tot Vision Transformers (ViT) wordt een CNN gekozen om overfitting te voorkomen bij het trainen op een beperkt aantal baseline scans. De output wordt gepoold tot 512 visuele tokens.
• Projector: Een twee-laags MLP projecteert visuele tokens naar de embedding-ruimte van het Large Language Model (LLM) (Qwen-2.5-14B).
• LLM: Verwerkt visuele tokens samen met tekstuele prompts (demografie, APOE-status, cognitieve scores en optionele longitudinale geschiedenis).
• Belangrijk: De huidige scan's FreeSurfer-metingen worden nooit aan het model getoond; deze dienen uitsluitend als "ground truth" voor de Verifier. Het model moet de anatomische beoordeling zelf afleiden uit de 3D-beelden.

2. Verifieerbare Output Design

In plaats van vrije tekst, genereert het model een JSON-object met twee categorieën velden:

• Kwalitatieve velden: Vrije tekst voor klinische redenering en observaties.
• Verifieerbare velden: Logisch gekoppelde velden die door code gecontroleerd kunnen worden.
  • C1 (Regionale selectie): Abnormale regio's moeten in de redenering worden genoemd.
  • C2 (Classificatie): Neurodegeneratie is irreversibel; een verslechtering van de huidige label ten opzichte van de vorige scan is onlogisch.
  • C3 (Longitudinale progressie): De voorspelde verandering (stabiel, progressief) moet consistent zijn met de drempelwaarden.

Na de JSON volgt een samenvatting in natuurlijke taal.

3. Normatieve Z-score Model & Verifier

Om hallucinaties te detecteren en te trainen, wordt een Normatieve Z-score gebruikt:

• Volumetrische afwijkingen worden berekend ten opzichte van leeftijd- en geslachtsgecorrigeerde normen (gefit op cognitief normale proefpersonen).
• Scores worden omgezet in drie ernstniveaus: normaal, milde atrofie, en ernstige atrofie.
• Soft Tolerance Zones: Om onzekerheid bij grenswaarden te mitigeren, worden tolerantiezones (±0.25 Z-score) toegepast.
• Clinically-Weighted Verifier: Een algoritme scoort elke gegenereerde output automatisch. Het straft kritieke fouten (bijv. CN↔Dementia verwisseling) zwaarder dan aangrenzende fouten en weegt belangrijke regio's (hippocampus, entorhinaal cortex) zwaarder.

4. Trainingsparadigma (4 Stadia)

1. Stage 0 (Encoder Warm-up): De encoder wordt getraind via multi-task volume regressie op baseline scans om anatomisch inzicht te verwerven.
2. Stage 1a (Projector Alignment): De projector wordt afgestemd op de LLM om visuele tokens correct te vertalen.
3. Stage 1b (Multi-task SFT): Het model leert gestructureerde klinische output genereren (regio-selectie, classificatie, progressie) via Supervised Fine-Tuning (SFT) met LoRA-adapters.
4. Stage 2 (Verifier-Guided DPO): Direct Preference Optimization (DPO) wordt toegepast zonder menselijke annotatie. De Verifier genereert voorkeursparen (beste vs. slechtste kandidaten) op basis van de automatisch gegenereerde scores, waardoor het model leert om klinisch accurate en intern consistente outputs te prefereren.

Kernbijdragen

1. Gestructureerde, verifieerbare output: Een JSON-formaat dat hallucinaties codeerbaar maakt en logische inconsistenties detecteert.
2. Geautomatiseerde trainingslus: Een klinisch gewogen Verifier die DPO mogelijk maakt zonder menselijke labels, wat de schaalbaarheid vergroot.
3. End-to-end longitudinale redenering: Het eerste systeem dat 3D MRI leest, anatomische beoordelingen doet, longitudinale vergelijkingen maakt en een diagnose stelt in één gestructureerd proces.

Resultaten

De evaluatie vond plaats op het ADNI-testset (479 scans, 258 proefpersonen) en externe validatiesets (MIRIAD, AIBL).

• Diagnostische Nauwkeurigheid:
  • 93.7% nauwkeurigheid voor 3-klassen classificatie (CN, MCI, Dementie) op ADNI.
  • 97.2% nauwkeurigheid voor 2-klassen (CN vs. Dementie), wat 4% hoger is dan de state-of-the-art (SOTA).
  • 0% niet-aangrenzende fouten: Er zijn geen verwisselingen tussen CN en Dementie opgetreden (alle fouten waren tussen aangrenzende klassen).
• Anatomische Classificatie:
  • 82.6% nauwkeurigheid op regio-niveau (een verbetering van +33.1% ten opzichte van VLM-baselines).
• Ablatie-studie:
  • Zonder anatomische grounding (Stage 0 vervangen door diagnose-classificatie) daalde de nauwkeurigheid naar 92,5% en ontstond er een kritieke CN↔Dementie fout. Dit bevestigt dat anatomische grounding essentieel is voor klinische veiligheid.
• External Validatie (Zero-Shot):
  • MIRIAD: 95,4% nauwkeurigheid (100% recall voor Dementie).
  • AIBL: 82,9% nauwkeurigheid (3-klassen), wat significant beter is dan bestaande methoden die op NACC-data zijn getraind.
• Rapportkwaliteit:
  • DPO verbeterde de rapportkwaliteit aanzienlijk: BLEU-4 steeg met 65% en ROUGE-L met 37% ten opzichte van alleen SFT.

Betekenis en Conclusie

LoV3D bewijst dat het ontwerpen van output voor verifieerbaarheid de sleutel is tot het trainen van betrouwbare medische AI. Door de output te structureren als controleerbare JSON, kunnen hallucinaties worden opgespoord en kan het model worden getraind via geautomatiseerde feedback (DPO) zonder dure menselijke annotatie.

De studie toont aan dat anatomische grounding niet alleen de nauwkeurigheid verbetert, maar vooral de klinische veiligheid garandeert door kritieke diagnostische fouten te elimineren. Het principe van "ontwerp voor verifieerbaarheid" is breed toepasbaar op andere medische domeinen waar outputkwaliteit cruciaal is en handmatige verificatie duur of moeilijk is.