Technische Samenvatting: Parameter-efficiënte Prompt Tuning van een Vision Foundation Model met Adaptieve Focal Loss voor Interpreteerbare MCI-screening

1. Probleemstelling

Mild Cognitive Impairment (MCI) vertegenwoordigt een kritieke vroege fase van cognitieve achteruitgang die voorafgaat aan de ziekte van Alzheimer. Automatische detectie via neuropsychologische tekenopdrachten (specifiek de Clock Drawing Test, Cube Copying Test en Trail Making Test) staat voor drie fundamentele beperkingen:

1. Dataschaarste en Imbalans: Datasets zijn vaak klein met scheve klassenverdelingen (bijv. een ratio van 2,4:1 tussen gezonde controles en MCI-patiënten).
2. Diagnostische Ambiguïteit: Klinische grenzen zijn onzeker, waarbij MoCA-scores dicht clusteren rond de afkapwaarde van 25, waardoor harde binaire classificatie suboptimaal is.
3. Beperkingen van Bestaande Methoden: Huidige state-of-the-art benaderingen vertrouwen op computationeel dure, volledig gefinetunede hybride architecturen (bijv. de combinatie van ResNet en ViT) die een gebrek aan parameter-efficiëntie vertonen. Bovendien is interpreteerbaarheid in deze modellen doorgaans een post-hoc benadering (bijv. attention rollout of Grad-CAM) in plaats van een intrinsieke architecturale eigenschap.

2. Methodologie

De auteurs stellen een parameter-efficiënt framework voor dat een bevroren DINOv2-Small vision foundation model aanpast met behulp van Prompt Tuning en een nieuwe MoCA-geadapteerde Focal Loss.

2.1 Architectuur: Parameter-efficiënte Prompt Tuning

In plaats van het volledige backbone te finetunen, houdt het model de DINOv2-Small gewichten bevroren. Aanpassing wordt bereikt door:

• Modaliteit-specifieke Leerbare Tokens: Drie verschillende leerbare prompt-tokens worden geïntroduceerd, één voor elke tekenopdracht (klok, kubus, spoor). Elk van deze tokens wordt willekeurig geïnitialiseerd en end-to-end geoptimaliseerd.
• Cross-Attention Aggregatie: Elk taak-specifiek token fungeert als een query in een gedeelde cross-attention laag, die aandacht schenkt aan de patch-tokens van de corresponderende afbeelding die door de bevroren backbone wordt verwerkt. Dit produceert taak-geconditioneerde embeddings ($e_k$) die de meest informatieve ruimtelijke patches samenvatten voor die specifieke cognitieve functie.
• Leerbare Query Attention Fusie: De drie taak-embeddings worden geaggregeerd via een leerbaar query-vector die aandacht schenkt aan de embeddings. Dit produceert een gefuseerde patiënt-vector en een set modaliteits-belangrijkheidsgewichten ($\alpha$), die aangeven welke tekenopdracht de uiteindelijke beslissing het meest heeft beïnvloed.
• Intrinsieke Interpreteerbaarheid: De cross-attention gewichten van de prompt-tokens naar de beeld-patches dienen als directe ruimtelijke saliency maps, wat geen extra backward computation of post-hoc benadering vereist.

2.2 Loss Functie: MoCA-geadapteerde Focal Loss

Om diagnostische ambiguïteit en klassenimbalans aan te pakken, introduceren de auteurs een verenigde loss-functie die standaard soft-label benaderingen generaliseert. Deze integreert:

1. Soft Anchor: Converteert de continue MoCA-score ($m_i$) naar een soft target ($s_i$) met behulp van een sigmoid-functie gecentreerd rond de klinische afkapwaarde ($C=25,5$).
2. MoCA-Probabiliteitsmodulator: Een nieuwe modulator die de loss herweegt op basis van de discrepantie tussen de voorspelde waarschijnlijkheid van het model ($p_i$) en de MoCA-afgeleide verwachting ($s_i$). Monsters waar de voorspelling afwijkt van de score-gebaseerde verwachting, krijgen een hoger gewicht.
3. Adaptieve Per-Sample Weging: Corrigeert voor ongelijke frequenties van subjecten binnen MoCA-bins (MoCA-bin adaptieve weging), waardoor zeldzame, grensgevallen niet worden genegeerd.

2.3 Trainingsstrategieën

Het framework maakt gebruik van verschillende gerichte augmentatie- en samplingstrategieën:

• Beeldinversie: Het inverteren van pixelintensiteiten om de tekeningen met een witte achtergrond in lijn te brengen met de statistieken van natuurlijke afbeeldingen van de pre-trained DINOv2.
• Class-Balanced Batch Sampling: Zorgen voor een gelijke representatie van klassen in elk batch.
• Type-Preserving Mixup: Interpoleren van afbeeldingen en labels binnen hetzelfde teken-type om klinische coherentie te behouden.
• MoCA-Neighbour Drawing Swap: Het vervangen van één of twee tekeningen in een triplet door die van een subject met een vergelijkbare MoCA-score om structurele diversiteit te vergroten.

3. Belangrijkste Bijdragen

1. Parameter-efficiënte, Interpreteerbare Classificatie: Het framework gebruikt een bevroren foundation model met slechts 1,19 miljoen leerbare parameters (minder dan 6% van het totaal). Het levert ruimtelijke attention maps en modaliteits-belangrijkheidsscores op als direct bijproduct van het inferentieproces.
2. MoCA-bewuste Focal Loss: Een verenigde loss-formulering die eerdere soft-label methoden strikt generaliseert door continue cognitieve scores te integreren in het trainingsdoel, de loss-modulatie en de adaptieve weging.
3. Gerichte Augmentatie: Strategieën die specifiek zijn ontworpen voor het fotometrische domeingap (beeldinversie) en de beperkte diversiteit van neuropsychologische datasets (drawing swap, type-preserving Mixup).

4. Experimentele Resultaten

Het model werd geëvalueerd op een dataset van 918 subjecten (651 gezond, 267 MCI) middels gestratificeerde vijf-voudige cross-validatie.

• Prestaties: De voorgestelde architectuur behaalde een MCI-klasse F1-score van 0,641 ± 0,026 en een AUC van 0,795 ± 0,024.
• Vergelijking: Het presteerde beter dan de computationeel zwaardere ResViT baseline (een hybride ResNet50/ViT model) met 0,110 in de MCI-klasse F1, ondanks het gebruik van aanzienlijk minder leerbare parameters.
• Ablatie-studies:
  • Het verwijderen van de MoCA-probabiliteitsmodulator veroorzaakte de grootste prestatiedaling (F1MCI nam af met 0,017), wat de cruciale rol ervan bevestigt bij het afhandelen van grensbambiguïteit.
  • Taak-specifieke prompt-tokens bleken superieur aan gedeelde tokens of CLS-only benaderingen voor MCI-sensitiviteit, omdat ze het model in staat stellen te specialiseren in taak-specifieke tekorten in plaats van deze te middelen.
  • Prompt tuning presteerde beter dan LoRA en Top Tuning strategieën, waarbij het de beste MCI-recall behaalde met de minste extra parameters.

5. Betekenis en Claims

Het artikel stelt dat architecturale complexiteit (het stapelen van meerdere grote netwerken) voor deze taak niet noodzakelijk is. In plaats daarvan biedt een zelfgesuperviseerd vision foundation model, wanneer aangepast via lichtgewicht, taak-specifieke prompt tuning, een superieur fundament.

Belangrijke claims met betrekking tot de betekenis zijn:

• Efficiëntie: De methode bereikt state-of-the-art prestaties met een fractie van de leerbare parameters die nodig zijn voor volledige fine-tuning of hybride architecturen.
• Intrinsieke Interpreteerbaarheid: In tegenstelling tot eerdere werken die vertrouwen op post-hoc benaderingen, biedt dit framework ruimtelijke saliency maps en modaliteits-belangrijkheidsscores als een inherent structureel gevolg van de architectuur.
• Afhandeling van Ambiguïteit: De MoCA-geadapteerde focal loss adresseert effectief de inherente onzekerheid nabij klinische grenzen door gebruik te maken van continue cognitieve scores in plaats van rigide binaire labels.
• Klinische Relevantie: Het vermogen om te identificeren welke specifieke tekenmodaliteit (klok, kubus of spoor) een voorspelling aanstuurde, biedt een niveau van interpreteerbaarheid dat potentieel nuttig is voor klinische besluitvormingsondersteuning, hoewel de auteurs opmerken dat dit verdere validatie tegen expert-oordeel vereist.

De auteurs hanteren een bescheiden standpunt en erkennen beperkingen zoals het gebruik van een enkele dataset van één instituut, de exclusie van temporele kinematische data (pen snelheid/druk) en de noodzaak voor externe validatie van de modaliteitsgewichten tegenover klinische experts.