HamVision: Hamiltonian Dynamics as Inductive Bias for Medical Image Analysis

Probleemstelling

Medische beeldanalyse omvat diverse taken, variërend van pixel-gebaseerde segmentatie van anatomische structuren tot beeld-gebaseerde classificatie van pathologische aandoeningen. Bestaande methoden (zoals U-Nets voor segmentatie en CNNs/Transformers voor classificatie) vertrouwen voornamelijk op grote modelcapaciteit om nuttige features uit data te leren, zonder gebruik te maken van sterke structurele aannames (inductieve bias). Dit leidt vaak tot modellen met een groot aantal parameters die niet per se de fundamentele eigenschappen van medische beelden (zoals randen, texturen en intensiteitsverdelingen) expliciet modelleren. Er is behoefte aan een architectuur die deze eigenschappen inherent encodeert via fysica-gedreven principes, in plaats van ze puur uit data te laten leren.

Methodologie: HamVision

De kern van HamVision is het gebruik van de gedempte harmonische oscillator als een gestructureerde inductieve bias. In plaats van een standaard "black-box" bottleneck, introduceert het framework een Hamiltoniaans dynamisch systeem dat drie functioneel onderscheiden representaties genereert uit één enkel dynamisch proces:

1. Positie ($q$): De gefilterde signaalinhoud (feature content).
2. Momentum ($p = \dot{q}$): De ruimtelijke afgeleide van de features. Dit encodeert grens- en textuurinformatie en piekt bij overgangen (randen).
3. Energie ($H = \frac{1}{2}|z|^2$): Een parameterloze salientiekaart die de lokale excitatie samenvat.

Architectuur:

• Shared Encoder & Hamiltonian Bottleneck: Het model gebruikt een gedeelde encoder (opgebouwd uit ConvNeXt-blokken) die uitmondt in een Hamiltonian Bottleneck. In deze bottleneck worden de features verwerkt door een "bank" van oscillatoren.
• Complex State-Space: De oscillator wordt gemodelleerd als een complexwaardig systeem ($z = q + ip$) met een leerbare natuurlijke frequentie ($\omega$) en demping ($\nu$). Dit zorgt voor een frequentie-selectieve filterbank.
• Implementatie: Voor efficiëntie wordt het systeem gediscretiseerd en parallel verwerkt via een "parallel scan" over rijen en kolommen in vier richtingen (links-rechts, rechts-links, boven-onder, onder-boven). Dit voorkomt numerieke instabiliteit en zorgt voor een effectief receptief veld dat adaptief is.
• Gedeelde Output: De bottleneck levert drie outputs op: gefuseerde features ($f$), een momentum-tensor ($p$) en een energiekaart ($H_{map}$).

Taak-specifieke Heads:

• HamSeg (Segmentatie): Gebruikt een U-Net decoder. De oscillator-outputs worden hierop toegepast via:
  • Energie-gated skip connections: De energiekaart fungeert als een "gate" die bepaalt welke encoder-features belangrijk zijn voor de decoder.
  • Momentum-injectie: De momentum-tensor (grensinformatie) wordt op elk decoder-niveau aan de features toegevoegd om randen scherp te houden.
• HamCls (Classificatie): Vervangt de decoder door een "phase-space pooling head". De drie outputs ($q, p, H$) worden globaal gepooled (gemiddeld) en geconcateneerd tot een compacte vector, die vervolgens wordt ingevoerd in een MLP voor classificatie. Hier vertegenwoordigen de statistieken van momentum en energie de complexiteit van de textuur en de algehele activiteit van het beeld.

Belangrijkste Bijdragen

1. Hamiltonian Bottleneck: Introductie van een fysica-gedreven bottleneck die positie, momentum en energie als gestructureerde tussenrepresentaties produceert zonder extra supervisie.
2. Universele Architectuur: Het bewijs dat één enkele architectuur (HamVision) met een gedeelde oscillator-bottleneck zowel state-of-the-art segmentatie als classificatie kan uitvoeren, alleen door de downstream head aan te passen.
3. Interpreteerbaarheid: De outputs hebben een directe fysieke betekenis. Momentum encodeert automatisch randinformatie en energie encodeert salientie, wat gecontroleerd kan worden zonder post-hoc verklaringstechnieken.
4. Parameter-efficiëntie: Het model bereikt topresultaten met slechts 7–9 miljoen parameters, wat aanzienlijk lager is dan concurrerende methoden (vaak 16M tot 105M parameters).

Resultaten

HamVision werd geëvalueerd op 10 medische beeldbenchmarks over 5 beeldvormingsmodaliteiten (dermoscopie, echografie, MRI, CT, microscopie).

• Segmentatie (HamSeg):

  • Bereikte state-of-the-art Dice-scores op alle vier de datasets: ISIC 2018 (89,38%), ISIC 2017 (88,40%), TN3K (87,05%) en ACDC (92,40%).
  • Presteerde beter dan zwaardere modellen zoals TransUNet en VM-UNet, ondanks het gebruik van veel minder parameters.
  • De verbetering was het grootst bij ACDC (cardiale MRI), waar multi-schaal randinformatie cruciaal is.

• Classificatie (HamCls):

  • Bereikte state-of-the-art nauwkeurigheid op BloodMNIST (98,85%) en PathMNIST (96,65%).
  • Presteerde concurrerend op de overige MedMNIST-datasets (Derma, Breast, Organ, Retina) vergeleken met MedMamba en MedViT.

• Diagnostische Analyse:

  • Analyse bevestigde dat momentum consistent een gradiënt volgt van interieur > grens > exterieur, wat aantoont dat het systeem randen en regio's onderscheidt.
  • De energiekaart correleerde sterk met discriminatieve gebieden, wat de effectiviteit van de gating-mechanismen bewijst.

Betekenis en Conclusie

HamVision demonstreert dat het inbouwen van fundamentele fysica (Hamiltoniaanse dynamica) als inductieve bias een krachtige strategie is voor medische beeldanalyse. In plaats van te vertrouwen op pure data-driven learning, encodeert het model de prior dat ruimtelijk variërende signalen inherent grens-, frequentie- en salientie-informatie bevatten.

De belangrijkste inzichten zijn:

• Generalisatie: Hetzelfde dynamische systeem werkt effectief voor zowel dichte (segmentatie) als schaarse (classificatie) taken en over diverse beeldvormingsmodaliteiten heen.
• Efficiëntie: Door fysica te gebruiken om features te structureren, zijn minder parameters nodig om dezelfde prestaties te bereiken.
• Interpreteerbaarheid: De tussenliggende representaties (momentum, energie) zijn niet alleen bruikbaar voor het model, maar bieden ook direct inzicht in wat het model "ziet" (bijv. randdetectie), wat cruciaal is in de medische sector.

Dit werk suggereert dat Hamiltoniaanse dynamica een principieel en praktisch fundament kan vormen voor de volgende generatie medische beeldanalysesystemen.