Technische Samenvatting: Spectrale Vision Transformer voor Efficiënte Tokenisatie met Beperkte Data

Probleemstelling

De toepassing van Vision Transformers (ViTs) in medische beeldvorming wordt momenteel gehinderd door hun enorme data-eisen. Conventionele ruimtelijke ViTs vertrouwen op lokale patch-tokenisatie en zelf-attentie-mechanismen die doorgaans honderdduizenden trainingsafbeeldingen vereisen om overfitting te voorkomen en robuuste convergentie te garanderen. In klinische settings, waar datasets vaak klein, gecureerd en onderhevig zijn aan distributieveranderingen, hebben standaard ViTs moeite om te generaliseren. Bestaande mitigatiestrategieën, zoals transfer learning vanuit ongesuperviseerde taken of token-gebaseerde distillatie, zijn vaak afhankelijk van enorme externe datasets of vooringestelde begeleidende modellen, wat kwetsbaarheden introduceert voor distributieveranderingen en regulatorische uitdagingen. Bijgevolg blijft de klinische vertaling van ViTs voor het voorspellen van uitkomsten bij invasieve ingrepen, agressieve aandoeningen en zeldzame ziekten beperkt.

Methodologie

De auteurs stellen een Spectrale Vision Transformer (Spectrale ViT) voor, een innovatieve architectuur die de standaard ruimtelijke patch-tokenisatie vervangt door een spectrale decompositiebenadering. In plaats van een lineaire projectie te leren van ruwe beeldpixels naar latente tokens, maakt de Spectrale ViT gebruik van een vaste basis (specifiek Principal Component Analysis, PCA, in de primaire experimenten) om afbeeldingen te tokeniseren.

Kernarchitectuur

1. Spectrale Tokenisatie: Afbeeldingen worden geprojecteerd op een vaste set hoofdcomponent-eigenvectoren ($w_i$) afgeleid van de trainingsdata. De resulterende scalair coëfficiënten ($s_i = v \cdot w_i$) dienen als de sequentietokens.
2. Hiërarchische Embedding: In tegenstelling tot ruimtelijke ViTs, waarbij tokens zijn geordend volgens roostercoördinaten, zijn spectrale tokens geordend volgens hun rang (verklaarde variantie). Een variantie-hiërarchie-gewicht ($\omega_i = 1/i$) en spectrale positionele embeddings ($e_{pos}$) worden toegepast op de coëfficiënten voordat ze worden geprojecteerd in de embeddingruimte.
3. Zelf-attentie: De sequentie van spectrale embeddings ondergaat standaard zelf-attentie. Dit stelt het model in staat niet-lineaire, taakrelevante interacties tussen spectrale componenten te leren, een vermogen dat ontbreekt in uitsluitend lineaire decompositiemethoden.
4. Basisgeneralisatie: Hoewel PCA de primaire focus is, is het framework ontworpen om andere bases te accommoderen, waaronder de Fourier-basis (voor ruimtelijke invariantie) en de Laplace-basis (voor behoud van topologie op niet-Euclidische variëteiten).

Complexiteitsanalyse

De Spectrale ViT ontkoppelt beeldresolutie ($m$) van de transformer-sequentielengte ($n$).

• Ruimtelijke ViT: De sequentielengte schaalt lineair met volume ($N_P \propto V^3$), wat leidt tot een kwadratische attentiecomplexiteit van $O(V^6)$.
• Spectrale ViT: De sequentielengte is vastgesteld door het aantal spectrale componenten ($n$), wat meerdere ordes van grootte kleiner is dan het aantal patches. Dit reduceert de complexiteit van de transformer-ruggegraat tot $O(n^2)$, wat de rekenkosten voor 3D-medische beeldvorming aanzienlijk verlaagt.

Theoretische Eigenschappen

• Optimale Laag-Rang Benadering: De PCA-basis biedt de minimale kwadratische reconstructiefout voor een gegeven rang.
• Energie-Compactie: PCA maximaliseert de signaalvariantie voor een vaste sequentielengte, wat resulteert in een hoger Signaal-Ruisverhouding (SNR) in vergelijking met ruimtelijke patches door het elimineren van redundante informatie.
• Ruimtelijke Invariantie: Bij gebruik van een Fourier-basis bereikt het model strikte ruimtelijke (translatie) invariantie, aangezien spectrale coëfficiënten magnitude-modi vertegenwoordigen in plaats van ruimtelijke locaties.

Belangrijkste Bijdragen

1. Innovatieve Architectuur: Introductie van een ViT-framework dat afbeeldingen tokeniseert via spectrale decompositie met geërfd hiërarchische embeddings, specifiek op maat gemaakt voor regimes met beperkte data.
2. Theoretische Rechtvaardiging: Aantonen van verminderde rekencomplexiteit en een optimaal signaal-ruisverhouding voortvloeiend uit de keuze van de spectrale basis.
3. Empirische Validatie: Omvattende evaluatie over gesimuleerde, publieke en klinische datasets, waarbij gelijkwaardige of superieure prestaties worden aangetoond met aanzienlijk minder parameters in vergelijking met standaard ViTs, Convolutional Neural Networks (CNN's) met attentie, Swin ViTs en Logistische Regressie.
4. Interpreteerbaarheid: De salientiekaarten van het model benadrukken biologisch relevante structuren (bijvoorbeeld de superior cerebellar peduncle bij voorspelling van diepe hersenstimulatie) die standaardmodellen kunnen missen.

Experimentele Resultaten

De auteurs hebben de Spectrale ViT geëvalueerd op drie distincte taken:

1. Patroonclassificatie (Gesimuleerde Data):

   • In binaire classificatietaken met variërende Signaal-Ruisverhoudingen (SNR) overtrof de Spectrale ViT ruimtelijke ViTs in regimes met weinig data.
   • Bij hoge SNR werd vergelijkbare prestatie bereikt met slechts 32 samples. Bij lagere SNR vereiste de ruimtelijke ViT meer dan 1.000 tot 100.000 samples om de prestaties van de Spectrale ViT te evenaren.

2. Objectclassificatie (Distributieverandering):

   • In een taak waarbij objectafstand vals-positief correleerde met positie in de trainingsset, faalde de ruimtelijke ViT vanwege de afhankelijkheid van ruimtelijke positie.
   • De Spectrale ViT, gebruikmakend van een Fourier-basis, bereikte perfecte scheiding door gebruik te maken van ruimtelijke invariantie, en negeerde de vals-positieve positionele correlatie.

3. Seksclassificatie (IXI Dataset):

   • Met behulp van de T1-gewogen IXI dataset (566 proefpersonen) bereikte de Spectrale ViT een AUC van 0,842 met slechts ongeveer 13.000 parameters.
   • Dit presteerde beter dan de Standaard Ruimtelijke ViT (AUC 0,691) en de Compacte Ruimtelijke ViT (AUC 0,616).
   • Het toonde superieure efficiëntie (AUC per miljoen parameters) in vergelijking met U-nets met attentie en Swin ViTs, ondanks dat de data niet geregistreerd was.

4. Classificatie van Neurostimulatie-candidaten (Klinische Data):

   • Toegepast op voorspelling van uitkomsten van Diepe Hersenstimulatie (DBS) met behulp van Quantitative Susceptibility Maps (QSM) van 103 patiënten.
   • De Spectrale ViT behaalde de hoogste gebalanceerde nauwkeurigheid (0,783) en specificiteit (0,977) onder de geteste modellen, waaronder Logistische Regressie en Klinische Transformers.
   • Salientiekaarten identificeerden correct de witte stofbundel van de superior cerebellar peduncle (SCP), een bekende neurale motorische circuit die wordt gemoduleerd door DBS, terwijl andere modellen zich richtten op ijzer in de substantia nigra.

Betekenis en Claims

Het artikel beweert dat de Spectrale ViT een levensvatbare route biedt om Transformer-gebaseerde architecturen in te zetten in medische beeldvorming waar data schaars is. Door gebruik te maken van de globale inductieve bias van spectrale decompositie (specifiek PCA), parameteriseert het model kenmerkextractie efficiënt zonder de noodzaak van enorme datasets of complexe vooropleiding.

De auteurs benadrukken dat hun aanpak:

• Data-eisen verlaagt: Effectieve training mogelijk maakt op datasets met honderden in plaats van honderdduizenden afbeeldingen.
• Efficiëntie verbetert: De rekencomplexiteit en het aantal parameters drastisch reduceert terwijl prestaties behouden of verbeterd blijven.
• Robuustheid versterkt: Problemen gerelateerd aan distributieveranderingen en vals-positieve correlaties mitigeert door ruimtelijk invariant tokeniseren (bij gebruik van Fourier-bases).
• Interpreteerbaarheid biedt: De spectrale aard van de tokens maakt het mogelijk biologisch relevante kenmerken te identificeren die overeenkomen met klinische kennis.

De auteurs concluderen dat hoewel de methode bias introduceert door vaste lineaire projecties, het effectief de bottleneck van datatekorten in medische AI aanpakt, wat potentieel de reken- en databarrières kan verlichten die momenteel de wijdverbreide adoptie van ViTs in de klinische praktijk belemmeren. Zij merken op dat toekomstig werk zich moet richten op optimale basisconstructie en validatie met transfer learning-technieken voordat klinische implementatie plaatsvindt.