Technische Samenvatting: Self-Attention Netwerken voor Compacte Latente Ruimte Modellering van Dynamische Optische Glasvezelmatrices

Probleemstelling

Multimode optische vezels (MMF's) bieden een pad naar ultra-dunne, minimaal invasieve medische endoscopie die cellulair beeldvormen op sub-niveau diep in het lichaam mogelijk maakt. De transmissie van licht door deze vezels verstoort echter inherent de beelden door modale koppeling. Hoewel conventionele methoden gebruikmaken van vooraf gekalibreerde lineaire transmissiematrices (TM's) om deze verstoring te corrigeren, falen zij in dynamische real-world scenario's. Fysieke perturbaties—zoals beweging van de vezel, temperatuurvariaties en buiging—veranderen de TM continu. Bovormendien is het verkrijgen van de benodigde input-output paren voor herkalibratie vaak onpraktisch in klinische settings waar de uiteinde van de vezel ontoegankelijk is.

Bestaande neurale netwerkbenaderingen, met name Convolutionele Neurale Netwerken (CNN's), worstelen met deze taak. CNN's vertrouwen op de inductieve bias van lokale pixelcorrelaties, een aanname die wordt ongeldig gemaakt door de langetermijncorrelaties die aanwezig zijn in vezel-TM's. Deze correlaties ontstaan zowel door fysieke niet-lokale modale koppeling als door de wiskundige noodzaak om meerdimensionale optische velden te platten naar matrixrepresentaties. Bijgevolg vereisen conventionele architecturen een evenredig groot aantal parameters, missen zij robuustheid tegen veranderingen in meetbases (bijv. pixel versus Fourier versus Hadamard) en slagen zij er niet in om de complexe dynamiek van geperturbeerde vezels efficiënt te vatten.

Methodologie

De auteurs stellen een nieuwe aanpak voor met behulp van self-attention lagen om variërende vezel-TM's dynamisch te transformeren naar compacte, laagdimensionale latente-ruimte representaties. De kernfilosofie volgt "compressie is leren", waarbij het netwerk leert om grote, complexe TM's in kaart te brengen naar een ijle (sparse) latente ruimte die geschikt is voor downstream taken zoals beeldreconstructie of buigingsschatting.

Datageneratie en Datasets

De studie valideert de aanpak met vier diverse datasets van $78 \times 78$ complexwaardige TM's:

1. Willekeurig gegenereerde forward TM's: Gesimuleerd om een hoge ijtheid (sparsity) en specifieke vermogensintensiteitsverdelingen te vertonen die typerend zijn voor echte vezels.
2. Willekeurig gegenereerde round-trip TM's: Berekend als $T_r = T_f^T R T_f$, waarbij $R$ een verstrooiende reflector-matrix is. Deze vertegenwoordigen dichte matrices die relevant zijn voor single-ended beeldvorming.
3. Fysiek gemodelleerde TM's: Gegenereerd met behulp van een gesegmenteerd vezelmodel dat buigingen en krommingen simuleert over lengtes van 0,6–1,2 m.
4. Experimentele TM's: Gemeten met een off-axis holografie-opstelling met een digital micro-mirror device (DMD) en een CCD-camera, die 164 verschillende buigingsconformaties beslaat.

Modelarchitectuur

De auteurs vergelijken verschillende architecturen voor basis-transformatie:

• Lineaire Gelijkenistransformatie: Een differentieerbare laag die een basismatrix $B$ leert om de TM te transformeren: $T' = B^{-1}TB$.
• Convolutionele Neurale Netwerken (CNN): Standaard 2D-convoluties met LeakyReLU-activaties.
• Fully Connected Neural Networks (FCNN): Dense lagen met LeakyReLU-activaties.
• Alleen Self-Attention: Een enkele self-attention laag.
• Self-Attention + FCNN: Het voorgestelde hybride model waarbij een multi-head self-attention mechanisme voorafgaat aan twee fully connected lagen.

Kernmechanisme: De input TM's worden behandeld als sequenties van modale kanalen. Het self-attention mechanisme berekent Query ($Q$), Key ($K$) en Value ($V$) matrices om langetermijn-paarafhankelijkheden tussen elementen te vangen, waardoor het model in staat is om niet-lokale interacties te leren zonder de ruimtelijke lokaliteitsbias van CNN's.

Trainingsrestricties

Om ervoor te zorgen dat de transformatie fysiek betekenisvol en omkeerbaar is, worden de modellen getraind met een samengestelde verliesfunctie:

1. Sparsity Constraint ($L_1$): Minimaliseert de $L_1$-norm van de getransformeerde matrix om een ijle latente representatie te stimuleren.
2. Invertibility Constraint ($L_2$): Een autoencoder reconstrueert de originele TM uit de getransformeerde representatie om informatiebehoud te garanderen.
3. Sparsity Reconstruction Constraint ($L_3$): Een tweede autoencoder zorgt ervoor dat de gecomprimeerde latente ruimte voldoende informatie bevat om de getransformeerde ijle matrix te reconstrueren.
4. Complex Getal Afhandeling: Reële en imaginaire delen worden gescheiden, en er wordt een aangepaste verliesfunctie gebruikt die invariant is voor globale faseverschuivingen.

Belangrijkste Bijdragen

1. Introductie van Self-Attention voor TM-modellering: Het artikel toont aan dat self-attention mechanismen uniek geschikt zijn voor het modelleren van optische vezels omdat ze de langetermijn, niet-lokale correlaties vastleggen die inherent zijn aan transmissiematrices, welke CNN's missen.
2. Compacte Latente Ruimte Representatie: De voorgestelde methode transformeert dichte en ijle TM's naar zeer ijle representaties (participatieverhoudingen tussen 0,01 en 0,11), wat de dimensionaliteit aanzienlijk vermindert terwijl de omkeerbaarheid behouden blijft.
3. Basis-invariantie: De geleerde transformatie behoudt structurele consistentie over verschillende meetbases (LP/PIM, Fourier, Hadamard), wat een kritiek tekortkoming van eerdere modellen aanpakt die overfitten op specifieke bases.
4. Robuustheid tegen Dynamische Perturbaties: Het model demonstreert tolerantie voor dynamische transmissiematrix-perturbaties, waarbij het effectief omgaat met scenario's waarin de staat van de vezel verandert tijdens de meting (gesimuleerd door kolommen in de TM te verwisselen).

Resultaten

• Sparsity en Efficiëntie: Het Self-Attention + FCNN model bereikte de laagste participatieverhoudingen ($p \approx 0,03$ voor ijle matrices en $0,11$ voor dichte matrices) en de kleinste latente ruimteverhoudingen (tot 3,22% voor dichte matrices), waarmee het CNN's, FCNN's en lineaire modellen overtrof.
• Reconstructienauwkeurigheid: Het model slaagde erin de originele TM's te reconstrueren met fouten van $\le 8\%$ voor ijle matrices en $\le 14\%$ voor dichte matrices. In contrast hiermee vertoonden CNN's grote fouten (tot 32%) voor dichte matrices.
• Cross-Basis Consistentie: De cosinus-gelijkenis tussen getransformeerde matrices van dezelfde fysieke staat maar verschillende bases was aanzienlijk hoger (ongeveer 0,80) voor het self-attention model vergeleken met de originele matrices (ongeveer 0,65), wat aangeeft dat het model de onderliggende fysieke structuur leert in plaats van basis-specifieke artefacten.
• Generalisatie: Een model getraind op fysiek gesimuleerde geperturbeerde TM's generaliseerde succesvol naar experimenteel gemeten TM's zonder hertraining, waarbij de participatieverhouding werd teruggebracht van 0,37 naar 0,12.
• Perturbatie Robuustheid: Het model behield lage reconstructiefouten (<22%) onder dynamische perturbaties (kolomverwisseling) tot een snelheid van 13%, terwijl CNN's er niet in slaagden om effectief een niet-lineaire transformatie te bewerkstelligen onder deze omstandigheden.

Betekenis en Claims

De auteurs beweren dat deze aanpak een flexibel, geheugenefficiënt en robuust kader biedt voor het modelleren van dynamische vezel-TM's. Door complexe, hoogdimensionale matrices om te zetten in compacte latente ruimtes, faciliteert deze methode single-ended vezelbeeldvorming, wat potentieel de inzet van naaldvormige beeldvormingsapparaten mogelijk maakt.

Het artikel benadrukt dat het succes van self-attention ligt in het vermogen om transmissiematrices als gestructureerde sequenties te behandelen, waarbij input-afhankelijke transformaties worden geleerd die zich aanpassen aan perturbaties. In tegen tegenover de vaste lineaire bases of de op lokaliteit gebaseerde CNN's, vangt deze data-afhankelijke aanpak de niet-lokale modale koppeling die essentieel is voor nauwkeurige vezelmodellering.

De auteurs merken nederig op dat hoewel het model terugkerende structuren vastlegt, individuele latente variabelen nog niet expliciet zijn gekoppeld aan fysieke coördinaten (bijv. specifieke buigradii). Desalniettemin legt dit werk de fundering voor toekomstige real-time verstoringcorrectie, imputatie van ontbrekende gegevens en de toepassing van soortgelijke matrixcompressietechnieken op andere verstrooiende media. Het artikel erkent huidige beperkingen, zoals de kwadratische schaling van de attention-complexiteit met de matrixgrootte en het gebruik van reële optimalisatie voor complexe matrices, wat wijst op toekomstig werk met state-space modellen (bijv. Mamba) en volledig complexwaardige training.