TF-UNet: Resolving Complex Speckles for Single-Shot Reconstruction of 512^2-Matrix Images Using a Micron-Sized Optical Fiber

Technische Samenvatting: TF-UNet voor Single-Shot Reconstructie van 512×512 Afbeeldingen via Micron-Grootte Tapered Optical Fibers

Probleemstelling
Tapered optical fibers (TFs), die in diameter afnemen van honderden micrometers naar de microschaal, bieden aanzienlijke voordelen voor minimaal invasieve bio-imaging, optogenetica en biosensing vergeleken met conventionele platte vezels (FFs) of volumineuze GRIN-lenzen. Echter, de axiaal variërende geometrie van TFs induceert complexe intermodale koppeling, waarbij de voortplantingsconstanten van verschillende modi veranderen langs de lengte van de vezel. Dit resulteert in ruimte-variante speckle-patronen die de input-output relatie verstoren. In tegenstelling tot FFs, waar de mapping relatief stationair is, vertonen TFs non-lokale, cross-scale afhankelijkheden die de prestaties van bestaande beeldreconstructiemethoden verslechteren. Huidige deep learning-benaderingen, zoals standaard U-Nets, slagen er vaak niet in om deze ruimte-variante mappings effectief te vangen, terwijl aandacht-gebaseerde modellen (bijv. Transformers) te hoge computationele kosten met zich meebrengen bij hoge resoluties (512×512). Bovendien vertrouwen veel bestaande methoden op grote datasets of vereenvoudigde benchmarks die de fysieke beperkingen van TF-imaging niet weerspiegelen.

Methodologie: TF-UNet Architectuur
Om deze uitdagingen aan te pakken, stellen de auteurs TF-UNet voor, een natuurkundig geïnspireerde deep learning-architectuur die specifiek is ontworpen voor de ruimte-variante speckle-decodering van TFs. De kerninnovatie ligt in het uitbreiden van de standaard U-Net skip-verbindingen met een hiërarchische gegroepeerde-MLP fusie module.

• Fysica-geïnformeerd Ontwerp: In het besef dat intermodale koppeling in TFs zorgt voor non-lokale afhankelijkheden, integreren de auteurs gegroepeerde Multi-Layer Perceptrons (MLPs) in de skip-paden. Deze MLPs voeren high-order, cross-channel en cross-spatial mixing uit, waardoor het netwerk geometrie-gerelateerde kenmerken van meerdere encoder-schalen kan vangen voordat ze in de decoder worden gefuseerd.
• Efficiëntie: Het gegroepeerde-MLP ontwerp vermindert de computationele complexiteit van $O(CN^2)$ (per kanaal) naar ongeveer $O(GN^2)$, waarbij $G$ het aantal groepen is en $N$ de ruimtelijke dimensie. Dit maakt hoge-resolutie reconstructie (512×512) mogelijk met een kwadratische complexiteit in plaats van de kubische of hogere kosten die geassocieerd worden met volledige aandacht-mechanismen.
• Orthogonaliteitsregularisatie: Om mode-ontvlechting (disentanglement) te bevorderen die consistent is met de fysieke scheiding van modi, wordt een orthogonaliteitsverlies toegepast op de diepste encoder-features. Dit stimuleert statistische onafhankelijkheid over kanalen, wat de geleerde representaties afstemt op de fysieke mode-scheiding die vereist is voor nauwkeurige inversie.
• Trainingsprotocol: Het model wordt getraind op intensiteit-alleen binaire speckle-masker paren afgeleid van natuurlijke afbeeldingen (ImageNet) en biologische datasets. De verliesfunctie combineert Mean Squared Error (MSE) met de orthogonaliteitsregularisator.

Experimentele Opstelling en Datasets
De studie maakt gebruik van een aangepaste experimentele opstelling bestaande uit een 532 nm continuous-wave laser, een Digital Micromirror Device (DMD) voor patroongeneratie, en een 5 µm tip tapered optical fiber (NA = 0,39, actieve lengte = 2,5 mm).

• Primaire Dataset: 13.440 speckle-masker paren (6.720 voor TF en 6.720 voor FF) gegenereerd van natuurlijke afbeeldingen, verdeeld in 8:1:1 training/validatie/test sets.
• Biologische Validatie: Om de generaliseerbaarheid buiten synthetische maskers te testen, hebben de auteurs het model gevalideerd op twee specifieke biologische datasets:
  1. Neurale Data: 4.440 frames van diepe cortex calcium-imaging (64 grijswaarden).
  2. Vasculaire Data: 4.000 gebinariseerde afbeeldingen van rodent hersenvatstructuren afgeleid van two-photon microscopie stacks.

Belangrijkste Resultaten
De prestaties van TF-UNet werden afgezet tegen vijf state-of-the-art architecturen (UNet, R2-UNet, TransUNet, VQVAE2 en MSMDFNet) over meerdere metrieken (PSNR, SSIM, MS-SSIM, LPIPS en Pearson Correlatie).

• Kwantitatieve Prestaties op TFs: TF-UNet behaalde de hoogste Structural Similarity (SSIM: 0,24) en Multi-Scale SSIM (0,32), waarmee het alle baselines overtrof. Het kwam gelijk te liggen met TransUNet voor de beste Pearson Correlatie (0,50), terwijl het competitieve PSNR (9,17 dB) en LPIPS (0,64) behield. Opvallend genoeg behaalde het deze resultaten met aanzienlijk minder geheugengebruik en computationele kosten vergeleken met TransUNet, dat moeite heeft met de 512×512 resolutie vanwege de kwadratische aandacht-complexiteit.
• Biologische Validatie:
  • Neurale Imaging: TF-UNet slaagde erin om continue neurale morfologieën (~15 µm resolutie) te reconstrueren uit calcium-imaging data, terwijl baseline UNets gefragmenteerde structuren produceerden. De gereconstrueerde tijdreeks-traces vertoonden een hoge overeenkomst met de ground truth (Pearson correlatie van 0,81 voor $\Delta F/F_0$ traces), wat betrouwbare region-of-interest (ROI) definitie mogelijk maakt.
  • Vasculaire Imaging: Het model loste fijne vasculaire netwerken op de schaal van tientallen micrometers op, wat de overdraagbaarheid van de geleerde inverse mapping naar gestructureerde biologische morfologieën aantoont.
• Foton-dekking Analyse: De studie onthulde een niet-monotone relatie tussen foton-dekking en perceptuele kwaliteit. Perceptuele metrieken (SSIM, LPIPS) daalden bij ~70% dekking door sterke niet-adiabatische koppeling in de mid-radius annulus, wat suggereert dat ruimtelijk adaptieve acquisitiestrategieën de prestaties verder kunnen optimaliseren.

Betekenis en Claims
Het artikel claimt dat TF-UNet een robuuste oplossing biedt voor scanning-vrije, single-shot beeldreconstructie door micron-grootte optische vezels, een capaciteit die voorheen beperkt werd door de complexiteit van intermodale koppeling in tapered geometrieën.

• Fysische Interpreteerbaarheid: Door natuurkunde-geïnspireerde fusie (grouped-MLP) en regularisatie (orthogonaliteit) direct in de netwerkarchitectuur in te bedden, handelt de methode effectief de ruimte-variante aard van TFs af zonder dat massale datasets of complexe kalibratie nodig zijn.
• Hoge-Resolutie Capaciteit: De aanpak maakt reconstructie mogelijk op een 512×512 matrix met een vezel met een tipdiameter van slechts 5 µm, een significante sprong ten opzichte van eerdere methoden die doorgaans beperkt waren tot lagere resoluties (bijv. 28×28 tot 120×120) of grotere vezelkernen.
• Biomedisch Potentieel: De succesvolle reconstructie van neurale calcium-dynamiek en vasculaire structuren valideert het potentieel van het framework voor chronische, minimaal invasieve diepe hersen-imaging. De auteurs benadrukken dat de methode geen actieve scanning of wavefront shaping vereist, wat de systeemcomplexiteit en stroomvraag vermindert, wat cruciaal is voor langdurige implanteerbare toepassingen.

De auteurs concluderen dat hoewel het huidige werk beperkt is tot monochromatische intensiteitsmetingen, de co-design van neurale modules met optische voortplantingsprincipes een overdraagbaar framework biedt voor het oplossen van ruimte-variante inverse problemen in computationele optica, met potentiële toepassingen die zich uitstrekken tot astronomie, remote sensing en industriële inspectie.