Sintesi Tecnica: Reti di Self-Attention per la Modellazione di Spazi Latenti Compatti di Matrici Ottiche in Fibra Dinamiche

Definizione del Problema

Le fibre ottiche multimodo (MMF) offrono una via per l'endoscopia medica ultra-sottile e minimamente invasiva, capace di imaging subcellulare in profondità nel corpo. Tuttavia, la trasmissione della luce attraverso queste fibre provoca intrinsecamente la dispersione delle immagini a causa dell'accoppiamento modale. Sebbene i metodi convenzionali utilizzino matrici di trasmissione (TM) pre-calibrate lineari per correggere tale dispersione, essi falliscono in scenari reali dinamici. Le perturbazioni fisiche — come il movimento della fibra, le variazioni di temperatura e le flessioni — alterano la TM in modo continuo. Inoltre, l'ottenimento delle coppie input-output necessarie per la ricalibrazione è spesso impraticabile in contesti clinici dove la punta della fibra è inaccessibile.

Gli approveri di reti neurali esistenti, in particolare le Reti Neurali Convoluzionali (CNN), faticano in questo compito. Le CNN si affidano al bias induttivo delle correlazioni locali tra i pixel, un'assunzione invalidata dalle correlazioni a lungo raggio presenti nelle TM delle fibre. Queste correlazioni derivano sia dall'accoppiamento modale non locale fisico, sia dalla necessità matematica di appiattire i campi ottici multidimensionali in rappresentazioni matriciali. Di conseguenza, le architetture convenzionali richiedono un numero di parametri proibitivo, mancano di robustezza rispetto ai cambiamenti nelle basi di misura (ad esempio, pixel, Fourier o Hadamard) e non riescono a catturare efficientemente la complessa dinamica delle fibre perturbate.

Metodologia

Gli autori propongono un approccio innovativo utilizzando strati di self-attention per trasformare dinamicamente le varie TM delle fibre in rappresentazioni compatte di spazio latente a bassa dimensionalità. La filosofia centrale segue il principio "la compressione è apprendimento", dove la rete impara a mappare grandi e complesse TM in uno spazio latente sparso adatto a compiti downstream come la ricostruzione d'immagine o la stima della flessione.

Generazione dei Dati e Dataset

Lo studio valida l'approccio utilizzando quattro diversi dataset di TM a valori complessi di dimensione $78 \times 78$:

1. TM forward generate casualmente: Simulate per esibire un'alta sparsità e specifiche distribuzioni di intensità di potenza tipiche delle fibre reali.
2. TM round-trip generate casualmente: Calcolate come $T_r = T_f^T R T_f$, dove $R$ è una matrice di riflessione di scattering. Queste rappresentano matrici dense rilevanti per l'imaging a singola estremità.
3. TM modellate fisicamente: Generate utilizzando un modello di fibra segmentata che simula pieghe e curvature su lunghezze di 0,6–1,2 m.
4. TM sperimentali: Misurate utilizzando un setup di olografia off-axis con un dispositivo a micro-specchi digitali (DMD) e una telecamera CCD, coprendo 164 diverse conformazioni di flessione.

Architettura del Modello

Gli autori confrontano diverse architetture per la trasformazione della base:

• Trasformazione di Similarità Lineare: Uno strato differenziabile che apprende una matrice di base $B$ per trasformare $T' = B^{-1}TB$.
• Reti Neurali Convoluzionali (CNN): Convoluzioni 2D standard con attivazioni LeakyReLU.
• Reti Neurali Completamente Connesse (FCNN): Strati densi con attivazioni LeakyReLU.
• Solo Self-Attention: Un singolo strato di self-attention.
• Self-Attention + FCNN: Il modello ibrido proposto, in cui un meccanismo di multi-head self-attention precede due strati completamente connessi.

Meccanismo Chiave: Le TM in input sono trattate come sequenze di canali modali. Il meccanismo di self-attention calcola le matrici di Query ($Q$), Key ($K$) e Value ($V$) per catturare le dipendenze pairwise a lungo raggio tra gli elementi, permettendo al modello di apprendere interazioni non locali senza il bias di località spaziale delle CNN.

Vincoli di Addestramento

Per garantire che la trasformazione sia fisicamente significativa e reversibile, i modelli sono addestrati con una funzione di perdita composita:

1. Vincolo di Sparsità ($L_1$): Minimizza la norma $L_1$ della matrice trasformata per incoraggiare una rappresentazione latente sparsa.
2. Vincolo di Invertibilità ($L_2$): Un autoencoder ricostruisce la TM originale dalla rappresentazione trasformata per garantire la preservazione dell'informazione.
3. Vincolo di Ricostruzione della Sparsità ($L_3$): Un secondo autoencoder assicura che lo spazio latente compresso contenga informazioni sufficienti per ricostruire la matrice sparsa trasformata.
4. Gestione dei Numeri Complessi: Le parti reali e immaginarie sono separate, e viene utilizzata una funzione di perdita personalizzata invariante rispetto agli spostamenti di fase globale.

Contributi Chiave

1. Introduzione della Self-Attention per la Modellazione delle TM: Il documento dimostra che i meccanismi di self-attention sono unici nel modellare le fibre ottiche perché catturano le correlazioni non locali a lungo raggio inerenti alle matrici di trasmissione, che le CNN perdono.
2. Rappresentazione di Spazio Latente Compatto: Il metodo proposto trasforma le TM dense e sparse in rappresentazioni altamente sparse (rapporti di partecipazione tra 0,01 e 0,11), riducendo significativamente la dimensionalità pur preservando l'invertibilità.
3. Invarianza della Base: La trasformazione appresa mantiene la coerenza strutturale attraverso diverse basi di misura (LP/PIM, Fourier, Hadamard), affrontando una limitazione critica dei modelli precedenti che soffrivano di overfitting su basi specifiche.
4. Robustezza alle Perturbazioni Dinamiche: Il modello dimostra tolleranza alle perturbazioni dinamiche della matrice di trasmissione, gestendo efficacemente scenari in cui lo stato della fibra cambia durante la misurazione (simulato scambiando le colonne nella TM).

Risultati

• Sparsità ed Efficienza: Il modello Self-Attention + FCNN ha ottenuto i rapporti di partecipazione più bassi ($p \approx 0,03$ per matrici sparse e $0,11$ per dense) e i rapporti di spazio latente più piccoli (fino al 3,22% per matrici dense), superando CNN, FCNN e modelli lineari.
• Accuratezza della Ricostruzione: Il modello ha ricostruito con successo le TM originali con errori $\le 8\%$ per le matrici sparse e $\le 14\%$ per le matrici dense. Al contrario, le CNN hanno mostrato errori elevati (fino al 32%) per le matrici dense.
• Coerenza Cross-Basis: La similarità del coseno tra matrici trasformate dello stesso stato fisico ma di basi diverse è stata significativamente più alta (circa 0,80) per il modello di self-attention rispetto alle matrici originali (circa 0,65), indicando che il modello apprende la struttura fisica sottostante piuttosto che artefatti specifici della base.
• Generalizzazione: Un modello addestrato su TM perturbate modellate fisicamente si è generalizzato con successo alle TM misurate sperimentalmente senza riaddestramento, riducendo il rapporto di partecipazione da 0,37 a 0,12.
• Robustezza alla Perturbazione: Il modello ha mantenuto bassi errori di ricostruzione (<22%) sotto perturbazioni dinamiche (scambio di colonne) fino a tassi del 13%, mentre le CNN non sono riuscite a eseguire efficacemente la trasformazione non lineare in tali condizioni.

Significato e Rivendicazioni

Gli autori affermano che questo approccio fornisce un framework flessibile, efficiente in termini di memoria e robusto per la modellazione di TM dinamiche delle fibre. Convertendo le matrici complesse ad alta dimensionalità in spazi latenti compatti, il metodo facilita l'imaging a singola estremità della fibra, rendendo potenzialmente possibile l'implementazione di dispositivi di imaging delle dimensioni di un ago.

Il documento sottolinea come il successo della self-attention risieda nella sua capacità di trattare le matrici di trasmissione come sequenze strutturate, apprendendo trasformazioni dipendenti dall'input che si adattano alle perturbazioni. A differenza delle basi lineari fisse o delle CNN con bias di località, questo approccio dipendente dai dati cattura l'accoppiamento modale non locale essenziale per la modellazione della fibra.

Gli autori notano con modestia che, sebbene il modello catturi strutture ricorrenti, le singole variabili latenti non sono ancora esplicitamente mappate su coordinate fisiche (ad esempio, specifici raggi di curvatura). Tuttavia, il lavoro pone le fondamenta per la futura correzione in tempo reale delle distorsioni, l'imputazione di dati mancanti e l'applicazione di tecniche simili di compressione di matrici ad altri media diffusivi. Il documento riconosce anche le attuali limitazioni, come la scalabilità quadratica della complessità dell'attenzione con la dimensione della matrice e l'uso dell'ottimizzazione a valori reali per matrici complesse, suggerendo lavori futuri su modelli di stato (come Mamba) e addestramento completamente basato su numeri complessi.