Gradient Descent Provably Solves Nonlinear Tomographic Reconstruction

Titel: Gradient Descent Bewijst dat het Oplossen van Niet-lineaire Tomografische Reconstructie Mogelijk is

Auteurs: Sara Fridovich-Keil, Fabrizio Valdivia, Gordon Wetzstein, Benjamin Recht, en Mahdi Soltanolkotabi.
Publicatie: IEEE Transactions on Information Theory.

---

1. Het Probleem

In de computertomografie (CT) wordt de beeldvorming traditioneel gemodelleerd als een lineair invers probleem. De fysica achter CT-scans volgt echter de Beer-Lambert-wet, waarbij de intensiteit van röntgenstraling exponentieel afneemt naarmate deze door materie gaat. Dit resulteert in een niet-lineair meetmodel:
$$y_i = 1 - \exp(-a_i^\top x)$$
waarbij $y_i$ de gemeten intensiteit is, $a_i$ de meetvector (straal) en $x$ het onbekende signaal (de dichtheid van het weefsel).

Huidige aanpak en beperkingen:
Conventionele CT-scanners en reconstructie-algoritmes omzeilen deze niet-lineariteit door een logaritmische voorverwerking toe te passen: $\hat{y}_i = -\ln(1 - y_i)$. Dit transformeert het probleem terug naar een lineaire vorm ($\hat{y}_i = a_i^\top x$).

• Het probleem: Deze logaritmische transformatie is numeriek instabiel wanneer $y_i$ dicht bij 1 ligt (wat overeenkomt met totale absorptie van röntgenstraling). Dit gebeurt vaak bij hoog-dichtheid materialen zoals metaal (bijv. tandkronen of gewrichten) of bij lage-dosis scans.
• Gevolg: De instabiliteit leidt tot ernstige artefacten (zoals "streaking" of strepen) rondom metaalobjecten, wat de diagnose bemoeilijkt.

2. Methodologie

De auteurs stellen een directe reconstructie voor die de niet-lineariteit niet omkeert, maar het originele niet-lineaire meetmodel direct oplost via iteratieve gradient descent (afstijging).

Het Optimisatieprobleem:
In plaats van een lineair probleem op te lossen, minimaliseren ze een kwadratische verliesfunctie over de ruwe, niet-lineaire metingen:
$$L(z) = \frac{1}{2m} \sum_{i=1}^m (y_i - f(a_i^\top z))^2$$
waarbij $f(\cdot) = 1 - \exp(-(\cdot)_+)$ en $(\cdot)_+$ de ReLU-functie is (om de fysieke non-negativiteit van de straalintegralen te garanderen).

Theoretische Aannames en Bewijsstrategie:
Hoewel de verliesfunctie niet-convex is (wat normaal gesproken betekent dat lokale minima kunnen optreden), bewijzen de auteurs dat gradient descent met een geschikte stapgrootte convergeert naar het globale optimum (het ware signaal $x$).

• Model: Voor de theorie worden de meetvectoren $a_i$ gemodelleerd als i.i.d. Gaussische vectoren (een benadering van de werkelijke straalstructuur).
• Convergentie: Ze tonen aan dat het probleem lokaal pseudo-convex is. Zodra de iteraties een bepaald gebied rondom het ware signaal bereiken, garandeert de correlatie tussen de gradiënt en de foutvector een geometrische convergentie.
• Stapgrootte: De initiële stapgrootte is specifiek ontworpen om het algoritme vanuit de oorsprong ($z_0=0$) direct in het convergentiegebied te brengen.

Geregulariseerde Setting (Compressieve Sensing):
Voor het geval het aantal metingen $m$ veel kleiner is dan de signaaldimensionaliteit $n$, introduceren de auteurs een regularisatieterm $R(z)$ (bijv. totale variatie of $\ell_1$-norm) om structurele a priori kennis van het signaal te benutten. Ze bewijzen dat gradient descent ook in deze setting convergeert, mits het aantal metingen evenredig is met de "statistische dimensie" van het regularisatieterm.

3. Belangrijkste Bijdragen

1. Theoretisch Bewijs van Globale Convergentie: Het eerste bewijs dat gradient descent het globale optimum van dit specifieke niet-lineaire CT-reconstructieprobleem bereikt, ondanks de niet-convexiteit, met een geometrische convergentiesnelheid.
2. Sample Complexity:
   • In de ongeregelde setting is het benodigde aantal metingen van de orde $O(n)$, wat vergelijkbaar is met lineaire modellen.
   • In de compressieve setting is het aantal benodigde metingen $O(m_0)$, waarbij $m_0$ de minimale steekproefgrootte is voor lineaire compressieve sensing (bijv. $O(s \log(n/s))$ voor $s$-spare signalen). Dit betekent dat de niet-lineaire aanpak geen extra "penalty" in meetkosten heeft ten opzichte van de lineaire benadering.
3. Robuustheid tegen Ruis: De theorie wordt uitgebreid naar een setting met additief ruis, waarbij wordt aangetoond dat de reconstructie convergeert tot een ruisvloer die evenredig is met de ruisvariatie.
4. Empirische Validatie: Experimenten met zowel synthetische data (Shepp-Logan phantom) als echte data (menselijke schedel met metaal) tonen aan dat de methode superieur is aan lineaire methoden.

4. Resultaten

• Synthetische Data: Bij het simuleren van signalen met toenemende dichtheid (van zacht weefsel tot bot en metaal), vertoont de lineaire reconstructie (met logaritmische voorverwerking) ernstige metalen artefacten. De directe niet-lineaire gradient descent reconstructie blijft nauwkeurig en artefactvrij, zelfs bij zeer hoge dichtheden.
• Echte Data: In een experiment met een CT-scan van een menselijke schedel met metaal tandkronen, reduceert de niet-lineaire methode de "streaking"-artefacten aanzienlijk in vergelijking met de standaard FDK (Filtered Back Projection) en een commercieel state-of-the-art lineair algoritme.
• Ruis: De methode presteert beter in aanwezigheid van meetruis, aangezien de logaritmische transformatie in lineaire methoden ruis in de buurt van totale absorptie enorm versterkt.

5. Betekenis en Impact

Dit werk biedt een fundamentele doorbraak in de theoretische en praktische aanpak van CT-reconstructie:

• Oplossing voor Metaalartefacten: Het biedt een wiskundig onderbouwde methode om het probleem van metaalartefacten op te lossen zonder complexe post-processing of heuristieken.
• Lage-dosis CT: Omdat de methode robuust is tegen de numerieke instabiliteit die optreedt bij lage fotonengetallen (lage dosis), is deze zeer geschikt voor het verminderen van stralingsbelasting bij patiënten.
• Toekomstige Toepassingen: De auteurs suggereren dat deze aanpak perfect past bij nieuwe foton-tellende CT-scanners (goedgekeurd door de FDA in 2021), die ruwe fotonmetingen leveren en zo de basis vormen voor deze niet-lineaire modellering.
• Theoretisch Nieuw: Het bewijst dat niet-convexe optimalisatieproblemen in beeldvorming, die eerder als "moeilijk" werden beschouwd, onder bepaalde voorwaarden efficiënt en exact oplosbaar zijn met eenvoudige gradient-based methoden.

Kortom, de paper demonstreert dat het direct oplossen van het fysiek correcte niet-lineaire model via gradient descent niet alleen mogelijk is, maar ook theoretisch gegarandeerd superieure resultaten oplevert voor uitdagende scenario's zoals metaal-implementen en lage-dosis scans.