Utilising a learned forward operator in the inverse problem of photoacoustic tomography

Dit artikel toont aan dat een geleerde Fourier-neurale operator, gekoppeld aan een gradiëntgebaseerde omgekeerde probleemoplossing, de golfspreiding in fotoakoestische tomografie nauwkeurig en rekenkundig efficiënt kan benaderen ten opzichte van de traditionele k-ruimtemethode.

De kern

Stel je voor dat je een foto wilt maken van iets dat zich binnen een object bevindt, zoals een bloedvat in een lichaam, maar je mag het object niet opensnijden. Dat is wat Foto-Acoustische Tomografie (PAT) doet.

Hoe werkt dat? Je schijnt een heel kort flitsje licht op het object. Het licht wordt geabsorbeerd, het object warmt even op en zet daardoor uit. Die snelle uitdijing veroorzaakt een geluidsgolf (een piepje), die je aan de buitenkant kunt opvangen met microfoons.

Het probleem? Die geluidsgolven zijn als een ingewikkeld raadsel. Ze botsen tegen elkaar, buigen om hoeken en veranderen van vorm terwijl ze reizen. Om van die geluidsgolven terug te rekenen naar het oorspronkelijke plaatje (de "foto" van het binnenste), moet je een wiskundig model gebruiken dat precies weet hoe geluid zich door dat specifieke materiaal beweegt.

Het oude probleem: De trage rekenmachine

In het verleden gebruikten wetenschappers een zeer nauwkeurige, maar extreem trage manier om die geluidsgolven te simuleren. Het was alsof je probeerde te voorspellen hoe een golf in een zwembad zich gedraagt door elke druppel water één voor één te berekenen. Het lukte wel, maar het duurde lang. Als je die berekening nodig hebt om een foto te maken (wat duizenden keren moet gebeuren), duurt het rekenen eeuwen.

De nieuwe oplossing: Een slimme "voorspeller"

De auteurs van dit paper hebben een slimme oplossing bedacht: ze hebben een kunstmatige intelligentie (AI) getraind om die trage berekeningen over te nemen.

Stel je voor dat je een jonge student (de AI) duizenden keren laat oefenen met het voorspellen van hoe golven zich gedragen in een zwembad. Na veel oefening (training) hoeft de student niet meer elke druppel water te berekenen. Hij heeft het patroon "geleerd". Als je nu vraagt: "Hoe ziet de golf eruit?", schiet hij het antwoord er zo uit.

In de paper noemen ze deze AI een Fourier Neural Operator (FNO).

• De training: De AI heeft geleerd om de wetten van geluidsoverdracht na te bootsen, zonder de zware wiskunde zelf uit te voeren.
• De snelheid: Waar de oude methode 0,44 seconden nodig had om één golf te simuleren, deed de AI dit in 0,057 seconden. Dat is 8 keer sneller!

Hoe maken ze de foto?

Om de foto te maken, gebruiken ze een slimme zoektocht (een algoritme genaamd BFGS). Ze proberen een plaatje te raden, kijken of de geluidsgolven die dat plaatje zou veroorzaken overeenkomen met de echte metingen, en passen het plaatje dan aan.

• Vroeger: Bij elke aanpassing moesten ze de trage rekenmachine gebruiken om te controleren of het klopte.
• Nu: Ze gebruiken de snelle AI. Omdat de AI zo snel is, kunnen ze veel sneller controleren of hun gissing goed is.

Bovendien is de AI zo slim dat ze automatisch weet hoe ze moet "leren" van fouten (via een techniek genaamd automatic differentiation). Het is alsof de AI niet alleen het antwoord geeft, maar ook direct zegt: "Je was een beetje linksaf, ga iets meer naar rechts."

Wat zijn de resultaten?

De onderzoekers hebben dit getest met computersimulaties:

1. Nauwkeurigheid: De foto's die met de AI werden gemaakt, waren net zo scherp en juist als die met de oude, trage methode. Zelfs als de AI iets zag wat hij nooit eerder had gezien (een nieuw soort "bloedvat"), werkte hij nog steeds goed.
2. Snelheid: Het oplossen van het probleem ging veel sneller.
3. Flexibiliteit: Het systeem werkt ook als je de microfoons maar aan één kant van het object plaatst (wat in de praktijk vaak het geval is), en niet alleen als je ze rondom hebt.

De conclusie in één zin

Deze paper laat zien dat je de zware, trage wiskunde van geluidsgolven kunt vervangen door een getrainde AI. Die AI werkt net zo nauwkeurig, maar is zo snel dat het maken van die medische foto's veel efficiënter wordt, alsof je van een fiets op een supersnelle sportauto overstapt.

Technische samenvatting

Probleemstelling

De fotoakoestische tomografie (PAT) is een beeldvormende techniek die gebaseerd is op de koppeling van licht en geluid. Bij PAT wordt een korte lichtpuls op een doelwit gericht, wat via het fotoakoestische effect lokale drukstijgingen veroorzaakt. Deze drukontspanning genereert ultrasone golven die aan de rand van het doelwit worden gemeten. Het inverse probleem van PAT bestaat uit het schatten van de initiële drukverdeling ($p_0$) op basis van deze gemeten data.

Het oplossen van dit inverse probleem vereist doorgaans een numerieke benadering van de forward operator (de model voor ultrasone golfvoortplanting), vaak beschreven door de akoestische golfvergelijking. Traditionele methoden, zoals de pseudospectrale k-ruimtemethode (geïmplementeerd in tools zoals k-Wave), zijn nauwkeurig maar vormen een rekenkundige bottleneck. Het iteratief oplossen van het inverse probleem (bijvoorbeeld via gradient-based methoden) vereist vele evaluaties van de forward operator en zijn afgeleiden (gradienten), wat zeer tijdrovend kan zijn.

Methodologie

De auteurs stellen een nieuwe aanpak voor waarbij een geleerde forward operator wordt gebruikt, specifiek gebaseerd op de Fourier Neural Operator (FNO).

1. Forward Model (FNO):

   • In plaats van de golfvergelijking numeriek op te lossen bij elke iteratie, wordt een diep leernetwerk getraind om de oplossingoperator van de akoestische golfvergelijking te benaderen.
   • De FNO leert een mapping van de initiële drukverdeling (input) naar de ultrasone golfvelden in het rekengebied (output).
   • Het netwerk gebruikt Fourier-transformaties om patronen in het frequentiedomein te leren, wat efficiëntie biedt bij het modelleren van partiële differentiaalvergelijkingen (PDE's).

2. Inverse Probleem Oplossing:

   • Het inverse probleem wordt geformuleerd als een Maximum A Posteriori (MAP) schatting binnen een Bayesiaans raamwerk.
   • De optimalisatie wordt uitgevoerd met de BFGS-algoritme (Broyden-Fletcher-Goldfarb-Shanno), een gradient-based methode.
   • Een cruciaal aspect is het gebruik van automatische differentiatie (via PyTorch) om de gradienten van de objectief functie te berekenen. Omdat de FNO een differentieerbare structuur heeft, kunnen de Jacobiaan-matrix en de gradienten efficiënt worden berekend zonder handmatige afleidingen.

3. Experimenteel Opzet:

   • Data: Numerieke simulaties in een 2D domein (10x10 mm) met vaatachtige structuren (gebaseerd op de High-Resolution Fundus Image Database) en de Shepp-Logan phantom.
   • Sensorgeometrieën: Volledig zicht (Full View) en beperkt zicht (Limited View) met sensoren aan twee of één zijde.
   • Vergelijking: De resultaten worden vergeleken met een referentiemethode waarbij de forward operator wordt gesimuleerd met de conventionele pseudospectrale k-ruimtemethode (k-Wave).

Belangrijkste Bijdragen

• Geleerde Forward Operator: Het succesvol toepassen van een FNO om de fotoakoestische golfvoortplanting te benaderen met een nauwkeurigheid die vergelijkbaar is met traditionele numerieke methoden.
• Integratie met Optimisatie: Het demonstreren dat een geleerde operator kan worden gebruikt in een gradient-based inverse solver (BFGS) door gebruik te maken van automatische differentiatie voor het berekenen van gradienten.
• Efficiëntie: Het bieden van een aanzienlijk snellere berekeningstijd voor zowel de forward simulatie als de gradientberekening in vergelijking met de conventionele k-Wave methode.
• Generalisatie: Het aantonen dat het getrainde model kan generaliseren naar data buiten de trainingsverdeling (bijv. de Shepp-Logan phantom) en naar verschillende sensorgeometrieën zonder het netwerk opnieuw te hoeven trainen.

Resultaten

• Nauwkeurigheid Forward Model: De FNO benaderde de golfvelden met een relatief verschil (RD) van ongeveer 6,16% voor vaat-phantoms en 20,6% voor de Shepp-Logan phantom (die buiten de trainingsverdeling viel) in vergelijking met de k-Wave simulatie. De visuele verschillen waren minimaal, voornamelijk beperkt tot ruisachtige artefacten in de achtergrond.
• Inverse Probleem Oplossing: De MAP-schattingen verkregen met de FNO waren visueel en kwantitatief vergelijkbaar met die van de referentiemethode. De relatieve fouten (RE) voor de initiële drukverdeling waren zeer vergelijkbaar tussen beide methoden voor alle sensorgeometrieën (Full View en Limited View).
  • Voorbeeld (Vaat-phantom, Full View): Referentie 4,58% vs. FNO 4,63%.
  • Voorbeeld (Vaat-phantom, Limited View 1 kant): Referentie 33,4% vs. FNO 34,1%.
• Berekeningstijd:
  • Forward simulatie: FNO: 0,057 s vs. k-Wave: 0,44 s (ongeveer 8x sneller).
  • Gradientberekening: FNO: ~0,006 s vs. k-Wave: 0,47 s (ongeveer 75x sneller).
  • De berekeningstijd van de FNO bleef stabiel of nam zelfs af bij minder sensoren, terwijl de k-Wave tijd constant bleef.
• Convergentie: De BFGS-algoritme convergeerde in ongeveer hetzelfde aantal iteraties voor beide methoden, hoewel de FNO soms een iets hogere minimale waarde van de objectief functie bereikte vanwege kleine modelleringfouten.

Betekenis en Conclusie

De studie toont aan dat Fourier Neural Operators een krachtig alternatief kunnen zijn voor traditionele numerieke methoden in fotoakoestische tomografie. De belangrijkste voordelen zijn:

1. Rekenefficiëntie: De aanzienlijke reductie in rekentijd voor forward simulaties en gradientberekeningen maakt iteratieve reconstructie veel haalbaarder, vooral voor complexe 3D-scenario's of real-time toepassingen.
2. Flexibiliteit: Het getrainde model is onafhankelijk van de sensorgeometrie en kan worden toegepast op willekeurige sensorconfiguraties zonder hertraining.
3. Toekomstperspectief: Hoewel de huidige studie beperkt is tot 2D-simulaties, suggereert de methode een pad naar efficiëntere 3D-reconstructies. De auteurs merken op dat uitbreiding naar 3D geheugenintensief kan zijn, maar dat dit kan worden opgelost met efficiëntere netwerkarctitecturen.

Samenvattend biedt deze aanpak een computerefficiënte route voor het oplossen van inverse problemen in PAT, waarbij de nauwkeurigheid van conventionele methoden wordt behouden terwijl de rekentijd drastisch wordt gereduceerd.