Tensor-Based Reduced-Order Modeling for Optimization-Based Inverse Problems

Technische Samenvatting: Tensor-gebaseerde Reduced-Order Modellering voor Optimalisatie-gebaseerde Inverse Problemen

Probleemstelling
Inverse problemen die worden beheerst door parameterafhankelijke dynamische systemen (PDE's of ODE's) vereisen herhaalde evaluaties van een hoogwaardig forward model om onbekende parameters af te leiden uit indirecte, ruisgevoelige metingen. Wanneer de parameterdimensie matig tot hoog is, of wanneer het probleem herhaaldelijk moet worden opgelost voor verschillende datarealisaties (zoals in digital twin-toepassingen), wordt de computationele kosten van full-order model (FOM) evaluaties en sensitiviteitsanalyse prohibitief. Klassieke reduced-order modeling (ROM) technieken richten zich vaak op het versnellen van forward solves, maar hebben moeite om de multidimensionale aard van de parameter-naar-observatie mapping aan te pakken die vereist is voor globale optimalisatie, vooral wanneer lokale surrogaten niet de robuustheid bieden die nodig is voor multi-start optimalisatie in niet-convexe landschappen.

Methodologie
De auteurs stellen een Tensor Reduced-Order Modeling (TROM) raamwerk voor dat de parameter-naar-observatie mapping direct benadert in het Tensor-Train (TT) formaat. In tegenstelling tot traditionele ROM's die de toestandsruimte reduceren, comprimeert deze aanpak de gezamenlijke afhankelijkheid van observaties op parameters.

1. Offline Constructie:

   • Het parameterdomein wordt gediscretiseerd in een rooster, en de resulterende observaties vormen een hoog-dimensionale tensor $T$.
   • TT-SVD: De volledige tensor wordt samengesteld en gecomprimeerd via een afgekapte SVD van zijn matricisaties. Dit biedt een gecontroleerde benaderingsfout, maar vereist toegang tot alle tensor-elementen, wat onhaalbaar wordt voor hoge dimensies.
   • TT-Cross: Om volledige tensor-assemblage te vermijden, gebruiken de auteurs TT-Cross interpolatie gecombineerd met AMEn (Alternating Minimal Energy) verrijking. Deze methode samplet adaptief een kleine subset van tensor-elementen om de gecomprimeerde representatie te construeren, wat de methode levensvatbaar maakt voor hogere parameterdimensies ($D \ge 6$).
   • Preprocessing: Voor grote observatieruimtes wordt een voorlopige dimensiereductie (via SVD of niet-lineaire encoders) toegepast op de observatievector vóór de TT-compressie om zo de offline kosten verder te verlagen.

2. Online Inversie en Integratie:
   De TROM wordt geïntegreerd in een geregulariseerde niet-lineaire kleinste-kwadraten formulering ($\min_\alpha \frac{1}{2}\|f(\alpha) - y_{obs}\|^2 + \frac{\lambda}{2}\|\alpha - \alpha_{ref}\|^2$) op vier specifieke manieren:

   • C1 (Directe Benadering): De surrogaat $\hat{f}$ vervangt de FOM in de objectieve functie.
   • C2 (Reduced-Coordinate Gauss-Newton): Door de eerste TT-core te orthogonaliseren, wordt de kleinste-kwadraten term geherformuleerd in een gereduceerde coördinatenruimte van dimensie $r_2$ (de tweede TT-rank). Dit maakt het mogelijk om Gauss-Newton (GN) grootheden ($J^T J$ en $J^T \eta$) direct samen te stellen vanuit de low-rank tensorstructuur zonder de volledige observatie-ruimte Jacobiaan te vormen.
   • C3 (Tensor-gebaseerde Optimalisatie): De objectieve functie wordt direct geminimaliseerd over het discrete parameterrooster met behulp van de TT-representatie. Dit kan dienen als een stand-alone benaderende solver of, effectiever, als een data-geïnformeerde initialisatie voor een daaropvolgende GN-solve.
   • C4 (Robuustheidsanalyse): De methode houdt zowel rekening met meetruis als met TROM-benaderingsfouten bij het selecteren van de regularisatieparameter via het discrepantieprincipe.

Numerieke Experimenten
Het raamwerk wordt geëvalueerd op twee verschillende inverse problemen:

1. Inverse Warmteoverdracht: Een parabolisch PDE-probleem in een heterogeen medium waarbij de locaties en radii van laag-geleidende inclusies worden hersteld. Geteste parameterdimensies zijn $D=3, 6, 9$.
2. FitzHugh–Nagumo Parameter Schatting: Een niet-lineair ODE-systeem dat exciteerbare dynamiek modelleert. Het objectieve landschap is sterk niet-convex met meerdere lokale minima, waardoor het gevoelig is voor initialisatie.

Belangrijkste Resultaten

• Nauwkeurigheid en Efficiëntie: TROM-surrogaten (zowel TT-SVD als TT-Cross) reproduceren het gedrag van de volledige-orde inversie met aanzienlijk lagere online kosten. Voor het warmteoverdrachtsprobleem liggen de online inversietijden in de orde van milliseconden, wat een versnelling van $10^3$ tot $10^4$ betekent vergeleken met FOM-gebaseerde Gauss-Newton methoden.
• Schaalbaarheid: TT-Cross breidt de aanpak succesvol uit naar $D=9$, een regime waarin volledige tensor-assemblage voor TT-SVD computationeel onhaalbaar is.
• Robuustheid:
  • In het warmteoverdrachtsprobleem blijft de methode stabiel onder meetruis en variërende ruimtelijke discretisaties.
  • In het FitzHugh–Nagumo probleem presteert de tensor-gebaseerde optimalisatiestap (C3) aanzienlijk beter dan willekeurige initialisatie. Het identificeert een bassin van attractie nabij het globale minimum, terwijl standaard GN-methoden met willekeurige starts frequent convergeren naar valse lokale minima.
• Voordelen van Diepe Integratie: Het gebruik van de gereduceerde coördinatenformulering (C2) en de tensor-gebaseerde initialisatie (C3) levert een extra versnappingsfactor van 4 tot 8 op ten opzichte van "gewone" TROM-inversie (waarbij de surrogaat alleen wordt gebruikt voor forward evaluatie en eindige verschillen worden gebruikt voor de Jacobiaan).

Betekenis en Claims
De paper claimt dat de primaire bijdrage ligt in het verder gaan dan het louter gebruiken van TROM's als snelle forward surrogaten. In plaats daarvan demonstreren de auteurs dat de low-rank tensorstructuur kan worden geëxploiteerd gedurende de gehele inverse solve om:

1. Het optimalisatieprobleem te herformuleren in gereduceerde coördinaten, waardoor de online kosten worden ontkoppeld van de volledige observatiedimensie.
2. Sensitiviteitsinformatie (Jacobiaan-producten) efficiënt samen te stellen zonder expliciete vorming van de Jacobiaan.
3. Een robuuste, data-geïnformeerde initialisatiestrategie te bieden die de gevoeligheid van niet-lineaire solvers voor slechte startpunten in niet-convexe landschappen vermindert.

De auteurs concluderen dat hoewel de offline constructie van de TROM-surrogaat een aanzienlijke computationele kosten met zich meebrengt (vooral voor hoge dimensies), de resulterende online inverse solves goedkoop, stabiel en robuust zijn. Dit maakt de aanpak bijzonder geschikt voor toepassingen die herhaalde inversies vereisen, zoals digital twins, mits de offline kosten kunnen worden geamortiseerd. De methode balanceert effectief tussen benaderingsfout, meetruis en regularisatie om stabiele reconstructies te produceren.