Technische Samenvatting: GeoTransolver

Probleemstelling

Het artikel identificeert drie hardnekkige faalmodi in huidige transformer-gebaseerde neurale operatoren voor Computer-Aided Engineering (CAE) die hun betrouwbaarheid voor industriële besluitvorming beperken:

1. Geometrische Verdunning door Diepte (Geometry Dilution Across Depth): In standaard transformer-architecturen wordt geometrische informatie die alleen in de inputlaag wordt geïnjecteerd, progressief verdund naarmate de latente representaties door opeenvolgende attention-blokken passeren. Dit veroorzaakt een verlies van fijnmazige domeinstructuur (bijv. grenslagen, separatiegebieden) in diepere lagen, wat de voorspellingen verslechtert waar nabij-wand fysica cruciaal is.
2. Schaalverschil bij Niet-Uniforme Discretisaties (Scale Mismatch on Non-Uniform Discretizations): Industriële meshes vertonen ordes van grootte verschillen in celgrootte tussen grenslaagregio's en verre-veld elementen. Single-radius buurtbenaderingen of uniforme globale attention falen in het gelijktijdig vastleggen van nabij-wand gradiënten en verre-veld koppeling.
3. Single-Shot Regime Conditiering (Single-Shot Regime Conditioning): Bestaande conditionele operator-leerders voegen operationele parameters (bijv. Machgetal, invalshoek) doorgaans slechts één keer samen met de input-tokens. Terwijl de latente staat evolueert door de diepte van het netwerk, kan deze conditieringsinformatie "weggewassen" worden, waardoor de interne staat van het model ontkoppelt van de opgelegde operationele condities.

Methodologie: GeoTransolver

GeoTransolver is een multi-schaal geometrie-bewuste fysica-attention transformer, ontworpen om deze specifieke faalmodi aan te pakken. Het breidt de Transolver-backbone uit door de introductie van Geometry-Aware Latent Embeddings (GALE) attention.

Kernarchitectuur

De architectuur verwerkt drie inputs: query-punten met lokale veldwaarden, een geometrisch oppervlakteset (surface mesh) en optionele globale operationele parameters.

1. Persistent Geometrische Herinnering (GALE):

   • In plaats van uitsluitend te vertrouwen op self-attention over geleerde state-slices, introduceert GeoTransolver een cross-attention mechanisme in elk blok.
   • Een gedeelde context wordt geconstrueerd die geometrie en globale parameters codeert in dezelfde slice-tokenruimte die wordt gebruikt voor de latente staat.
   • Elk GALE-blok voert physics-aware self-attention uit op geleerde slices, gevolgd door cross-attention naar deze gedeelde context. De outputs worden gemengd via een leerbare scalaire gate ($\alpha$), waardoor het model adaptief de balans kan vinden tussen geometrische context en de self-attended staat op elke diepte. Dit zorgt ervoor dat elke laag directe toegang behoudt tot de domeinstructuur, wat geometrische verdunning voorkomt.

2. Multi-Scale Context Constructie:

   • Om het schaalverschil op te lossen, wordt de context opgebouwd met behulp van multi-scale ball queries met radii die variëren van grenslaag-schalen tot verre-veld schalen.
   • Context Projector: Brengt variabel-lengte tokensequenties (geometriepunten en globale parameters) in naar een vaste set slice-tokens.
   • Geometric Processor: Extraheert lokale geometrische context op meerdere schalen ($N_s$) met behulp van ball queries. Dit werkt in twee richtingen:
     • Input-naar-Geometrie: Aggregeert kenmerken van nabijgelegen geometriepunten voor elk input-query.
     • Geometrie-naar-Input: Aggregeert kenmerken van nabijgelegen inputpunten voor elk geometriepunt.
   • Deze multi-scale kenmerken worden geprojecteerd naar slice-tokens en samengevoegd om een gedeelde context-tensor ($C$) te vormen, die bij elke GALE-laag wordt hergebruikt.

3. Persistent Regime Conditiering:

   • Globale operationele parameters (bijv. Machgetal, invalshoek) worden geprojecteerd in dezelfde slice-tokenruimte als de geometrie via een speciale context-projector.
   • Deze context wordt bij elk blok geïnjecteerd via cross-attention, waardoor de regime-informatie gedurende de forward pass behouden blijft en regime-drift wordt voorkomen.

4. Modulariteit:

   • De geometrie-bewuste context komt binnen via een apart cross-attention pad, waardoor de self-attention backend uitwisselbaar is. De auteurs demonstreren dit door de standaard physics-attention te vervangen door FLARE (Fast Low-rank Attention Routing Engine) voor crash-dynamica benchmarks.

Belangrijkste Bijdragen

1. Architectuurontwerp: Een geometrie-persistente transformer waarbij elk component gericht is op een specifieke faalmode:
   • GALE cross-attention voorkomt geometrische verdunning.
   • Multi-scale ball queries lossen het schaalverschil tussen grenslaag en verre-veld op.
   • Globale parameter-context projectie voorkomt regime-drift.
2. Industriële Schaal Evaluatie & Open Source:
   • Implementatie en release in NVIDIA PhysicsNeMo.
   • Benchmarking op vier datasets: DrivAerML (500 parametrische voertuigvarianten, ~140M elementen), Luminary SHIFT-SUV, Luminary SHIFT-Wing, en twee crash-dynamica datasets (bumper-beam en Body-in-White).
   • Evaluatie omvat veld-reconstructie (snelheid, druk, wandwrijvingsspanning), integrale grootheden (weerstand/lift) en generalisatie naar ongeziene geometrieën en design-trends.

Resultaten

Het artikel rapporteert prestaties over aerodynamische en structurele mechanica benchmarks:

• DrivAerML (Ablatie studies):

  • Nauwkeurigheid verbetert monotoon met modelcapaciteit (lagen, multi-scale radii, kernel size).
  • De beste configuratie (20 lagen, 6 radii van 0.01–5.0, kernel size 32) bereikt relatieve L1-fouten onder de 5% voor oppervlakte- en volumefelden en bijna perfecte overeenstemming in weerstand/lift ($R^2 > 0.99$).
  • Ablaties bevestigen dat adequate geometrische token-dekking en multi-scale radii cruciaal zijn voor volumetrische nauwkeurigheid.

• SHIFT-SUV en SHIFT-Wing:

  • GeoTransolver bereikt de laagste relatieve L1-fouten op volumefelden (druk en snelheid) over alle testcondities (Estate, Fastback, Ma=0.5, Ma=0.85), waarbij het Domino, Transolver en AB-UPT overtreft.
  • Op oppervlaktemetrieken voert GeoTransolver de lijst aan op de meeste velden, met specifieke uitzonderingen waar gespecialiseerde training (bijv. DoMINO getraind per Mach) of specifieke architecturen (AB-UPT) iets beter presteren op geïsoleerde metrieken.
  • Voor weerstands- en liftcoëfficiënten ($R^2$) behaalt GeoTransolver de hoogste scores op SHIFT-SUV en evenaart de perfecte $R^2=1.0$ van andere modellen op SHIFT-Wing.

• Crash-dynamica:

  • GeoTransolver vermindert de relatieve L2-fout vergeleken met Transolver op zowel bumper-beam als BIW frontale impact benchmarks.
  • Het vervangen van de physics-attention backend door FLARE verbetert de prestaties verder, wat aantoont dat de geometrie-bewuste context-pathway backend-agnostisch en effectief is voor transiënte, contact-gedreven structurele mechanica.
  • Probe-niveau kinematische MSE (positie, snelheid, acceleratie) is eveneens verbeterd, met name met de FLARE backend.

• Computationele Kosten:

  • Multi-scale ball queries introduceren een throughput-overhead (ongeveer 2x voor 6-scale configuraties) vergeleken met single-scale baselines, wat aanpassingen vereist in het aantal query-punten om binnen de GPU-geheugenbeperkingen te blijven.

Betekenis

Het artikel beweert dat GeoTransolver de operator-learning voor hoogwaardige surrogaten op complexe, onregelmatige en niet-lineaire domeinen vooruit helpt door direct de structurele tekortkomingen in huidige transformer-architecturen aan te pakken. Door persistente geometrische en regime-context door de diepte van het netwerk te behouden, levert het verbeterde nauwkeurigheid en robuustheid tegen geometrie- en regime-verschuivingen. De open-source release in NVIDIA PhysicsNeMo heeft als doel de drempel voor hoogwaardige CAE voor zowel academische als industriële gebruikers te verlagen, wat potentieel de afhankelijkheid van kostbare hoog-fidelity simulaties tijdens het ontwerpproces kan verminderen. Het werk benadrukt ook het potentieel van geleerde surrogaten om te generaliseren buiten externe aerodynamica naar transiënte structurele mechanica.