Technische Samenvatting: M3 – Herformulering van Trainingsmaatstaven voor Gediscretiseerde Fysische Simulaties

Probleemstelling

Neurale surrogate-modellen voor fysische simulaties worden doorgaans getraind op gediscretiseerde steekproeven van continue domeinen. De discretisatiemethoden die in industriële simulaties worden gebruikt (bijvoorbeeld adaptieve meshverfijning) genereren echter een empirische maatstaf die inherent niet-uniform is. Dit leidt tot door maatstaf veroorzaakte bias:

1. Vooroordeel in optimalisatie: Fijn gediscretiseerde gebieden (gebieden met een hoge dichtheid van het rooster) ontvangen onevenredig meer optimalisatie-updates, terwijl schaarse gebieden zwakkere signalen bijdragen. Dit resulteert in ruimtelijk niet-uniforme benaderingsfouten.
2. Onbetrouwbare evaluatie: Standaard puntsgewijze metrieken met uniforme weging kunnen grote fouten in schaars bemonsterde gebieden maskeren door ze te middelen met de accumulatie van kleine fouten in dichte gebieden. Dit levert overdreven optimistische prestatieschattingen op die het gedrag van het model over het continue fysische domein niet weerspiegelen.
3. Data-inefficiëntie: Het simpelweg verhogen van het volume aan ruwe simulatiedata of de modelcapaciteit compenseert vaak niet voor systematisch tekortschietende fysische signalen in ondervertegenwoordigde gebieden. Het subsamplen van dergelijke data zonder correctie erft en versterkt deze discretisatiebias.

De kernuitdaging is het construeren van een trainingsmaatstaf die fysische variatie over schaalgrenzen heen vastlegt in plaats van discretisatie-artefacten, en die zorgt voor een gebalanceerde ruimtelijke dekking en supervisie-allokatie binnen vaste rekenkundige budgetten.

Methodologie: M3 (Multi-scale Morton Measure)

De auteurs stellen M3 voor, een schaalbaar kader dat gestructureerde trainingsverdelingen voor grootschalige puntwolken construeert door de empirische maatstaf expliciet te ontwerpen. De pijplijn bestaat uit drie fasen:

1. Variatiebewuste Partitionering (Stap 1)

In plaats van een vast rooster of willekeurige bemonstering te gebruiken, partitioneert M3 de onregelmatige hoogresolutie-puntwolk in ruimtelijke cellen die worden geleid door lokale fysische variatie.

• Mechanisme: Er wordt gebruikgemaakt van Morton-ordening (Z-ordening) octree-partitionering.
• Variatiescore: Voor elke cel wordt een lichtgewicht lokale variatiescore ($\delta_c$) berekend op basis van de extremen binnen de cel voor toezicht gehouden scalar- en vectorkanalen (bijvoorbeeld druk, snelheid). De score is dimensieloos via z-score-normalisatie.
• Adaptieve verfijning: Cellen worden recursief onderverdeeld als hun variatiescore een drempelwaarde ($\epsilon_{refine}$) overschrijdt, of totdat limieten voor diepte of aantal punten zijn bereikt. Dit resulteert in fijnere cellen in gebieden met hoge variatie (bijvoorbeeld schokgolven, grenslaag) en grovere cellen in gladde gebieden.

2. Multi-schaal Groepering (Stap 2)

Om het probleem aan te pakken waarbij de diepte van de octree alleen een slechte proxy is voor fysische variatie (vanwege geërfd verfijning van ouders), kalibreert M3 cellen opnieuw op basis van de werkelijke variatie-intensiteit.

• Intensiteitsscore: Een intensiteit op schaal van de gradiënt $\tilde{T}_c = \delta_c / h_c$ wordt berekend, waarbij $h_c$ de geometrische breedte van de cel is.
• Stratificatie: Cellen worden gegroepeerd in schaalstrata ($C_\ell$) op basis van een log-geschaalde intensiteitsscore ($S_c$). Dit creëert een multi-schaal representatie waarbij cellen van verschillende geometrische maten maar met vergelijkbare groottes van fysische variatie bij elkaar worden gegroepeerd. Cellen met één punt worden toegewezen aan een dedicated stratum.

3. Budgetterende Allokatie (Stap 3)

Gegeven een vast trainingsbudget $m$, alloceert M3 steekproeven over de geïdentificeerde strata en cellen om een doeltaatstaf $\mu^\star$ te benaderen.

• Doeltaatstaf: De doeltaatstaf verdeelt massa $\alpha_\ell$ over schalen (doorgaans uniform over schalen, $\alpha_\ell \approx 1/|\Lambda|$) en verdeelt massa uniform binnen elke schaal.
• Capaciteitsbeperkingen: Een vulratio $\rho$ beperkt de effectieve capaciteit van elke cel om te voorkomen dat grote cellen het globale budget uitputten.
• Allocatiestrategie: Er wordt een tweekoppige allocatie uitgevoerd:
  1. Inter-schaal: Budgetten $m_\ell$ worden toegewezen aan elk stratum om de doeltaatstaf $\alpha_\ell$ te matchen.
  2. Intra-schaal: Een water-filling procedure verdeelt het budget $m_\ell$ uniform over cellen binnen een stratum, met prioriteit voor cellen met een lagere huidige toewijzing.
• Bemonstering: Tot slot worden $q_c$ punten uniform zonder teruglegging uit elke cel $c$ gehaald om de trainingsset te vormen.

Belangrijkste Bijdragen

1. Identificatie van door maatstaf veroorzaakte bias: Het artikel stelt vast dat door discretisatie veroorzaakte datastructuren systematisch het effectieve trainingsdoel in operatorlearning veranderen, wat leidt tot vooroordeel in optimalisatie en onbetrouwbare prestatiebeoordeling onder standaardmetrieken.
2. M3-kader: Een schaalbaar, lichtgewicht pijplijn die multi-schaal empirische maatstaven construeert die zijn afgestemd op onderliggende fysische structuren. Dit maakt data-efficiënt trainen mogelijk onder beperkte budgetten en verbetert generalisatie.
3. Inzicht in data-efficiëntie: De auteurs tonen aan dat het alleen verhogen van het volume aan ruwe simulatiedata niet noodzakelijkerwijs de prestaties verbetert onder ruimtelijk niet-uniforme discretisaties. Omgekeerd bereiken modellen die zijn getraind met fysisch gestructureerde maatstaven sterkere prestaties met minder data.

Experimentele Resultaten

De methode werd geëvalueerd op drie industriële CFD-datasets: SHIFT-Wing (transsonische vleugel, anisotroop rooster), AhmedML (bluff body, bijna-uniform rooster) en DrivAerML (automobiel, sterk niet-uniform rooster). Modellen werden getraind met de AB-UPT-architectuur.

• Verbeterde fysische fideliteit: Onder fysisch gewogen metrieken (die fouten wegen op oppervlakte of volume) presteerden met M3 getrainde modellen consistent beter dan baselines met willekeurige subsampling.
  • Op de grootschalige DrivAerML-dataset ($\sim$160M punten) verlaagde M3 de fysisch gewogen relatieve $L_2$-fout met 3–4$\times$ en de bijbehorende MSE met maximaal 13$\times$ ten opzichte van willekeurige bemonstering, zelfs wanneer getraind op aanzienlijk gesubsamplede data (bijvoorbeeld 1,6M punten).
  • In volumetrische gevallen bereikte M3 tot 4,7$\times$ lagere fouten ten opzichte van baselines.
• Robuustheid tegen subsampling: Met M3 getrainde modellen presteerden beter dan baselines die waren getraind op data met hogere resolutie. Bijvoorbeeld: een model dat op 10% van de data was getraind met M3, overtrof een model dat op 100% van de data was getraind met willekeurige bemonstering, gemeten aan de fysisch gewogen fout.
• Ruimtelijke consistentie: Visualisaties van foutenkaarten toonden aan dat M3 gladdere foutenvelden oplevert en kritieke stromingsstructuren in schaarse gebieden vastlegt die door willekeurige bemonstering worden gemist.
• Schaalbaarheid: De voorverwerkingspijplijn schaalt efficiënt tot $10^8$ punten en is binnen tientallen seconden voltooid, terwijl op buurt gebaseerde methoden time-outen.

Betekenis en Claims

Het artikel positioneert M3 als een schaalbare, data-efficiënte aanpak voor fysisch consistente modellering. De primaire betekenis ligt in het herformuleren van subsampling niet louter als data-compressie, maar als een probleem van fysisch zinvol ontwerp van empirische maatstaven.

De auteurs beweren dat:

• Data-distributie kritiek is: In operatorlearning is de distributie van trainingssteekproeven een sleutelfactor, vaak belangrijker dan het ruwe datavolume of de modelcapaciteit.
• Afstemming van maatstaf: Het afstemmen van de trainingsmaatstaf op de fysische structuur van het domein (in plaats van op discretisatie-artefacten) is essentieel om bias te verminderen en een accurate benadering van het continue fysische systeem te garanderen.
• Hervorming van evaluatie: Standaard puntsgewijze metrieken kunnen misleidend zijn voor gediscretiseerde fysische data; fysisch gewogen metrieken zijn noodzakelijk om de ware prestaties van het model en de voordelen van gestructureerde bemonstering bloot te leggen.

Het artikel concludeert dat M3 een complementair perspectief biedt op data-efficiënt leren, en een praktische oplossing biedt voor de bias die wordt geïntroduceerd door industriële schaal-discretisatiemethoden.