Technische Samenvatting: GReFEM – Multimodale LLM's als Zero-Shot Semantische Assistenten voor Physics-Guided 3D Mesh Verfijning

1. Probleemstelling

Adaptieve volumetrische eindelement-meshing is een kritieke bottleneck in computer-aided engineering, wat de computationele budget van simulaties bepaalt. Traditioneel vertrouwt dit proces op iteratieve PDE-solvers om foutindicatoren te berekenen of op zwaar gesuperviseerde data-gedreven surrogaten die getraind zijn op massale datasets van geconvergeerde oplossingen. Deze benaderingen zijn computationeel duur en missen de zero-shot generalisatie naar nieuwe fysieke verschijnselen of belastingscondities zonder hertraining.

Hoewel ervaren ingenieurs intuïtief stress-kritieke regio's kunnen anticiperen op basis van geometrie en randvoorwaarden, blijft het automatiseren van deze intuïtie een uitdaging. Bestaande geometrische heuristieken markeren vaak blindelings alle discontinuïteiten (bijv. gaten, radii) ongeacht het specifieke belastingsscenario, wat leidt tot inefficiënte mesh verfijning. De centrale vraag die in dit werk wordt behandeld is: Kunnen off-the-shelf Multimodale Large Language Models (MLLMs) dienen als levensvatbare, zero-shot semantische assistenten om eindelement mesh verfijning te sturen op basis van physics-guided tekstuele prompts?

2. Methodologie: Het GReFEM Framework

De auteurs introduceren GReFEM (Geometric Reasoning Enhanced Multimodal LLMs for Finite Element Meshing), een solver-vrij framework dat natuurlijke taalinstructies vertaalt naar 3D volumetrische mesh verfijningsankers. De pijplijn bestaat uit drie primaire stadia:

A. OrthoViews (View Selection)

Om de kloof tussen 2D MLLM pre-training en 3D geometrieën te overbruggen, gebruikt het framework orthoViews, een view-selectiemodule.

• Mechanisme: Een set $V$ orthografische views wordt gegenereerd door azimut- en elevatiehoeken te enumereren.
• Scoring: Elke view wordt ingebed met een bevroren DINOv2 encoder. Een Score-MLP netwerk, getraind met pairwise margin loss op een dataset van 5k CAD-onderdelen, rangschikt views op basis van hun geometrische informatieve waarde (d.w.z. het aantal prominente kenmerken dat zichtbaar is).
• Output: De top-$K$ views ($V^*$) worden geselecteerd om de observabiliteit van sleutelgeometrische kenmerken te maximaliseren, waardoor de MLLM de meest relevante visuele context ontvangt.

B. Inferentie Pijplijn

De geselecteerde views ondergaan een driestaps verwerkingspijplijn:

1. Regio Voorstel (Region Proposal): De MLLM krijgt de geselecteerde orthografische views gepresenteerd, voorzien van een uniform rooster. Gegeven een physics-guided prompt (bijv. "Identificeer stress-kritieke regio's onder compressie"), voorspelt het model een subset van saillante grid cellen ($C_v$) die overeenkomen met mechanisch significante regio's.
2. Feature Detectie: Klassieke computer vision operatoren en mesh-ray projectie worden toegepast op de voorspelde grid cellen om precieze 2D feature locaties ($Q$) te herstellen. Het systeem richt zich op specifieke geometrische discontinuïteiten: interne hoekranden, geëxtrudeerde contouren/bosses, doorgaande gaten en radii.
3. MV-RaySeg (Surface Projectie): Gedetecteerde 2D punten worden teruggeprojecteerd naar het 3D domein. Met behulp van bekende cameraparameters worden stralen (rays) uitgezonden vanuit de 2D punten naar de getrianguleerde oppervlaktemesh. Het systeem berekent ray-mesh intersecties om segmenten te identificeren die binnen het solide liggen, waarbij een set 3D ankerpunten ($P$) op het oppervlak wordt gesampled. Dit maakt het mogelijk dat een enkele 2D detectie meerdere diepte-gealigneerde oppervlakteregio's beïnvloedt, wat cruciaal is voor interne holtes.

C. Mesh Generatie

De resulterende set 3D ankerpunten definieert een afstandsveld, dat wordt toegewezen aan een ruimtelijk variërende elementgroottefunctie $h(x)$. Dit grootteveld wordt gevoed aan een standaard tetraëdrische meshing algoritme (Gmsh) om een conform volumetrisch mesh te genereren, waarbij de resolutie wordt geconcentreerd nabij de voorspelde stress-kritieke kenmerken.

3. Experimentele Opstelling

• Dataset: 30 diverse CAD-geometrieën variërend in complexiteit (extrusies, gaten, radii).
• Belastingsgevallen: Vijf scenario's inclusief uni-axiaal (compressie, buiging, torsie) en multi-axiaal (torsie-compressie, buiging-compressie).
• Modellen: Vier state-of-the-art MLLM's werden geëvalueerd: Gemini-3-flash-preview, Claude-Haiku-4.5, GPT-5.4-mini, en Qwen3VL 235B.
• Prompts: Drie prompt-formuleringen werden getest:
  • Load+Features: Expliciete belastingsinstructies + lijst van kritieke feature types.
  • Load+Features+Heuristics: Aanvullende ruimtelijke hints met betrekking tot spanningsconcentratie.
  • Load-Only: Alleen een beschrijving van de belasting, waarbij het model wordt gevraagd de kritieke regio's af te leiden.
• Baselines: Een getunede Mesh Geometric Heuristic die blindelings concave randen, radii en gaten identificeert op basis van dihedrale hoeken en kromming, onafhankelijk van de belasting.
• Evaluatiemetriek: Een strikt matched-budget paradigma werd gebruikt. Het aantal verfijningspunten werd gesubsampleerd om het gemiddelde budget van de MLLM's te evenaren. Nauwkeurigheid werd gemeten tegenover een high-resolution referentieoplossing met behulp van genormaliseerde Energie Fout ($\delta_{E,norm}$) en $L_2$ Fout ($\delta_{L2,norm}$), naast Precision, Recall en F1-scores gebaseerd op de Zienkiewicz–Zhu (ZZ) stress indicator.

4. Belangrijkste Resultaten

• Zero-Shot Capaciteit: MLLM's vertoonden een robuuste zero-shot capaciteit om complexe ruimtelijk-fysische instructies op te volgen. Ze isoleerden stress-relevante features met hogere precisie dan blinde geometrische heuristieken.
• Precision vs. Recall Trade-off:
  • De geometrische heuristiek behaalde een hoge recall (0.76) door alle discontinuïteiten te markeren, maar leed aan een lagere precision.
  • MLLM's, met name met Load+Features prompts, behaalden een aanzienlijk hogere Precision. Bijvoorbeeld, Gemini-3-flash-preview en Qwen3VL 235B behaalden gemiddelde F1-scores die competitief waren met of superieur aan de heuristiek in top-5 view configuraties.
  • MLLM's fungeerden als "chirurgische" instrumenten door geometrisch complexe maar mechanisch irrelevante features (bijv. gaten ver van het belastingspad) te negeren, waardoor ze het verfijningsbudget effectiever concentreerden op werkelijke stress-kritieke zones.
• Impact van Prompting: Expliciete fysieke restricties in de prompt verschoven de MLLM's van blinde feature-detectoren naar context-bewuste assistenten. Load-Only prompts verhoogden de recall maar degradeerden de precision scherp, wat aangeeft dat huidige MLLM's sterk vertrouwen op expliciet instructie-volgen in plaats van autonome fysieke redenering.
• Rol van View Selectie: De orthoViews module presteerde consistent beter dan willekeurige view selectie. Het verhogen van het aantal door GReFEM geselecteerde views leidde tot een monotone reductie in zowel energie- als $L_2$-fouten, wat bevestigt dat het maximaliseren van geometrische observabiliteit cruciaal is voor accurate 3D grounding.

5. Betekenis en Claims

Het artikel claimt de grens te definiëren van foundation modellen als semantische assistenten in geautomatiseerde simulatie workflows. De belangrijkste bijdragen zijn:

1. Een Solver-Vrij Paradigma: GReFEM demonstreert dat mesh verfijning gestuurd kan worden door de semantische redenering van off-the-shelf MLLM's, waardoor de noodzaak voor dure PDE-solvers of massale datasets van geconvergeerde FEM-oplossingen wordt omzeild.
2. Domein-Agnostische Adaptiviteit: In tegenstelling tot gesuperviseerde Graph Neural Networks (GNN's) die hertraining vereisen voor nieuwe fysieke verschijnselen of belastingsvormen, past GReFEM zich dynamisch aan nieuwe scenario's aan via natuurlijke taalprompts zonder parameter updates.
3. De Precision-Recall Frontier: De studie stelt vast dat hoewel MLLM's nog niet beschikken over volledige autonome fysieke redenering, ze uitblinken als "instructie-volgende" assistenten. Wanneer zij worden voorzien van expert-regels, kunnen zij de computationele middelen effectiever toewijzen dan traditionele geometrische heuristieken.

Erkende Beperkingen:
De auteurs merken bescheiden op dat het bereiken van end-to-end autonome fysieke redenering in 3D een open uitdaging blijft. Het huidige framework vertrouwt op "guard-rails" geleverd door CV-pipelines, prompt-gestuurde geometrische instructies en de aanwezigheid van specifieke geometrische kenmerken. De MLLM's lossen de fysica niet onafhankelijk op, maar interpreteren menselijke fysieke heuristieken om features te lokaliseren.

Concluderend positioneert GReFEM foundation modellen niet als vervangers voor physics solvers, maar als zeer levensvatbare, zero-shot interfaces tussen menselijke fysieke intuïtie en lage-niveau numerieke discretisatie.