A comparative study of transformer models and recurrent neural networks for path-dependent composite materials

Deze studie vergelijkt transformer-modellen en recurrente neurale netwerken (RNN's) voor het modelleren van pad-afhankelijke composietmaterialen en concludeert dat RNN's beter presteren op kleine datasets en bij extrapolatie, terwijl transformer-modellen aanzienlijk sneller zijn bij inferentie.

De kern

Stel je voor dat je een ingenieur bent die nieuwe, supersterke maar lichte materialen ontwerpt voor auto's of vliegtuigen. Deze materialen zijn gemaakt van kunststof met korte vezeltjes erin (zoals houtvezels in een plaat). Het probleem? Het is heel moeilijk om te voorspellen hoe deze materialen zich gedragen als je ze buigt, trekt of verwarmt, vooral omdat ze "onthouden" wat er eerder met ze is gebeurd.

In de wetenschap noemen we dit pad-afhankelijkheid: de huidige staat van het materiaal hangt af van zijn hele verleden.

Om dit te simuleren, gebruiken supercomputers normaal gesproken heel veel rekenkracht. Het is alsof je elke keer dat je een auto wilt testen, een volledig nieuw model moet bouwen en duizenden keren moet rekenen. Dat duurt te lang.

Daarom proberen wetenschappers kunstmatige intelligentie (AI) in te zetten als een "slimme gids" (een zogenaamd surrogaatmodel). Deze AI leert van eerdere berekeningen en kan daarna in een flits voorspellen hoe het materiaal zich gedraagt.

Deze studie vergelijkt twee populaire soorten AI-architecturen die goed zijn in het onthouden van tijdreeksen:

1. RNN's (Recurrent Neural Networks): De "oude, ervaren meester".
2. Transformers: De "nieuwe, snelle ster".

Hier is hoe ze zich verhouden, vertaald naar alledaagse taal:

1. De Twee Competitoren

De RNN (De Oude Meester)
Stel je een RNN voor als een oude, wijs leraar die een verhaal van begin tot eind leest, regel voor regel. Hij onthoudt wat er eerder is gebeurd door het verhaal in zijn hoofd te houden.

• Sterk punt: Hij is heel goed in het begrijpen van complexe verhalen, zelfs als je maar weinig voorbeelden hebt om van te leren. Hij is ook heel goed in het voorspellen van situaties die hij nog nooit heeft gezien (extrapolatie), zolang het maar logisch aansluit bij wat hij al weet.
• Zwak punt: Hij leest langzaam. Hij moet elke zin afwachten voordat hij de volgende kan lezen.

De Transformer (De Snelle Ster)
Stel je een Transformer voor als een geniale, hyperactieve student die het hele boek in één oogopslag kan scannen. Dankzij een trucje genaamd "self-attention" kan hij tegelijkertijd kijken naar het begin, het midden en het einde van een verhaal om patronen te vinden.

• Sterk punt: Hij is ontzettend snel. Omdat hij alles tegelijk kan lezen, is hij 7 keer sneller in het maken van voorspellingen dan de oude leraar. Als je heel veel data hebt, wordt hij ook heel slim.
• Zwak punt: Hij heeft een enorme hoeveelheid lesmateriaal nodig om goed te worden. Als je hem maar een paar voorbeelden geeft, raakt hij in de war. En als je hem vraagt iets te doen dat heel anders is dan wat hij heeft geoefend (zoals een nieuw soort buigbeweging), faalt hij vaak.

2. Het Experiment: Een Race met Data

De onderzoekers hebben beide modellen getraind op een dataset van 547 voorbeelden van hoe deze vezelmaterialen zich gedragen. Ze hebben de modellen getest op drie manieren:

• Met weinig data (Krappe situatie):

  • Resultaat: De RNN won. Hij maakte minder fouten. De Transformer had moeite om iets zinnigs te zeggen omdat hij te weinig had geleerd.
  • Analogie: Als je een student maar één hoofdstuk van een boek geeft, kan de "oude leraar" (RNN) de rest van het verhaal nog wel raden. De "snelle student" (Transformer) raakt in paniek omdat hij niet genoeg context heeft.

• Met veel data (Overvloedige situatie):

  • Resultaat: Beide modellen werden bijna even goed. De Transformer haalde de RNN in qua nauwkeurigheid, maar bleef net iets meer extreme fouten maken.
  • Analogie: Als je beide modellen duizenden boeken geeft, worden ze allebei experts. De Transformer leert dan net zo goed als de leraar.

• De "Nieuwe Situatie" (Extrapolatie):

  • De onderzoekers gaven de modellen een nieuwe, vreemde test: een materiaal dat heen en weer wordt gebogen (cyclische belasting), iets wat ze niet precies zo hadden geoefend.
  • Resultaat: De RNN hield het hoofd koel en gaf een goede voorspelling. De Transformer viel volledig uit elkaar en gaf onzin antwoorden.
  • Analogie: Als je de "snelle student" vraagt een compleet nieuw genre muziek te componeren, faalt hij. De "oude leraar" past zijn kennis van muziektheorie wel toe en maakt een redelijk nummer.

3. De Uitslag: Snelheid vs. Betrouwbaarheid

Hier is de grote verrassing:

• De Transformer is 7 keer sneller. Hij kan in 0,5 milliseconde een voorspelling doen, terwijl de RNN 3,5 milliseconden nodig heeft. In de wereld van simulaties waar je duizenden keren moet rekenen, is die snelheid goud waard.
• Maar de RNN is betrouwbaarder als je niet genoeg data hebt of als je de AI iets nieuws vraagt.

Conclusie: Welke moet je kiezen?

Deze studie geeft een duidelijk advies, afhankelijk van je situatie:

• Kies de RNN (De Oude Meester) als:

  • Je weinig data hebt (bijvoorbeeld omdat het simuleren van het materiaal heel duur is).
  • Je zeker wilt weten dat de AI het ook goed doet in situaties die net buiten je training vallen (zoals nieuwe buigbewegingen).
  • Betrouwbaarheid belangrijker is dan snelheid.

• Kies de Transformer (De Snelle Ster) als:

  • Je een enorme hoeveelheid data hebt om te trainen.
  • Je snelheid nodig hebt (bijvoorbeeld voor real-time simulaties).
  • Je bereid bent om de AI heel goed in te stellen (tunen) om hem optimaal te laten werken.

Kort samengevat:
De Transformer is de Formule 1-auto: razendsnel en indrukwekkend op een perfect circuit met veel data. De RNN is de betrouwbare terreinwagen: misschien wat trager, maar hij komt ook door modder, sneeuw en onverwachte obstakels als je maar weinig voorraad hebt. Welke je kiest, hangt af van het terrein waar je naartoe moet.

Technische samenvatting

Probleemstelling

De nauwkeurige modellering van kortvezelversterkte composieten (SFRCs) blijft computatief zeer intensief, vooral voor full-field simulaties die de niet-lineaire, geschiedenisafhankelijke elastisch-plastische gedragingen voorspellen. Traditionele methoden zoals de Finite Element (FE) methode of Fast Fourier Transform (FFT) op een Representatief Volume-element (RVE) zijn te duur voor multischaalmodellering (bijv. FE²-workflows) vanwege de kwadratische schaling van de rekentijd.

Hoewel data-gedreven vervangende modellen (surrogate models) met Artificial Neural Networks (ANNs) een efficiënt alternatief bieden, zijn er beperkingen:

• RNNs (Recurrent Neural Networks): Zijn effectief voor sequentiële afhankelijkheden (zoals plasticiteit) maar lijden onder beperkingen in langetermijngeheugen, zijn gevoelig voor datasetgrootte en hebben residual onzekerheid.
• Transformers: Zijn recent ontwikkeld voor hun schaalbaarheid en efficiënte parallelisatie (via self-attention), maar zijn nog niet systematisch vergeleken met RNNs in de context van path-dependent materiaalmodellen.

Methodologie

De auteurs voeren een systematische vergelijking uit tussen GRU-based RNNs (Gated Recurrent Units) en Transformer-modellen die zijn getraind op sequenties van gehomogeniseerde responsen van SFRC-RVEs.

1. Dataset:

   • Gebruik van een openbare dataset van Cheung en Mirkhalaf met 547 unieke spannings-reksequenties.
   • Data Augmentatie: Om het gebrek aan data te mitigeren, wordt een rotatie-gebaseerde augmentatiestrategie toegepast (rotatie van spanning-, rek- en oriëntatietensors). De dataset wordt uitgebreid van 438 trainingssequenties naar maximaal 10.420 sequenties (augmentatiefactor 20).
   • Verdeling: 80% training, 15% validatie, 5% test.

2. Architecturen:

   • RNN: Gebaseerd op GRU-cellen met update- en reset-gates om tijdsafhankelijkheid te modelleren.
   • Transformer: Gebaseerd op multi-head self-attention met sinusvormige positionele encoding om volgorde te behouden, zonder recurrente updates.

3. Hyperparameter-optimalisatie:

   • In plaats van handmatige tuning, wordt Bayesian Optimization (BO) gebruikt om zowel architecturale hyperparameters (bijv. aantal lagen, hidden size, attention heads) als trainingshyperparameters (learning rate, batch size) te optimaliseren.
   • De optimalisatie streeft naar minimalisatie van de Mean Squared Error (MSE) op de validatiedataset.

4. Evaluatiemetrics:

   • Voornamelijk Root Mean Square Error (RMSE) en Maximum Absolute Error (MaE) op de von Mises equivalente spanning.
   • Testen op interpolatie (binnen het trainingsdomein) en extrapolatie (cyclische belasting buiten het trainingsdomein).

Belangrijkste Bijdragen

• Eerste systematische vergelijking: Dit is een van de eerste studies die RNNs en Transformers direct vergelijkt voor path-dependent materiaalmodellen in de mechanica van composieten.
• Robuste optimalisatie: Het gebruik van Bayesian Optimization voor beide modeltypen zorgt voor een eerlijke vergelijking zonder bias door suboptimale handmatige tuning.
• Schaalbaarheidsanalyse: Een gedetailleerde analyse van hoe modelprestaties schalen met datasetgrootte (van schaars naar groot) en hoe ze presteren in extrapolatiescenario's.

Resultaten

1. Prestaties bij schaarse data:

   • RNNs presteren aanzienlijk beter op kleine datasets. Bij een schaarse dataset (R1) bedroeg de RMSE voor de RNN 9,0 MPa, terwijl de Transformer 10,6 MPa had.
   • RNNs tonen een betere stabiliteit en lagere fouten wanneer weinig data beschikbaar is.

2. Prestaties bij grote datasets:

   • Op grote datasets (R20) convergeren beide modellen naar vergelijkbare nauwkeurigheid (RMSE rond 3,5 MPa).
   • De Transformer bereikt echter een iets hogere maximale fout (MaE) dan de RNN, wat kan wijzen op overfitting of gevoeligheid voor tijdsencoding.

3. Extrapolatie (Cyclische belasting):

   • Dit is het kritieke onderscheid. Bij extrapolatie naar cyclische belastingen (die niet in de trainingsdata zaten) presteert de RNN aanzienlijk beter (RMSE 5,4 MPa).
   • De Transformer faalt in deze scenario's met een hoge RMSE van 23,6 MPa, wat suggereert dat het model de complexe tijdsafhankelijkheden buiten het trainingsdomein niet goed kan generaliseren.

4. Inferentiesnelheid:

   • De Transformer is 7 keer sneller dan de RNN (0,5 ms per voorspelling versus 3,5 ms voor de RNN) dankzij parallelle verwerking. Dit is cruciaal voor multischaal-simulaties waar het model op elk Gauss-punt wordt aangeroepen.

Significantie en Conclusie

De studie biedt praktische richtlijnen voor het kiezen van een vervangend model voor composietmaterialen:

• Kies voor RNNs wanneer de dataset klein is, of wanneer het model moet worden ingezet voor extrapolatie naar nieuwe belastingpaden (zoals cyclische belasting). Ze zijn robuuster in data-schaarse regimes.
• Kies voor Transformers wanneer er grote datasets beschikbaar zijn en snelheid (inferentie) en schaalbaarheid tijdens training prioriteit hebben. Ze zijn ideaal voor toepassingen waar de belastingpaden binnen het trainingsdomein blijven.

De bevindingen suggereren dat er geen "one-size-fits-all" oplossing is; de keuze hangt af van de beschikbaarheid van data en de specifieke eisen van de toepassing (nauwkeurigheid bij extrapolatie vs. rekentijd). De auteurs wijzen ook op toekomstige richtingen zoals hybride RNN-Transformer modellen en physics-informed networks.