A comparative study of transformer models and recurrent neural networks for path-dependent composite materials

Diese Studie vergleicht systematisch Transformer-Modelle und rekurrente neuronale Netze (RNNs) als Surrogatmodelle für pfadabhängige Verbundwerkstoffe und stellt fest, dass RNNs bei kleinen Datensätzen und Extrapolation überlegen sind, während Transformer-Modelle zwar eine siebenfach schnellere Inferenz bieten, aber bei Extrapolation schlechter abschneiden.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Ingenieur, der versucht, das Verhalten von Kunststoffteilen mit eingebetteten kurzen Fasern (wie in Autoteilen oder Sportgeräten) vorherzusagen. Diese Materialien sind stark, leicht und nachhaltig, aber ihr Verhalten ist kompliziert: Wenn Sie sie belasten, verformen sie sich nicht nur einmalig, sondern „erinnern" sich an jede vorherige Belastung. Das nennt man pfadabhängiges Verhalten.

Um zu verstehen, wie sich diese Materialien unter extremen Bedingungen verhalten, müssten Sie normalerweise riesige, extrem rechenintensive Simulationen auf einem Supercomputer laufen lassen. Das dauert ewig und kostet viel Geld.

Um das zu umgehen, haben Wissenschaftler Künstliche Intelligenz (KI) als „Stellvertreter" (Surrogatmodell) entwickelt. Diese KI lernt aus den wenigen vorhandenen Simulationen und sagt dann blitzschnell voraus, wie sich das Material verhält.

In dieser Studie vergleichen die Forscher zwei verschiedene Arten von KI-Modellen, die für solche „Erinnerungsaufgaben" bekannt sind:

1. RNNs (Recurrent Neural Networks): Man kann sich diese wie einen sehr fleißigen, aber langsamen Studenten vorstellen. Er liest eine Geschichte Satz für Satz, merkt sich den Kontext und schreibt dann weiter. Er ist sehr gut darin, Zusammenhänge zu verstehen, wenn er nur wenig Text (wenig Daten) hat. Aber er liest langsam und kann sich manchmal Dinge aus dem Anfang der Geschichte nicht mehr genau merken, wenn die Geschichte sehr lang wird.
2. Transformer-Modelle: Diese sind wie ein genialer, aber etwas arrogant schneller Lektoren. Sie können einen ganzen Text auf einmal lesen (parallel verarbeiten) und sofort alle Zusammenhänge erkennen. Sie sind extrem schnell und skalieren hervorragend, wenn sie mit riesigen Datenmengen gefüttert werden. Aber: Wenn sie nur wenig Text haben, machen sie oft Fehler, weil sie nicht genug „Beispiele" gesehen haben, um das Muster zu verstehen.

Was haben die Forscher herausgefunden?

Die Forscher haben beide Modelle trainiert, um das Verhalten dieser Faserverbundwerkstoffe vorherzusagen, und zwar mit unterschiedlich großen Datenmengen. Hier sind die wichtigsten Erkenntnisse, einfach erklärt:

• Bei wenig Daten gewinnt der „fleißige Student" (RNN):
  Wenn die Forscher nur wenige Trainingsdaten hatten (was in der Wissenschaft oft der Fall ist), war das RNN-Modell deutlich genauer. Es machte weniger Fehler bei der Vorhersage.

  • Das Bild: Der RNN war wie ein guter Schüler, der auch mit einem dünnen Lehrbuch gute Noten schreibt.

• Bei vielen Daten holt der „schnelle Lektor" (Transformer) auf:
  Als die Datenmenge riesig wurde, wurde das Transformer-Modell genauso genau wie das RNN.

  • Das Bild: Der Transformer braucht ein riesiges Archiv, um sein volles Potenzial zu entfalten. Sobald er genug Beispiele gesehen hat, ist er genauso gut.

• Der Test mit dem „Unbekannten" (Extrapolation):
  Das war der spannendste Teil. Die Forscher gaben den Modellen eine völlig neue Art von Belastung (zyklisches Hin-und-Her-Belasten), die sie in den Trainingsdaten nie gesehen hatten.

  • RNN: Schaffte es, das neue Muster relativ gut zu erraten und lieferte stabile Ergebnisse.
  • Transformer: Versagte hier fast komplett. Es war wie ein Lektor, der nur Romane gelesen hat und nun versucht, ein Kochbuch zu verstehen – er weiß nicht, wie er das Gelernte auf eine völlig neue Situation anwenden soll.
  • Die Moral: Wenn Sie unsichere, neue Szenarien vorhersagen müssen, ist der RNN oft robuster.

• Die Geschwindigkeit:
  Hier glänzte der Transformer. Er war 7-mal schneller als das RNN.

  • Das Bild: Der Transformer braucht nur 0,5 Millisekunden für eine Vorhersage, während der RNN 3,5 Millisekunden braucht. In einer riesigen Simulation mit Millionen von Punkten kann diese Geschwindigkeit den Unterschied zwischen einer Simulation, die einen Tag dauert, und einer, die nur wenige Stunden braucht, ausmachen.

Das Fazit für die Praxis

Die Studie sagt uns, dass es keine „beste" KI für alle Fälle gibt:

• Wenn Sie wenig Daten haben oder das Materialverhalten unter ganz neuen, unbekannten Bedingungen vorhersagen müssen, sollten Sie zum RNN greifen. Es ist verlässlicher und robuster.
• Wenn Sie riesige Datenmengen haben und es auf Geschwindigkeit ankommt (z. B. für Echtzeit-Simulationen in der Produktion), ist der Transformer die bessere Wahl. Er ist schnell und skaliert gut.

Die Wissenschaftler hoffen, dass diese Erkenntnisse helfen, die richtigen Werkzeuge für die Entwicklung neuer, nachhaltiger Materialien auszuwählen, ohne dabei in rechenintensiven Simulationen stecken zu bleiben.

Technische Zusammenfassung

Titel: Vergleichende Studie von Transformer-Modellen und rekurrenten neuronalen Netzen (RNNs) für pfadabhängige Verbundwerkstoffe

Autoren: Petter Uvdal und Mohsen Mirkhalaf (Universität Göteborg, Schweden)

---

1. Problemstellung

Die genaue Modellierung von kurzfaserverstärkten Verbundwerkstoffen (Short Fiber Reinforced Composites, SFRCs) ist für Vollfeldsimulationen (Full-field simulations) rechnerisch extrem teuer. Traditionelle Methoden wie die Finite-Elemente-Methode (FEM) oder Fast-Fourier-Transformations-Methoden (FFT) zur Berechnung des homogenisierten Verhaltens eines repräsentativen Volumenelements (RVE) sind bei multiskaligen Simulationen (z. B. FE²) aufgrund des quadratischen Skalierungsverhaltens der Rechenkosten oft nicht praktikabel.

Datengetriebene Ersatzmodelle (Surrogate Models) mittels Künstlicher Neuronaler Netze (ANNs) wurden als effiziente Alternative vorgeschlagen. Während rekurrente neuronale Netze (RNNs), insbesondere Varianten wie GRUs (Gated Recurrent Units), bereits erfolgreich zur Vorhersage des pfadabhängigen (historiesabhängigen) elastoplastischen Verhaltens eingesetzt wurden, sind neuere Transformer-Modelle in diesem Bereich noch nicht systematisch untersucht worden. Transformer-Modelle bieten Vorteile durch Skalierbarkeit und effiziente Parallelisierung, es fehlt jedoch ein direkter Vergleich zu RNNs hinsichtlich Genauigkeit, Datenbedarf und Extrapolationsfähigkeit.

2. Methodik

Datengrundlage:
Die Studie nutzt einen öffentlich verfügbaren Datensatz von Cheung und Mirkhalaf, der 547 einzigartige Spannungs-Dehnungs-Sequenzen für SFRC-RVEs enthält. Diese wurden durch hochauflösende Mikromechanik-Simulationen (FE- und FFT-basiert) generiert.

• Datenaugmentierung: Um das Problem der Datenknappheit zu adressieren, wurde eine rotationsbasierte Augmentierungsstrategie angewendet. Durch Anwendung zufälliger Rotationen auf Spannungs-, Dehnungs- und Orientierungstensoren wurden Trainingsdatensätze von $R_1$ (521 Proben) bis $R_{20}$ (10.420 Proben) erzeugt.
• Aufteilung: Die Daten wurden in Trainings-, Validierungs- und Testsets (80/15/5 %) aufgeteilt.

Modellarchitekturen:
Zwei Architekturen wurden verglichen:

1. RNN (GRU-basiert): Verarbeitet sequentielle Daten durch rekurrente Aktualisierung eines versteckten Zustandsvektors. Es wurden Dropout-Schichten zur Vermeidung von Overfitting eingesetzt.
2. Transformer: Ersetzt Rekurrenz durch Multi-Head-Self-Attention, ermöglicht parallele Verarbeitung und nutzt sinusförmige Positional Encodings zur Beibehaltung der Sequenzordnung.

Optimierung:
Ein Bayesian Optimization (BO)-Verfahren wurde eingesetzt, um sowohl die architekturellen Hyperparameter (z. B. Anzahl der Schichten, versteckte Größe, Anzahl der Attention-Heads) als auch die Trainingshyperparameter (Lernrate, Batch-Größe) automatisch und reproduzierbar zu optimieren. Dies vermeidet manuelles Tuning und suboptimale Designs.

Bewertungsmetriken:
Die Leistung wurde anhand des mittleren quadratischen Fehlers (MSE) und der Root Mean Square Error (RMSE) für die von-Mises-Spannung bewertet. Zusätzlich wurden maximale absolute Fehler (MaE) und relative Fehler (MeRE, MaRE) analysiert.

3. Wichtige Beiträge

• Erster systematischer Vergleich: Dies ist die erste Studie, die RNNs und Transformer-Modelle direkt für die Modellierung pfadabhängiger Materialantworten in SFRCs vergleicht.
• Automatisierte Hyperparameter-Optimierung: Durch den Einsatz von Bayesian Optimization wurden faire Vergleiche zwischen den Architekturen gewährleistet, indem beide Modelle unter optimalen Bedingungen trainiert wurden.
• Analyse von Skalierungsgesetzen: Die Studie untersucht detailliert, wie sich die Genauigkeit in Abhängigkeit von der Datensatzgröße (Interpolation) und bei neuen Belastungspfaden (Extrapolation) verhält.

4. Ergebnisse

Genauigkeit und Datensatzgröße (Skalierung):

• Kleine Datensätze: RNNs überlegen sich Transformer-Modelle bei kleinen Datensätzen deutlich. Auf dem Testset mit wenig Daten erreichte das RNN einen RMSE von 9,0 MPa, während der Transformer 10,6 MPa aufwies.
• Große Datensätze: Mit zunehmender Datenmenge ($R_{20}$) nähern sich beide Modelle an. Beide erreichen Testfehler von ca. 3,5 MPa. Allerdings bleibt der maximale Fehler (MaE) des Transformers höher, was auf eine gewisse Empfindlichkeit oder Overfitting hindeuten könnte.

Extrapolationsfähigkeit:

• Dies ist der kritischste Unterschied. Bei der Extrapolation auf zyklische Belastungspfade (die nicht im Trainingsdatensatz enthalten waren), zeigte das RNN eine robuste Leistung mit einem RMSE von 5,4 MPa.
• Der Transformer versagte hingegen bei diesen Aufgaben deutlich und lieferte einen RMSE von 23,6 MPa. Dies deutet darauf hin, dass Transformer-Modelle in diesem Kontext Schwierigkeiten haben, zeitliche Abhängigkeiten über den Trainingsbereich hinaus zu generalisieren.

Inferenzgeschwindigkeit:

• Der Transformer ist 7-mal schneller bei der Inferenz als das RNN (0,5 ms pro Vorhersage vs. 3,5 ms für das RNN). Dies liegt an der parallelen Verarbeitung der Sequenzen im Transformer, was für multiscale Simulationen, bei denen das Modell an jedem Integrationspunkt aufgerufen wird, von großem Vorteil ist.

5. Bedeutung und Fazit

Die Studie liefert praktische Leitlinien für die Auswahl von Ersatzmodellen in der Verbundwerkstoffsimulation:

1. Datenverfügbarkeit ist entscheidend: Wenn nur wenige hochpräzise Simulationsdaten verfügbar sind oder wenn das Modell auf neue, unbekannte Belastungspfade (Extrapolation) angewendet werden muss, sind RNNs (GRUs) die überlegene Wahl aufgrund ihrer besseren Generalisierungsfähigkeit und geringeren Fehleranfälligkeit bei kleinen Datensätzen.
2. Skalierbarkeit und Geschwindigkeit: Wenn große Datenmengen verfügbar sind und die Rechengeschwindigkeit bei der Inferenz im Vordergrund steht (z. B. für Echtzeit-Simulationen oder sehr große Strukturmodelle), bieten Transformer-Modelle klare Vorteile durch ihre Parallelisierbarkeit und schnellere Vorhersagezeiten.
3. Zukunftsperspektive: Die Ergebnisse deuten darauf hin, dass die Wahl der Architektur stark vom Anwendungsfall abhängt. Zukünftige Arbeiten könnten hybride Ansätze (RNN-Transformer) oder physik-informierte Netzwerke untersuchen, um die Stärken beider Modelle zu kombinieren.

Zusammenfassend bestätigen die Ergebnisse, dass Transformer-Modelle zwar vielversprechend für skalierbare Anwendungen sind, RNNs jedoch in Szenarien mit Datenknappheit und komplexen Extrapolationsaufgaben (wie zyklischer Belastung) weiterhin unersetzlich sind.