Explainable Hierarchical Deep Learning Neural Networks (Ex-HiDeNN)

Die Arbeit stellt Ex-HiDeNN vor, einen neuartigen, effizienten und interpretierbaren Deep-Learning-Ansatz mit symbolischer Regression, der auf der HiDeNN-Architektur basiert und in mehreren Benchmark- und Ingenieursanwendungen überlegene geschlossene Formeln zur Datenanalyse liefert.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Detektiv in einer riesigen, chaotischen Bibliothek. Ihre Aufgabe ist es, das Geheimnis hinter einem bestimmten Phänomen zu lüften – sei es, warum ein Metall bei Belastung reißt oder wie sich ein komplexes System verhält.

In der Welt der künstlichen Intelligenz (KI) gibt es zwei Arten von Detektiven:

1. Die „Black-Box"-Detektive (herkömmliche KI): Diese sind unglaublich gut darin, Muster zu erkennen und Vorhersagen zu treffen. Sie können Ihnen sagen: „Wenn Sie X tun, passiert Y." Aber wenn Sie fragen: „Warum?", zucken sie nur mit den Schultern. Sie haben die Antwort, aber sie können den Weg dorthin nicht erklären. Für Ingenieure und Wissenschaftler ist das oft zu riskant, denn man muss verstehen, warum etwas passiert, um es sicher zu steuern.
2. Die „Symbolischen" Detektive (Symbolische Regression): Diese versuchen, die Antwort als einfache, menschlich lesbare Formel zu finden (wie $E=mc^2$). Das Problem: In einem riesigen, chaotischen Datensatz ist es wie die Suche nach einer einzigen Nadel im Heuhaufen. Die Suche dauert ewig, und oft finden sie die falsche Nadel oder verirren sich im Heu.

Die Lösung: Ex-HiDeNN

Die Autoren dieses Papers haben einen neuen, genialen Detektiv erfunden, den sie Ex-HiDeNN nennen. Man kann sich diesen Prozess wie eine drei-stufige Reise vorstellen:

Schritt 1: Der „Glasklart"-Kopierer (C-HiDeNN-TD)

Stellen Sie sich vor, Sie haben ein riesiges, verschmiertes Foto eines Landschaftsbildes (die Daten). Ein herkömmlicher KI-Modell würde versuchen, das Bild pixelgenau nachzuahmen, aber man könnte die einzelnen Bäume oder Berge nicht mehr erkennen.

Ex-HiDeNN macht etwas anderes: Es baut erst eine perfekte, glasklare Kopie des Bildes. Aber das Besondere ist: Diese Kopie ist nicht nur ein Bild, sie ist wie ein legokonstruierbares Modell. Das System zerlegt das komplexe Bild in kleine, einfache Bausteine. Es fragt sich: „Ist dieser Teil des Bildes unabhängig von den anderen? Kann ich ihn separat betrachten?"

Schritt 2: Der „Separierbarkeits-Test" (Der Kompass)

Hier kommt der geniale Trick ins Spiel. Das System prüft mit einem mathematischen Kompass (einer sogenannten „Hessischen Matrix"), wie stark die verschiedenen Teile des Bildes miteinander verwoben sind.

• Sind die Teile unabhängig? (Wie ein Salat, bei dem man Gurken, Tomaten und Zwiebeln einzeln schneidet?) -> Dann ist die Suche einfach.
• Sind sie stark verflochten? (Wie ein Omelett, bei dem alles vermischt ist?) -> Dann muss das System vorsichtiger vorgehen.

Dieser Test sagt dem System genau, wie es weitermachen muss. Es spart sich die Suche nach der Nadel im Heuhaufen, indem es zuerst die Heuballen sortiert.

Schritt 3: Die Entdeckung der Formel (Symbolische Regression)

Jetzt, wo das System das Bild in überschaubare, saubere Teile zerlegt hat, schickt es einen klassischen Formel-Detektiv (PySR) los.

• Weil das Bild jetzt so klar und strukturiert ist, findet der Detektiv die Formel extrem schnell.
• Statt nach einer riesigen, komplizierten Gleichung zu suchen, findet er kleine, einfache Formeln für jeden Teil und setzt sie wie Legosteine zusammen.

Das Ergebnis:
Am Ende haben Sie nicht nur eine Vorhersage, sondern eine klare, menschlich lesbare Formel, die erklärt, wie die Welt funktioniert. Und das Beste: Diese Formel ist oft genauer als die „Black-Box"-Modelle, weil sie nicht durch Rauschen oder Fehler in den Daten verwirrt wird.

Wo wird das angewendet? (Echte Beispiele aus dem Papier)

Die Autoren haben ihren neuen Detektiv an drei echten Problemen getestet:

1. Ermüdung von Metall (Fatigue): Sie wollten herausfinden, wann ein 3D-gedruckter Stahl reißt. Es gab 25 verschiedene Faktoren (Temperatur, chemische Zusammensetzung etc.). Ex-HiDeNN fand eine einzige, elegante Formel, die genau vorhersagt, wie lange das Material hält. Besser als alle bisherigen Methoden.
2. Härte von Materialien (Hardness): Aus winzigen Indentations-Tests (einem kleinen Druck auf das Material) sollte die Härte vorhergesagt werden. Ex-HiDeNN fand eine Formel, die fast perfekt mit den echten Messwerten übereinstimmte (99,99% Genauigkeit!).
3. Fließgrenzen (Yield Surface): Sie lernten die komplexe Physik, wie sich Erde oder Sand unter Druck verformen, direkt aus den Daten. Das Ergebnis war eine Formel, die ein klassisches physikalisches Gesetz bestätigte, aber direkt aus den Messdaten abgeleitet wurde.

Warum ist das wichtig?

Stellen Sie sich vor, Sie bauen eine Brücke.

• Mit einer Black-Box-KI sagt die KI: „Die Brücke hält." Aber Sie wissen nicht, warum. Wenn die KI sich irrt, wissen Sie nicht, was schiefgelaufen ist.
• Mit Ex-HiDeNN sagt die KI: „Die Brücke hält, weil die Spannung X durch die Formel Y begrenzt wird." Sie können die Formel prüfen, verstehen und sich darauf verlassen.

Zusammenfassend:
Ex-HiDeNN ist wie ein Übersetzer, der zuerst das chaotische Rauschen der Daten in eine klare Sprache (eine glasklare Kopie) übersetzt und dann die eigentliche Botschaft (die Formel) daraus extrahiert. Es kombiniert die Stärke moderner KI mit der Klarheit und Sicherheit menschlicher Mathematik.

Technische Zusammenfassung

1. Problemstellung

In der modernen Datenwissenschaft und im Ingenieurwesen stehen komplexe Eingangs-Ausgangs-Beziehungen oft nicht in einfachen analytischen Formen vor. Während tiefe neuronale Netze (DNNs) wie MLPs oder CNNs eine hohe Vorhersagekraft besitzen, leiden sie unter dem „Black-Box"-Charakter: Ihre inneren Mechanismen sind für Menschen schwer interpretierbar. Dies ist in sicherheitskritischen Anwendungen (z. B. Luftfahrt, Medizin) problematisch, da eine strenge Verifizierung und Validierung oft Erklärbarkeit erfordert.

Auf der anderen Seite verspricht die symbolische Regression (SR), geschlossene Formeln aus Daten zu lernen, die physikalisch interpretierbar sind. Herkömmliche SR-Ansätze (z. B. genetische Algorithmen) stoßen jedoch bei hochdimensionalen Problemen an Grenzen:

• Der Suchraum wächst exponentiell (NP-schweres Problem).
• Sie neigen zu Overfitting bei Rauschen.
• Die Konsistenz der Ergebnisse ist oft gering.

Es besteht daher ein dringender Bedarf an einem Framework, das die Ausdrucksstärke (Expressivity) tiefer Netze mit der Interpretierbarkeit symbolischer Modelle vereint, ohne dabei an Skalierbarkeit oder Robustheit zu verlieren.

2. Methodik: Ex-HiDeNN

Das Paper stellt Ex-HiDeNN (Explainable Hierarchical Deep Learning Neural Networks) vor, ein hybrides Zwei-Stufen-Framework, das eine strukturierte, interpolierende neuronale Surrogat-Modellierung mit symbolischer Regression kombiniert.

A. Komponente 1: C-HiDeNN-TD (Surrogat-Modell)

Der erste Schritt nutzt eine C-HiDeNN-TD (Convolutional HiDeNN mit Tensorzerlegung).

• Architektur: Es handelt sich um ein hierarchisches neuronales Netz, das Tensorzerlegung verwendet, um die Funktionalität in separierbare eindimensionale Subräume zu zerlegen.
• Funktionsweise: Das Netz lernt eine stetig differenzierbare Interpolationsfunktion, die die Trainingsdaten genau abbildet. Durch die Struktur des Netzes (basierend auf Finite-Elemente-ähnlichen Patch-Funktionen) ist das Modell nicht nur ein Black-Box-Approximator, sondern besitzt eine mathematische Struktur, die die Ableitungen (Gradienten und Hesse-Matrizen) effizient und exakt über automatische Differentiation bereitstellt.

B. Komponente 2: Hessian-Separierbarkeitsmaß ($S^\otimes$)

Ein zentrales innovatives Element ist die Berechnung eines Separierbarkeits-Scores basierend auf der Hesse-Matrix des gelernten Surrogats.

• Prinzip: Eine Funktion ist multiplikativ separierbar, wenn sie als Produkt eindimensionaler Funktionen dargestellt werden kann. Dies lässt sich über die Diagonaldominanz der Hesse-Matrix des Logarithmus der Funktion ($\log|f|$) quantifizieren.
• Metrik: Der Score $S^\otimes$ (zwischen 0 und 1) wird punktweise berechnet und über den Bereich gemittelt.
  • $S^\otimes \approx 1$: Starke Separierbarkeit.
  • $S^\otimes \approx 0$: Starke Kopplung der Variablen.

C. Komponente 3: Adaptive Symbolische Regression (PySR)

Basierend auf dem Separierbarkeits-Score steuert Ex-HiDeNN die Strategie für die symbolische Regression (unter Verwendung von PySR):

1. Hohe Separierbarkeit ($S^\otimes \gtrsim 0.95$): Das Problem wird in $D$ unabhängige eindimensionale Probleme zerlegt. Jede Dimension wird separat mit PySR gelöst, und die Ergebnisse werden multipliziert. Dies reduziert den Suchraum von exponentiell auf linear.
2. Mittlere Separierbarkeit ($0.6 \lesssim S^\otimes \lesssim 0.95$): Es wird eine Summe von Produkten (Tensor-Zerlegungs-Form) verwendet. Mehrere Modi werden gelernt, die jeweils Produkte von eindimensionalen Funktionen sind.
3. Niedrige Separierbarkeit ($S^\otimes \lesssim 0.6$): Es wird eine vollständige, mehrdimensionale symbolische Regression durchgeführt. Hier dient das Surrogat-Modell jedoch als intelligenter Sampler (z. B. via Latin Hypercube Sampling + lokale Perturbation), um Rauschen zu filtern und repräsentative Datenpunkte für die Regression zu liefern.

3. Hauptbeiträge

1. Neues Hybrid-Framework: Einführung von Ex-HiDeNN, das C-HiDeNN-TD (für glatte, differenzierbare Interpolation) mit PySR (für symbolische Formeln) koppelt.
2. Separierbarkeits-Steuerung: Entwicklung eines Hessian-basierten Scores ($S^\otimes$), der automatisch die optimale mathematische Struktur (Produkt, Summe von Produkten oder globale Form) für die Regression bestimmt.
3. Umfassende Validierung: Der Ansatz wurde auf synthetischen Benchmarks und realen Ingenieursdaten getestet und zeigte überlegene Genauigkeit und Effizienz im Vergleich zu reinen symbolischen Regressionen, KANs (Kolmogorov-Arnold Networks) und traditionellen Methoden.
4. Entdeckung neuer physikalischer Gesetze: Erfolgreiche Ableitung geschlossener Formeln für komplexe ingenieurwissenschaftliche Probleme, die in der Literatur bisher nicht in dieser Form vorlagen.

4. Ergebnisse und Anwendungen

A. Benchmark-Tests

• Genauigkeit: Ex-HiDeNN erzielte auf einer Suite von 8 Benchmark-Funktionen (Vladislavleva et al.) oft exakte funktionale Formen (RMSE nahe Null), während KAN und reines PySR höhere Fehler aufwiesen.
• Rauschrobustheit: Bei Daten mit hinzugefügtem Gaußschen Rauschen (bis zu $\sigma=0.32$) zeigte Ex-HiDeNN eine 2- bis 10-fache Verbesserung des RMSE im Vergleich zu reinem PySR. Das Interpolationsnetz glättet das Rauschen effektiv, bevor die symbolische Regression stattfindet.
• Dynamische Systeme: Der Ansatz konnte die exakten Gleichungen des chaotischen Lorenz-Systems aus Zeitreihendaten rekonstruieren.

B. Ingenieurwissenschaftliche Anwendungen

1. Ermüdungslebensdauer (Additive Fertigung):
   • Daten: 25 Eingangsparameter (Legierungszusammensetzung, Wärmebehandlung) für 437 Experimente (sehr spärlich: ~1,27 Samples pro Dimension).
   • Ergebnis: Entdeckung einer geschlossenen Formel mit einem $R^2$ von 0,9767 auf dem Testset. Die Formel spiegelt metallurgische Realitäten wider (z. B. exponentielle Abhängigkeit von Kupfer, logarithmische von Kohlenstoff).
2. Härtevorhersage (Mikroindentation):
   • Daten: Vorhersage der Vickers-Härte aus 6 Materialparametern.
   • Ergebnis: Ex-HiDeNN erreichte einen $R^2$ von 0,9999 und einen RMSE von 0,066 GPa. Im Vergleich dazu hatte das etablierte SISSO-Verfahren einen RMSE von 1,66 GPa (25-fach schlechter).
3. Fließfläche (Matsuoka-Nakai Material):
   • Daten: 13.200 Datenpunkte für ein druckempfindliches Granulat-Material.
   • Ergebnis: Entdeckung der Fließflächen-Gleichung mit einem relativen Fehler von 2,3%. Die gefundene Formel entspricht physikalischen Erwartungen (z. B. Abhängigkeit von der Lode-Winkel-Invariante).

5. Bedeutung und Ausblick

Ex-HiDeNN adressiert die Lücke zwischen der Leistungsfähigkeit von Deep Learning und der Notwendigkeit von Interpretierbarkeit in der Wissenschaft.

• Vertrauenswürdige KI: Durch die Bereitstellung expliziter mathematischer Ausdrücke ermöglicht das Framework die direkte physikalische Interpretation und Integration in bestehende Simulations- und Optimierungs-Pipelines.
• Effizienz: Die Zerlegung hochdimensionaler Probleme in niedrigdimensionale Teilprobleme (bei vorhandener Separierbarkeit) macht die symbolische Regression auch für komplexe Datensätze praktikabel.
• Zukunft: Als Limitierung wird die Abhängigkeit von der Qualität des ersten Surrogats (C-HiDeNN-TD) genannt. Zukünftige Arbeiten planen die Integration robusterer Surrogate wie KHRONOS (kernel-basiert) und die Entwicklung gradientenbasierter symbolischer Suchverfahren, die direkt auf den differenzierbaren Surrogaten operieren, anstatt auf diskreten Stichproben.

Zusammenfassend stellt Ex-HiDeNN einen bedeutenden Schritt hin zu „White-Box"-KI in den Ingenieurwissenschaften dar, die nicht nur Vorhersagen trifft, sondern auch neue, verständliche physikalische Gesetze aus Daten ableitet.