Multi-objective optimization and quantum hybridization of equivariant deep learning interatomic potentials on organic and inorganic compounds

Diese Studie optimiert das MLIP-Modell Allegro durch multi-objektive Hyperparameter-Suche und den Einsatz klassischer sowie quanten-klassischer Hybrid-Architekturen, um die Genauigkeit bei der Vorhersage atomarer Eigenschaften in organischen und anorganischen Verbindungen zu steigern, wobei ein Zielkonflikt zwischen Genauigkeit und Inferenzzeit festgestellt wird.

Das Wesentliche

Titel der Geschichte: Der schnelle und der genaue Koch – und ein bisschen Quanten-Zauber

Stell dir vor, du möchtest ein riesiges Kochbuch erstellen, das dir genau sagt, wie sich jedes einzelne Atom in einem Molekül verhält. In der echten Welt (in der Chemie und Physik) ist das Berechnen dieser Kräfte extrem schwer und dauert ewig – wie wenn du versuchst, jeden einzelnen Gummibärchen in einer Tonne zu wiegen, indem du ihn einzeln auf eine Waage legst. Das nennt man „Dichtefunktionaltheorie" (DFT). Es ist präzise, aber viel zu langsam für große Projekte.

Hier kommen die Künstlichen Intelligenzen (KI) ins Spiel. Sie sind wie super-schnelle Kochschüler, die gelernt haben, die Waage zu erraten. Sie sind viel schneller, aber manchmal machen sie kleine Fehler.

Das Problem: Der ewige Konflikt zwischen „Schnell" und „Gut"

Die Forscher haben ein besonders cleveres KI-Modell namens Allegro genommen. Das ist wie ein sehr talentierter Kochschüler, der schon viel gelernt hat. Aber es gab ein Problem:

• Wenn man ihn sehr genau macht, dauert es lange, bis er die Antwort gibt (wie ein Koch, der jede Zutat 100 Mal wiegt).
• Wenn man ihn sehr schnell macht, macht er mehr Fehler (wie ein Koch, der einfach nur „ein bisschen Salz" hineinschmeißt).

Die Forscher wollten beides: einen Koch, der schnell ist und trotzdem perfekt schmeckt.

Die Lösung 1: Der „Optimierungs-Roboter" (Multi-Objective Optimization)

Stell dir vor, du hast einen Roboter, der tausende verschiedene Rezepte testet. Er sucht nicht nur nach dem besten Geschmack, sondern auch nach der kürzesten Zubereitungszeit.

• Die Forscher haben einen solchen Roboter (SAMO-COBRA) benutzt.
• Er hat das Rezept des Kochschülers (die KI) immer wieder leicht verändert (z. B. „Mache die Schicht dicker" oder „Ändere die Lernrate").
• Das Ziel war eine Pareto-Front: Das ist wie eine Landkarte, die zeigt, wo der perfekte Kompromiss liegt. Man will nicht nur den schnellsten oder nur den genauesten Koch, sondern den, der auf der „Grenze" zwischen beiden liegt.

Die Lösung 2: Der Quanten-Zauberstab (Quantum Hybridization)

Jetzt wird es spannend. Die Forscher dachten: „Was wäre, wenn wir unserem Kochschüler einen Quanten-Zauberstab geben?"

• Normalerweise besteht eine KI aus klassischen Computerteilen (wie normale Schalter: An/Aus).
• Die Forscher haben einen Teil des Kochschülers durch einen Quanten-Teil ersetzt (Allegro+QDI). Stell dir das vor wie einen Koch, der nicht nur mit normalen Messern arbeitet, sondern auch mit einem magischen Messer, das Dinge gleichzeitig an mehreren Orten schneiden kann.
• Dieser „Quanten-Teil" (QDI-Layer) ist besonders gut darin, komplexe Muster zu erkennen, ohne dass man tausende von Zutaten (Qubits) braucht.

Der große Test: Von Aspirin bis zu Kupfer

Um zu sehen, ob ihre Idee funktioniert, haben sie das Modell an vier verschiedenen „Küchen" getestet:

1. QM9: Eine riesige Sammlung von kleinen organischen Molekülen (wie verschiedene kleine Kuchen).
2. Aspirin & Benzene: Zwei bekannte Moleküle (wie zwei spezifische, beliebte Rezepte).
3. Kupfer & Lithium: Hier wurde es tricky. Das ist wie das Kochen mit extrem heißen, metallischen Zutaten (für Batterien). Dafür haben sie sogar eigene Daten aus dem Labor generiert.

Was ist herausgekommen? (Die Ergebnisse)

Die Ergebnisse waren ziemlich cool:

1. Der Klassiker vs. Der Verbesserte: Die einfache Version (Allegro) war schnell, aber nicht immer die genaueste.
2. Der Klassiker mit mehr Schichten (Allegro+MLP): Wenn man dem Kochschüler einfach mehr klassische „Denk-Schichten" gab, wurde er genauer, aber manchmal etwas langsamer.
3. Der Quanten-Koch (Allegro+QDI): Das war der Gewinner bei den schweren Metallen (Kupfer/Lithium). Der Quanten-Koch war genauer als alle anderen, besonders bei den komplexen Metallstrukturen. Er hat die Kräfte zwischen den Atomen fast perfekt vorhergesagt.

Die große Erkenntnis:
Es gibt keinen „einen perfekten Koch" für alles.

• Für einfache organische Moleküle (wie Aspirin) reicht oft der klassische, optimierte Koch.
• Für die harten, metallischen Herausforderungen (wie in Batterien) bringt der Quanten-Zauberstab den entscheidenden Vorteil.

Fazit für den Alltag

Die Forscher haben gezeigt, dass man KI-Modelle für die Materialwissenschaft nicht nur „einfach so" benutzen sollte. Man muss sie wie einen Sportler trainieren:

1. Man optimiert seine Ausdauer und Geschwindigkeit gleichzeitig (Multi-Objective).
2. Und manchmal hilft es, ihm ein neues, magisches Werkzeug (Quanten-Technologie) in die Hand zu geben, um Aufgaben zu lösen, die für normale Computer zu schwer sind.

Das ist ein großer Schritt hin zu besseren Batterien, neuen Medikamenten und Materialien, die wir noch gar nicht kennen – alles berechnet von einem KI-Koch, der weiß, wann er schnell und wann er genau sein muss.

Technische Zusammenfassung

Titel: Multi-Objective-Optimierung und Quanten-Hybridisierung von äquivarianten Deep-Learning-Interatomaren Potenzialen für organische und anorganische Verbindungen

Autoren: G. Laskaris et al. (Terra Quantum AG und Partnerinstitutionen)

---

1. Problemstellung

Maschinelle Lern-basierte interatomare Potentiale (MLIPs) wie Allegro (eine Weiterentwicklung von NequiP) haben sich als leistungsfähige Werkzeuge etabliert, um atomare Eigenschaften (Energien, Kräfte, Spannungen) in Molekülen und Materialien vorherzusagen. Sie bieten eine hohe Genauigkeit im Vergleich zur Dichtefunktionaltheorie (DFT) bei deutlich geringerem Rechenaufwand.

Das zentrale Problem, das in dieser Arbeit adressiert wird, ist der Zielkonflikt (Trade-off) zwischen Genauigkeit und Inferenzzeit. Während komplexere Modelle oft präzisere Vorhersagen liefern, erhöhen sie die Rechenzeit erheblich. Zudem gibt es bisher wenig Forschung zur Integration von Quantenkomponenten in hochpräzise MLIP-Architekturen für Materialwissenschaften. Die Autoren stellen die Frage, ob durch Multi-Objective-Optimierung und den Einsatz von Quanten-Hybrid-Architekturen Modelle gefunden werden können, die sowohl genauer als auch effizienter sind als der reine Klassische Allegro-Standard.

2. Methodik

Die Studie verfolgt einen systematischen Ansatz, der drei Hauptpfeiler umfasst:

A. Multi-Objective-Hyperparameter-Optimierung (MOO)

Um den Trade-off zwischen Genauigkeit und Geschwindigkeit zu managen, wurde ein Multi-Objective-Optimierungsansatz gewählt.

• Zielfunktionen: Minimierung des mittleren absoluten Fehlers (MAE) der Kräfte (und Energien für QM9) auf dem Validierungsdatensatz sowie Minimierung der Inferenzzeit.
• Algorithmus: Die Autoren nutzen eine eigene Implementierung von SAMO-COBRA, einem fortschrittlichen Algorithmus für die surrogate-assistierte, eingeschränkte Multi-Objective-Optimierung. Dieser Algorithmus maximiert das Hypervolumen im Lösungsraum, indem er die Anzahl der teuren Evaluierungen der Zielfunktion minimiert.
• Optimierte Parameter: Je nach Modellvariante wurden 6 bis 9 Hyperparameter optimiert (z. B. Abbruchradius, Lernrate, Batch-Größe, Anzahl der Schichten, Dimensionalität der MLP-Schichten).

B. Architekturerweiterungen und Hybridisierung

Neben der Optimierung des Standard-Allegro-Modells wurden zwei Varianten entwickelt und getestet:

1. Allegro + MLP: Eine rein klassische Erweiterung, bei der zusätzliche Multi-Layer-Perceptron (MLP)-Schichten in die Architektur eingefügt wurden, um die Tiefe und Komplexität des Modells zu erhöhen.
2. Allegro + QDI (Quantum Depth-Infused): Eine hybride Architektur, bei der eine klassische Schicht durch eine Quantum Depth-Infused (QDI)-Schicht ersetzt wird.
   • Die QDI-Schicht nutzt eine Variational Quantum Circuit (VQC) mit einem "Data Re-uploading"-Ansatz.
   • Anstatt jedem Feature einen eigenen Qubit zuzuweisen, werden Features sequentiell auf eine Gitterstruktur kodiert.
   • Durch Verschränkungsgatter und variationalen Quantenschichten werden komplexe, nicht-lineare Muster erfasst, was die Repräsentationskraft des Modells erhöht.

C. Datensätze und Vorverarbeitung

Die Modelle wurden auf vier verschiedenen Datensätzen trainiert und evaluiert:

• QM9: 133.885 organische Moleküle (C, N, O, F).
• rMD17: Revidierte MD17-Datensätze für Aspirin und Benzol (Fokus auf Kräfte und Energien).
• Proprietärer Cu-Li-Datensatz: Ein neu generierter Datensatz für anorganische Verbindungen (Kupfer und Lithium).
  • Generierung: Basierend auf DFT-Rechnungen (VASP, R2SCAN-Funktional).
  • Strukturen: 11.635 Strukturen, einschließlich Slabs, Oberflächenleerstellen, Adatomen und amorphen Grenzflächen (erzeugt via Melt-Quench-Simulationen).
  • Ziel: Modellierung komplexer Materialverhalten in Hochtemperaturumgebungen.

3. Wichtige Beiträge

1. Systematische MOO für MLIPs: Erster systematischer Einsatz von SAMO-COBRA zur gleichzeitigen Optimierung von Genauigkeit und Inferenzzeit für Allegro-Modelle.
2. Quanten-Hybridisierung in MLIPs: Demonstration der Machbarkeit und des Potenzials von Quanten-Hybrid-Schichten (QDI) in äquivarianten neuronalen Netzen für Materialwissenschaften.
3. Neuer anorganischer Datensatz: Bereitstellung eines umfangreichen, selbstgenerierten DFT-Datensatzes für Kupfer-Lithium-Systeme, der für die Entwicklung von Batteriematerialien relevant ist.
4. Architekturanalyse: Vergleich von rein klassischen Erweiterungen (MLP) gegen Quanten-Hybrid-Ansätze, um die spezifischen Vorteile der Quantenkomponente zu isolieren.

4. Ergebnisse

Die Ergebnisse wurden durch Pareto-Fronten visualisiert, die den optimalen Kompromiss zwischen Fehler und Zeit zeigen:

• Allgemeine Leistung: Sowohl Allegro+MLP als auch Allegro+QDI übertreffen in den meisten Fällen das Standard-Allegro-Modell in Bezug auf die Genauigkeit.
• Spezifische Datensätze:
  • rMD17 (Aspirin/Benzol): Allegro+MLP erreicht die beste Genauigkeit, während das reine Allegro schneller ist.
  • QM9: Hier zeigt sich ein umgekehrtes Verhalten; das reine Allegro ist schneller, während die Varianten unterschiedliche Genauigkeitsprofile aufweisen.
  • Cu-Li (Anorganisch): Hier erzielt Allegro+QDI die beste Gesamtleistung.
    • Es erreicht einen ~13%igen Genauigkeitsgewinn gegenüber Allegro+MLP bei der Vorhersage von Kräften.
    • Die Inferenzzeit ist leicht höher als bei Allegro+MLP, bleibt aber im akzeptablen Bereich.
• Hyperparameter: Die Optimierung ergab, dass verschiedene Varianten stark unterschiedliche optimale Hyperparameter benötigen (z. B. Polynom-Envelope, Dimensionalität), was auf die Sensitivität der Architektur hinweist.
• Quanten-Analyse (Supplement): Eine Analyse der QDI-Schicht mittels ZX-Kalkül (Redundanz), Fisher-Information (Trainierbarkeit) und Fourier-Reihen (Ausdrucksstärke) bestätigte, dass die Schicht keine redundanten Elemente enthält, gut trainierbar ist und eine hohe Ausdrucksstärke (79% nicht-null Koeffizienten) besitzt.

5. Bedeutung und Ausblick

Diese Arbeit zeigt, dass die Integration von Quantenkomponenten in klassische Deep-Learning-Architekturen für die Materialwissenschaft nicht nur theoretisch möglich, sondern praktisch vorteilhaft sein kann.

• Genauigkeitssteigerung: Insbesondere für komplexe anorganische Systeme (wie Cu-Li-Grenzflächen) übertrifft der Quanten-Hybrid-Ansatz rein klassische Erweiterungen.
• Effizienz: Durch Multi-Objective-Optimierung können Modelle gefunden werden, die den optimalen Punkt zwischen Rechenkosten und Präzision finden.
• Zukunftsperspektive: Die Autoren schlagen vor, diese Hybrid-Architekturen auf noch komplexere Moleküle und Systeme anzuwenden, die analytisch nicht lösbar sind. Die Kombination aus äquivarianten Netzen und Quanten-Schichten könnte den Weg für die nächste Generation von hochpräzisen, skalierbaren Simulationswerkzeugen ebnen.

Zusammenfassend demonstriert das Paper erfolgreich, wie moderne Optimierungsalgorithmen und Quanten-Hybridisierung genutzt werden können, um die Grenzen aktueller MLIP-Modelle zu erweitern.