Evaluating LLM-generated code for domain-specific languages: molecular dynamics with LAMMPS

Diese Studie stellt ein Evaluierungsverfahren vor, das es Domänenexperten ermöglicht, die Validität von LLM-generierten LAMMPS-Eingabedateien für Molekulardynamik-Simulationen effizient zu prüfen und dabei die Grenzen sowie praktische Integrationswege von Sprachmodellen in domänenspezifische wissenschaftliche Ökosysteme aufzuzeigen.

Das Wesentliche

🤖 Wenn KI den Chef-Physiker spielt: Ein Test mit LAMMPS

Stellen Sie sich vor, Sie haben einen extrem talentierten, aber etwas naiven Assistenten (eine KI oder ein „Large Language Model", kurz LLM). Dieser Assistent kann fließend sprechen, Geschichten erfinden und sogar einfache Computerprogramme schreiben. Aber was passiert, wenn Sie ihn bitten, einen hochkomplexen physikalischen Versuch zu planen, der mit einer speziellen, strengen Sprache geschrieben werden muss?

Genau das haben die Forscher von der Purdue University getestet. Sie haben KIs gebeten, Anweisungen für LAMMPS zu schreiben. LAMMPS ist wie ein riesiges, digitales Labor, in dem Wissenschaftler simulieren, wie sich Atome bewegen (Molekulardynamik).

Das Problem: Die Sprache der Atome

LAMMPS spricht eine sehr spezielle Sprache (eine „Domain-Specific Language" oder DSL). Das ist wie ein sehr strenges Verzeichnis in einem alten Hotel:

• Wenn Sie „Bett" sagen, meinen Sie vielleicht ein Sofa.
• Wenn Sie die Reihenfolge der Wörter ändern, passiert nichts.
• Wenn Sie einen Befehl falsch schreiben, stürzt das ganze System ab oder liefert ein Ergebnis, das physikalisch unmöglich ist (wie ein Auto, das sich selbst antreibt, ohne Benzin).

Die Forscher wollten wissen: Können diese KIs diese strenge Sprache wirklich verstehen und fehlerfrei Anweisungen schreiben, oder halluzinieren sie einfach nur?

Der Test: Drei Aufgaben für den Assistenten

Die Forscher gaben fünf verschiedenen KI-Modellen (wie GPT-4o, Claude Opus 4 und andere) drei Aufgaben, die immer schwieriger wurden:

1. Aufgabe 1 (Der Spaziergang): Ein einfacher Aluminium-Kristall soll bei Raumtemperatur ruhig stehen. (Wie ein ruhiger See).
2. Aufgabe 2 (Der Aufzug): Ein Nickel-Kristall soll langsam von 300 auf 2500 Grad erhitzt werden, bis er schmilzt. (Wie ein Aufzug, der langsam nach oben fährt).
3. Aufgabe 3 (Der Crash-Test): Ein Projektil soll mit hoher Geschwindigkeit auf ein Ziel treffen. (Wie ein Autounfall im Zeitraffer).

Die Lösung: Der „Korrektur-Filter"

Da die KIs oft Fehler machen, bauten die Forscher einen cleveren Filter (einen Parser), der wie ein strenger Lektor funktioniert:

1. Normalisierung: Der Filter putzt den Text auf, entfernt unnötige Kommentare und rechnet Variablen aus.
2. Syntax-Check: Er prüft, ob die Grammatik stimmt (z. B. „Befehl A muss vor Befehl B kommen").
3. Kurz-Test: Statt den ganzen, teuren Simulationen laufen zu lassen, lässt der Filter die KI nur 10 Schritte simulieren. Wenn es schon da kracht, ist der Befehl falsch.
4. Realitäts-Check: Prüft, ob die physikalischen Werte (Temperatur, Druck, Größe) stimmen.

Die Ergebnisse: Viel Versprechen, aber noch viele Stolpersteine

Die Ergebnisse waren eine Mischung aus „Wow" und „Oh nein":

• Die Grammatik ist oft okay: Die meisten KIs (ca. 74 %) schafften es, Anweisungen zu schreiben, die die Grammatik-Regeln von LAMMPS einhielten. Der Lektor nickte: „Der Satz ist korrekt aufgebaut."
• Die Physik ist oft falsch: Nur etwa 27 % der Anweisungen waren auch physikalisch korrekt.
  • Beispiel: Die KI sagte: „Erhitze das Metall", vergaß aber zu sagen, wie schnell oder mit welchem Material. Oder sie wählte den falschen „Klebstoff" (ein sogenanntes Pair Style), um die Atome zusammenzuhalten. Das ist, als würde man versuchen, ein Haus zu bauen, aber Zement statt Mörtel verwenden.
• Je komplexer, desto schlechter: Bei Aufgabe 1 (einfach) waren die KIs recht gut. Bei Aufgabe 3 (Crash-Test) versagten fast alle. Die KIs konnten die vielen verschiedenen Regeln gleichzeitig nicht im Kopf behalten.

Die häufigsten Fehler (Die „Halluzinationen")

Die KIs machten typische Fehler, die ein Mensch auch machen würde, wenn er die Sprache nicht perfekt beherrscht:

• Erfinden von Befehlen: Sie benutzten Befehle, die es gar nicht gibt, aber die klingen plausibel. (Wie wenn jemand sagt: „Drücke den roten Knopf für Super-Stärke", obwohl es nur einen Start-Knopf gibt).
• Einheiten-Verwirrung: Sie verwechselten Meter mit Zentimetern oder Sekunden mit Nanosekunden. In der Physik ist das katastrophal.
• Vergessen von Details: Sie sagten „Bau eine Wand", aber vergaßen, wie dick sie sein soll.

Fazit: KI ist ein toller Assistent, aber kein Chef

Die Studie kommt zu einem klaren Schluss:
Aktuelle KIs sind nicht bereit, allein komplexe wissenschaftliche Simulationen zu steuern. Sie sind wie ein sehr schneller, aber manchmal verwirrter Praktikant.

Aber: Sie sind extrem nützlich, wenn man sie korrigiert.
Wenn ein Experte die KI-Anweisung nimmt, den „Filter" (den Parser) durchlaufen lässt und die offensichtlichen Fehler behebt, spart man viel Zeit. Die KI liefert das Gerüst, der Mensch sorgt dafür, dass das Haus nicht einstürzt.

Die große Lektion:
Wir müssen KI nicht nur als „Texter" sehen, sondern als Teil eines Teams. Wir brauchen Werkzeuge (wie den Parser der Forscher), die die KI-Anweisungen prüfen, bevor sie teure Computerzeit verschwenden. Nur so können wir KI sicher in die wissenschaftliche Forschung integrieren.

Kurz gesagt: Die KI kann den Bauplan entwerfen, aber wir müssen ihn noch einmal gegen die Bauvorschriften prüfen, bevor wir den ersten Stein setzen.

Technische Zusammenfassung

Problemstellung

Wissenschaftliche Simulationen, insbesondere in der Molekulardynamik (MD), basieren stark auf domänenspezifischen Sprachen (DSLs) wie der Eingabesprache von LAMMPS (Large-scale Atomic/Molecular Massively Parallel Simulator). Diese DSLs zeichnen sich durch komplexe Syntax, starke Abhängigkeiten zwischen Befehlen, implizite Standardwerte und semantische Anforderungen aus, die ein tiefes physikalisches Verständnis erfordern.

Obwohl Large Language Models (LLMs) in der Lage sind, allgemeinen Code zu generieren, bleibt ihre Effektivität bei der Erstellung wissenschaftlich valider Skripte für DSLs wie LAMMPS weitgehend unerforscht. Die Herausforderungen bestehen darin, dass:

1. Kleine Syntaxfehler oder falsche Befehlsreihenfolgen Simulationen ungültig machen.
2. Fehlende Infrastruktur (wie Parser oder Linter) für DSLs oft dazu führt, dass Fehler erst bei der Ausführung (und damit mit hohem Rechenaufwand) erkannt werden.
3. LLMs dazu neigen, „Halluzinationen" zu produzieren (z. B. nicht existierende Befehle oder falsche physikalische Parameter), die zwar syntaktisch plausibel, aber wissenschaftlich inkorrekt sind.

Es fehlt an standardisierten Verfahren, um die Validität von LLM-generierten LAMMPS-Skripten zu bewerten, ohne teure Simulationsläufe durchführen zu müssen.

Methodik

Die Autoren entwickelten einen mehrstufigen Evaluierungsprozess, um LLM-generierte LAMMPS-Eingabedateien zu bewerten. Dieser Prozess umfasst folgende Schritte:

1. Generierung: Fünf verschiedene State-of-the-Art-LLMs (GPT-4o, GPT-4.1, GPT-o3, GPT-5, Claude 4 Opus) generierten Skripte für drei Aufgaben unterschiedlicher Komplexität:

   • Prompt 1: Einfache Gleichgewichts-Simulation (Aluminium-Einkristall).
   • Prompt 2: Kontinuierliches Erhitzen eines Nickel-Einkristalls (Schmelzsimulation).
   • Prompt 3: Komplexe Spallations-Simulation (Projektile-Aufprall auf Niob).
   • Für jede Kombination wurden 10 unabhängige Generationen erstellt (150 Skripte insgesamt).

2. Normalisierung: Ein normalisierender Schritt (implementiert im lammps-ast Python-Paket) bereinigt die Skripte, entfernt Kommentare, erweitert Schleifen und löst Variablenausdrücke in numerische Werte auf. Dies erzeugt kanonische Eingabedateien für einen konsistenten Vergleich.

3. Statische Syntax-Validierung (Parser): Ein benutzerdefinierter Parser (basierend auf dem Lark-Paket) wandelt das Skript in einen abstrakten Syntaxbaum (AST) um. Dies ermöglicht die Überprüfung der Syntax und semantischer Konsistenz (z. B. korrekte Argumenttypen, Referenzen auf Regionen) vor der Ausführung.

4. Reduzierte Ausführung: Um Rechenkosten zu sparen, werden die run-Befehle auf nur 10 Schritte reduziert.

   • Ein wichtiger Schritt ist die Pair-Style-Zero (PSZ)-Substitution: Alle Befehle zur Definition von Atom-Interaktionspotentialen (pair style) werden durch pair style zero ersetzt. Dies isoliert Fehler in der Syntax/Struktur von Fehlern in der spezifischen Wahl des Potentials.

5. Genauigkeitsprüfung: Für erfolgreich ausgeführte Skripte wird eine manuelle Überprüfung anhand von Checklisten durchgeführt, die physikalische Parameter (Gitterkonstanten, Randbedingungen, Ensembles, Zeitschritte) gegen die Anforderungen des Prompts abgleichen.

Wichtige Beiträge

• Evaluierungs-Pipeline: Einführung eines robusten Frameworks zur Bewertung von LLM-Ausgaben für wissenschaftliche DSLs, das Normalisierung, statische Analyse und reduzierte Ausführung kombiniert.
• AST-basierter Parser für LAMMPS: Entwicklung eines Tools, das LAMMPS-Skripte in einen AST überführt, was eine strukturelle Validierung und Fehlererkennung ohne vollständige Simulation ermöglicht.
• Benchmarking: Erste systematische Benchmark-Studie, die die Leistung mehrerer führender LLMs bei der Generierung von LAMMPS-Skripten ohne domänenspezifisches Fine-Tuning vergleicht.
• Fehleranalyse: Identifikation spezifischer Fehlermuster, die über reine Syntaxfehler hinausgehen (z. B. falsche Einheiten, falsche physikalische Annahmen).

Ergebnisse

Die Studie zeigt, dass die Leistung der LLMs mit zunehmender Komplexität der Aufgabe drastisch abnimmt:

• Gesamterfolg: Nur etwa 27,3 % der Skripte erfüllten alle physikalischen Kriterien vollständig.
• Pipeline-Durchlauf:
  • Ca. 74 % der Skripte bestanden den Parser (Syntax-Check).
  • Nur 32 % liefen ohne Fehler (inkl. PSZ-Korrektur).
• Modellvergleich:
  • Claude 4 Opus zeigte die beste Gesamtleistung (97 % Parser-Pass-Rate, 67 % Ausführungs-Erfolg).
  • GPT-5 erzielte die höchste „One-Shot"-Genauigkeit (33 %), war aber bei der Parser-Pass-Rate schwächer als Claude.
  • Ältere Modelle (GPT-4o, GPT-4.1) scheiterten häufiger bei komplexeren Aufgaben (Prompt 2 und 3).
• Häufige Fehlerarten:
  1. Falsche Potential-Definitionen: Häufige Verwechslung von EAM-Varianten (z. B. eam statt eam/alloy).
  2. Einheiten-Probleme: LLMs verwechseln oft Einheiten (z. B. m/s statt Å/ps), was zu physikalisch unsinnigen Geschwindigkeiten führt.
  3. Halluzinierte Befehle: Erfinden von Befehlsstrukturen, die in der Dokumentation nicht existieren (z. B. falsche Syntax für velocity-Befehle).
  4. Geometrische Inkonsistenzen: Fehler bei der Definition von Regionen und Gruppen, besonders bei komplexen Aufprallsimulationen.

Bedeutung und Schlussfolgerung

Die Studie stellt fest, dass LLMs in ihrer Basis-Konfiguration nicht als autonome Designer für wissenschaftliche Simulationen geeignet sind, da sie bei komplexen, mehrstufigen physikalischen Aufgaben versagen. Sie können jedoch als wertvolle Assistenten dienen, um einen ersten Entwurf zu generieren.

Die Kernbotschaft ist, dass die Integration von LLMs in wissenschaftliche Workflows strukturierte Validierungstools erfordert. Der vorgestellte AST-basierte Parser und die Normalisierungspipeline ermöglichen es, Fehler frühzeitig und kostengünstig zu erkennen, bevor teure Simulationen gestartet werden. Dies ebnet den Weg für hybride Workflows, in denen LLMs die Generierung übernehmen, während domänenspezifische Parser und Experten die Validität sicherstellen. Die Arbeit unterstreicht, dass für den zuverlässigen Einsatz von KI in der Wissenschaft nicht nur bessere Modelle, sondern auch robuste Infrastruktur zur Fehlererkennung und -korrektur notwendig ist.