A Novel Multi-Agent Architecture to Reduce Hallucinations of Large Language Models in Multi-Step Structural Modeling

Diese Studie stellt eine neuartige Multi-Agenten-Architektur vor, die durch die Aufteilung von Aufgaben wie Problemanalyse, paralleler Geometriekonstruktion und Code-Übersetzung die Halluzinationen und Fehlerakkumulation bei der automatisierten Strukturmodellierung mit OpenSeesPy mittels Large Language Models signifikant reduziert und dabei eine hohe Genauigkeit sowie Skalierbarkeit erreicht.

Das Wesentliche

Das große Missverständnis der KI bei Bauplänen

Stellen Sie sich vor, Sie haben einen sehr klugen, aber manchmal etwas verträumten Assistenten (eine Künstliche Intelligenz, kurz KI), der Bauanträge schreiben kann. Dieser Assistent kennt sich mit Sprache aus und kann Texte verstehen. Aber wenn Sie ihn bitten, ein komplexes Hochhaus zu entwerfen, das aus hunderten von Schritten besteht, stolpert er oft. Er fängt an zu halluzinieren: Er erfindet sich Säulen aus, vergisst Stockwerke oder rechnet die Lasten falsch.

Das ist das Problem, das diese Forscher lösen wollten. Bisherige KI-Systeme versuchten, den gesamten Bauplan in einem langen, geraden Zug zu erstellen – wie einen Marathonläufer, der ohne Pause bis zum Ziel rennt. Je länger der Lauf, desto wahrscheinlicher ist es, dass er stolpert.

Die Lösung: Ein Team statt eines Einzelkämpfers

Die Forscher haben eine neue Methode entwickelt, die wie ein gut organisiertes Bauteam funktioniert, anstatt auf einen einzigen Superhelden zu setzen. Sie nennen es eine „Multi-Agenten-Architektur".

Stellen Sie sich das wie eine Baustelle vor, auf der verschiedene Spezialisten arbeiten, die sich gegenseitig kontrollieren:

1. Der Planer (Analyse & Planung):
   Zuerst kommt ein erfahrener Architekt. Er liest Ihre Beschreibung (z. B. „Ein Haus mit drei Flügeln und fünf Etagen") und schreibt einen genauen, schrittweisen Bauplan. Er prüft sofort: „Habe ich alle Etagen gezählt? Stimmt die Anzahl der Räume?" Wenn etwas nicht passt, beginnt er von vorne, bevor jemand einen einzigen Stein verlegt.

2. Die Bauleute (Geometrie):
   Statt dass eine Person alles allein macht, arbeiten hier zwei Teams parallel:

   • Team Säulen: Sie bauen nur die vertikalen Träger (die Wände und Stützen).
   • Team Balken: Sie bauen nur die horizontalen Träger (die Decken).
   • Der Kontrolleur: Ein automatischer Prüfer schaut sofort nach, ob die Säulen und Balken perfekt zusammenpassen. Wenn ein Balken in der Luft schwebt, weil die Säule fehlt, wird das Team sofort angewiesen, es neu zu bauen. Das verhindert, dass Fehler sich aufsummieren.

3. Die Elektriker & Installateure (Lasten):
   Ein weiterer Spezialist kümmert sich nur darum, wo das Gewicht liegt (z. B. Schnee auf dem Dach oder Winddruck). Er weist genau zu: „Hier ist eine Säule, hier kommt 50 Kilo drauf."

4. Die Übersetzer (Code):
   Am Ende nehmen zwei Übersetzer den fertigen Bauplan und schreiben daraus den genauen Computercode (OpenSeesPy), den die Baumaschinen verstehen. Da sie nur übersetzen und nicht erfinden müssen, machen sie kaum Fehler.

Warum ist das so erfolgreich?

Die Forscher haben dieses System an 20 verschiedenen Gebäudetypen getestet. Das Ergebnis war beeindruckend:

• 100 % Erfolg: In 18 von 20 Fällen wurde das Gebäude perfekt und fehlerfrei modelliert.
• Geschwindigkeit: Das alte System brauchte fast 15 Minuten pro Haus und stolperte oft. Das neue Team braucht nur etwa 2 bis 3 Minuten und arbeitet viel schneller.
• Skalierbarkeit: Selbst wenn man ein riesiges Hochhaus mit 10 Etagen und 10 Flügeln plant, schafft das Team die Aufgabe, während das alte System oft abbrach, weil es zu lange brauchte.

Ein wichtiger Trick: Die richtigen Köpfe für die richtigen Jobs

Ein Geheimnis des Erfolgs ist, dass das System nicht nur eine KI-Intelligenz nutzt, sondern zwei verschiedene Typen für unterschiedliche Aufgaben:

• Für das schwierige Denken (Planen, Logik, komplexe Zusammenhänge) nutzen sie einen sehr starken, aber teuren KI-Modell-Typ (wie einen Professor).
• Für das genaue Übersetzen (Text in Code umwandeln, Listen erstellen) nutzen sie einen schnelleren, effizienteren Typ (wie einen fleißigen Sekretär).

Wenn sie nur den „Professor" für alles genommen hätten, wäre es zu teuer und langsam gewesen. Wenn sie nur den „Sekretär" genommen hätten, hätte er bei der komplexen Planung Fehler gemacht. Die Kombination macht es perfekt.

Fazit

Diese Forschung zeigt, dass wir KI nicht als einen einsamen Genie-Programmierer einsetzen sollten, der alles allein macht. Stattdessen sollten wir sie wie ein gut koordiniertes Bauteam einsetzen, bei dem jeder Spezialist seine Aufgabe kennt und sich gegenseitig kontrolliert.

Das Ergebnis ist ein System, das für Ingenieure und Architekten (und sogar für Laien, die nur eine einfache Beschreibung liefern) automatisch sichere, fehlerfreie und schnelle Baupläne erstellt. Es ist ein großer Schritt, um die Zukunft des Bauens sicherer und effizienter zu machen.

Technische Zusammenfassung

Titel: Eine neuartige Multi-Agenten-Architektur zur Reduzierung von Halluzinationen bei Large Language Models (LLMs) in der mehrstufigen strukturellen Modellierung

1. Problemstellung

Die strukturelle Analyse und Modellierung von Bauwerken (z. B. mittels Finite-Elemente-Methoden in Software wie OpenSees) ist traditionell ein manueller, fehleranfälliger und arbeitsintensiver Prozess. Obwohl Large Language Models (LLMs) wie GPT und Gemini beeindruckende Fähigkeiten im Kontextverständnis und logischen Schlussfolgern zeigen, stoßen sie bei der Automatisierung komplexer, mehrstufiger ingenieurtechnischer Aufgaben an ihre Grenzen.

• Hauptprobleme: Bestehende LLM-basierte Ansätze leiden unter Halluzinationen (falsche Informationen) und Fehlerakkumulation, insbesondere bei langen Sequenzen von Operationen, die für die Erstellung vollständiger Strukturmodelle notwendig sind.
• Limitierungen bestehender Agenten-Architekturen: Vorherige sequenzielle Ansätze (ein Agent führt eine Aufgabe aus und übergibt das Ergebnis an den nächsten) zeigen bei komplexeren Strukturen (z. B. Rahmen mit 5 Feldern) eine drastisch sinkende Genauigkeit (bis auf 60 %). Zudem sind sie ineffizient (hohe Inferenzzeiten) und skalieren schlecht, da sie oft an API-Zeitlimits scheitern, wenn die Komplexität zunimmt.

2. Methodik: Die neuartige Multi-Agenten-Architektur

Die Autoren schlagen eine robuste, modulare Multi-Agenten-Architektur vor, die den Workflow der strukturellen Modellierung in vier koordinierte Module unterteilt. Ein zentrales Merkmal ist die Aufgabezerlegung (Task Decomposition) und der Einsatz von Checkpoints zur Fehlerkorrektur, um Halluzinationen zu minimieren.

Die vier Module:

1. Analyse und Planung (Analysis & Planning):
   • Problem-Analyse-Agent: Extrahiert Schlüsselparameter aus der textuellen Benutzereingabe und strukturiert sie in ein JSON-Format (Geometrie, Randbedingungen, Materialeigenschaften, Lasten).
   • Konstruktionsplanungs-Agent: Erstellt einen schrittweisen Plan für den Aufbau des Rahmens (Feld-für-Feld, Etage-für-Etage).
   • Checkpoints: Führen Konsistenzprüfungen durch (z. B. stimmen die Anzahl der Felder und Etagen im Plan mit den Eingabedaten überein?). Bei Diskrepanzen wird der Prozess neu gestartet.
2. Geometrie-Zusammenbau (Geometry Assembly):
   • Paralleler Betrieb: Ein Knoten-Agent (Node Agent) und ein Element-Agent (Element Agent) arbeiten parallel, um die Koordinaten und Verbindungen zu bestimmen.
   • Regelbasierte Logik: Die Agenten folgen definierten Regeln basierend auf dem "Schritttyp" (z. B. Basisrahmen, Hinzufügen einer Etage).
   • Validierung: Eine deterministische Python-Funktion wandelt Koordinaten in Node-IDs um. Ein weiterer Checkpoint prüft auf Duplikate oder nicht referenzierte Knoten/Elemente.
3. Lastintegration (Load Integration):
   • Last-Zuweisungs-Agent: Ordnet abstrakte Lastbeschreibungen (z. B. "gleichmäßig verteilte Last") den spezifischen Knoten und Elementen aus dem Geometrie-Modul zu.
   • JSON-Compiler: Führt alle Daten (Material, Geometrie, Lasten) in einer strukturierten JSON-Datei zusammen.
4. Code-Translation (Code Translation):
   • Geometrie-Code-Übersetzer: Wandelt die geometrischen JSON-Daten in OpenSeesPy-Befehle um.
   • Vollständiger Code-Generator: Integriert die Geometrie-Codes mit Lastdefinitionen und Konfigurationsbefehlen, um ein ausführbares OpenSeesPy-Skript zu erstellen.

Modell-Auswahl (Backbone LLMs):
Die Architektur nutzt eine hybride Strategie mit zwei unterschiedlichen LLMs, um deren Stärken zu kombinieren:

• GPT-OSS 120B: Für komplexe推理saufgaben (Reasoning) wie Analyse, Planung und Geometrie-Erstellung.
• Llama-3.3 70B Instruct Turbo: Für Aufgaben, die präzise Informationszuordnung und Syntax-Übersetzung erfordern (Lastzuweisung, Code-Generierung).

3. Wichtige Beiträge

• Reduktion von Halluzinationen: Durch die Zerlegung komplexer Aufgaben in spezialisierte Sub-Aufgaben und den Einsatz von automatisierten Checkpoints wird die Fehleranfälligkeit drastisch reduziert.
• Parallele Verarbeitung: Die gleichzeitige Arbeit der Knoten- und Element-Agenten verbessert die Effizienz im Vergleich zu rein sequenziellen Pipelines.
• Hybride LLM-Nutzung: Die Studie zeigt, dass die Kombination verschiedener Modelle (Reasoning vs. Translation) robuster ist als die Verwendung eines einzelnen Modells für alle Aufgaben.
• Skalierbarkeit: Die Architektur ist in der Lage, deutlich größere Strukturen (bis zu 10 Felder und 10 Etagen) zu verarbeiten, ohne an API-Zeitlimits zu scheitern.

4. Ergebnisse

Die Architektur wurde an einem Benchmark-Datensatz mit 20 Rahmen-Problemen (mit 3 bis 5 Feldern) über 10 Wiederholungen getestet:

• Genauigkeit: Die vorgeschlagene Architektur erreichte in 18 von 20 Fällen 100 % Genauigkeit und in den verbleibenden 2 Fällen 90 %. Im Vergleich dazu fiel die sequenzielle Architektur bei komplexeren Strukturen auf 60 % Genauigkeit.
• Vergleich mit State-of-the-Art: Die Architektur übertraf deutlich allgemeine LLMs wie Gemini 2.5 Pro (37 % Genauigkeit) und GPT-4o (0 % korrekte Ergebnisse in diesem Kontext).
• Effizienz: Die durchschnittliche Laufzeit wurde von 269–949 Sekunden (sequenziell) auf 75–194 Sekunden reduziert (bis zu 85 % Zeitersparnis).
• Skalierbarkeit: Bei Tests mit größeren Strukturen (7 bis 10 Felder) wurden Genauigkeiten von 80–100 % bei akzeptablen Laufzeiten (371–548 Sekunden) erreicht.
• Sprachliche Anpassungsfähigkeit: Ein Pilottest mit Architekturstudenten (ohne tiefes Ingenieurwissen) zeigte, dass das System auch bei unterschiedlichen, informellen Beschreibungsstilen robuste Ergebnisse liefert.
• Kosten: Die Kosten pro Analyse liegen im Bereich von 0,013 bis 0,023 USD, was die wirtschaftliche Machbarkeit unterstreicht.

5. Bedeutung und Ausblick

Diese Arbeit stellt einen bedeutenden Fortschritt in der Automatisierung des Bauingenieurwesens dar. Sie beweist, dass LLMs durch eine sorgfältig gestaltete Multi-Agenten-Architektur für hochpräzise, mehrstufige ingenieurtechnische Aufgaben eingesetzt werden können, ohne die Sicherheit durch Halluzinationen zu gefährden.

• Praktische Anwendung: Die Lösung ermöglicht eine Demokratisierung der strukturellen Analyse, da auch Nicht-Experten komplexe Modelle erstellen können.
• Zukünftige Arbeiten: Die Autoren identifizieren Grenzen wie die Beschränkung auf rechteckige Rahmen (keine Diagonalstreben oder Kragarme) und den Fokus auf lineare elastische statische Analysen. Künftige Forschung soll diese Grenzen erweitern, um dynamische Lasten (Erdbeben, Wind) und nichtlineares Verhalten sowie komplexere Strukturtypologien abzudecken.

Die Architektur wurde als öffentliche Webanwendung (civilbot.netlify.app) bereitgestellt, um die Community-Validierung und den praktischen Einsatz zu fördern.