A Benchmark on LLM-Based Power Flow Computation: Do More Structured Prompts Help?
Dieser Beitrag stellt einen Benchmark vor, der zeigt, dass Gemini 2.5 Pro zwar bei der LLM-basierten Gauss-Seidel-Leistungsflussberechnung andere Modelle übertrifft, jedoch keine Konfiguration die für die direkte numerische Lösung erforderliche Zuverlässigkeit erreicht und dass kontraintuitiv strukturiertere Prompts die Genauigkeit im Vergleich zu einfachen narrativen Formaten verschlechtern können.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben drei verschiedene KI-„Schüler" (nennen wir sie Gemini, Claude und GPT-3.5) und möchten prüfen, ob sie als Rechner für ein Stromnetz fungieren können. Konkret bitten Sie sie, ein klassisches, schrittweises mathematisches Problem namens „Leistungsfluss" (Power Flow) zu lösen, das Ingenieure verwenden, um sicherzustellen, dass Elektrizität sicher durch ein Netz von Leitungen fließt.
Die Forscher führten ein kontrolliertes Experiment durch, um zwei Dinge zu ermitteln:
- Können diese KI-Schüler tatsächlich die Mathematik lösen?
- Verändert die Art und Weise, wie Sie die Frage stellen (der „Prompt"), ihre Leistung?
Hier ist die Aufschlüsselung ihrer Erkenntnisse mit einfachen Analogien:
Das Setup: Eine dreispurige Straße
Die Forscher erstellten ein winziges, vereinfachtes Stromnetz mit nur drei „Städten" (Knotenpunkten), die durch Straßen (Übertragungsleitungen) verbunden sind. Sie generierten 50 verschiedene Verkehrsszenarien (zufällige Lasten und Straßenbedingungen) und baten die KI zu berechnen, wie viel Strom das Hauptkraftwerk (der „Slack-Bus") genau erzeugen muss, um alles am Laufen zu halten.
Sie testeten die KI mit vier verschiedenen Arten, die Frage zu stellen:
- Die Geschichte: Ein einfacher Absatz, der das Problem beschreibt (wie eine Schulbuchfrage).
- Die Geschichte + Beispiel: Dieselbe Geschichte, jedoch mit einem gelösten Beispiel aus einem Schulbuch direkt davor.
- Die Checkliste: Eine nummerierte Liste von Schritten, die die KI auffordert, ihre Arbeit zu zeigen.
- Die Tabellenkalkulation: Ein starres, maschinenlesbares Format (JSON) mit der strikten Anforderung, jeden Rechenschritt darzulegen.
Die Ergebnisse: Wer bestand und wer fiel durch?
1. Der „Überdenker" (Gemini 2.5 Pro)
- Die Überraschung: Man könnte denken, dass man einer KI ein starres Tabellenblatt gibt und sie auffordert, jeden einzelnen Schritt darzulegen, um sie genauer zu machen. Es bewirkte das Gegenteil.
- Die Analogie: Stellen Sie sich vor, Sie bitten einen brillanten Matheschüler, ein Problem zu lösen. Wenn Sie nur sagen: „Hier ist das Problem, gib mir die Antwort", liegt er in 54 % der Fälle richtig. Aber wenn Sie ihm ein komplexes Formular geben und sagen: „Füllen Sie jedes Feld aus und zeigen Sie Ihre Arbeit Zeile für Zeile", wird er verwirrt, kompliziert es unnötig und seine Fehler verdreifachten sich.
- Urteil: Gemini ist der intelligenteste der drei, reagiert aber sehr empfindlich darauf, wie man mit ihm spricht. Einfach ist besser; komplexe Anweisungen beeinträchtigen tatsächlich seine Leistung.
2. Der „Stetige Eddie" (Claude Sonnet 4.5)
- Das Verhalten: Claude kümmerte sich kaum darum, wie die Frage gestellt wurde. Ob es eine Geschichte, eine Checkliste oder eine Tabellenkalkulation war, er bekam die Antwort etwa 38 % der Zeit richtig, egal was geschah.
- Die Analogie: Betrachten Sie Claude als einen Schüler, der eine bestimmte Lernmethode hat. Die Änderung des Testformats hilft ihm nicht, schadet ihm aber auch nicht. Er bleibt einfach in derselben „durchschnittlichen" Zone.
- Urteil: Das Hinzufügen eines durchgerechneten Beispiels (ihnen ein gelöstes Problem zu zeigen) half Claude zwar leicht, aber es reichte immer noch nicht aus, um ein zuverlässiger Rechner zu sein.
3. Der „Kämpfende Schüler" (GPT-3.5 Turbo)
- Das Verhalten: Dieses Modell scheiterte fast jedes Mal, unabhängig davon, wie die Frage gestellt wurde.
- Die Analogie: Stellen Sie sich vor, Sie bitten einen Schüler, der das Material noch nicht gelernt hat, ein Kalkulusproblem zu lösen. Ob Sie ihm einen Hinweis, ein Schulbuch oder einen Taschenrechner geben, er liegt in 90 % bis 96 % der Fälle falsch.
- Urteil: Es ist derzeit einfach nicht in der Lage, diese spezifische Art von komplexer, mehrstufiger Mathematik zu lösen.
Die große Erkenntnis: „Mehr Anweisungen" ≠ „Bessere Ergebnisse"
Das wichtigste Ergebnis dieser Studie ist eine Warnung für alle, die versuchen, KI für Mathematik oder Ingenieurwesen einzusetzen: Dem KI mehr detaillierte Anweisungen zu geben, strukturierte Daten bereitzustellen oder sie aufzufordern, „ihre Arbeit zu zeigen", garantiert keine bessere Genauigkeit.
Tatsächlich wurde das leistungsfähigste getestete Modell durch komplexere Prompts schlechter. Es ist, als würde man einem GPS sagen: „Berechnen Sie die Route unter Verwendung eines bestimmten Algorithmus neu", wenn es nur „Fahren Sie dorthin" hätte sagen müssen. Die zusätzlichen Regeln verwirrten das System.
Das endgültige Fazit: Noch nicht einsatzbereit
Die Forscher kamen zu dem Schluss, dass keines dieser KI-Modelle bereit ist, einen echten Ingenieursrechner zu ersetzen.
- Selbst das beste Ergebnis (Gemini mit einem einfachen Prompt) lag nur etwa die Hälfte der Zeit innerhalb einer Fehlermarge von 5 % richtig.
- In der realen Welt, wenn Sie ein Stromnetz verwalten, könnte ein Fehler von 5 % einen Stromausfall oder einen Brand bedeuten. Sie benötigen 100 %ige Präzision.
Zusammenfassung: Diese KI-Modelle eignen sich hervorragend, um zu erklären, was Leistungsfluss ist, oder um Ingenieuren beim Brainstormen von Ideen zu helfen, aber sie sind nicht bereit, die eigentlichen Rechner zu sein, die das Netz steuern. Wenn Sie sie die Mathematik machen lassen, müssen Sie immer noch einen Menschen (oder ein traditionelles Computerprogramm) haben, um die Zahlen zu überprüfen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.