SemPlan: Benchmarking Structured Semantic Planning for LLM-Based Queries over Enterprise Data

Stellen Sie sich vor, Sie möchten einen superintelligenten Roboter-Bibliothekar nach einem bestimmten Buch fragen, aber Sie kennen das geheime Codesystem der Bibliothek nicht. Sie sagen einfach: „Ich möchte das Buch über Drachen aus dem roten Regal.“ Der Roboter muss nun herausfinden, was genau Sie meinen, prüfen, ob Sie berechtigt sind, dieses Regal zu sehen, und dann das Buch finden. Dies ist die Welt der Natural Language Interfaces to Enterprise Data (Natürliche Sprachschnittstellen zu Unternehmensdaten). Es ist die Wissenschaft, wie man normalen Menschen ermöglicht, mit komplexen Datenbanken in normalen Sätzen zu kommunizieren, anstatt Computercode zu verwenden.

Lange Zeit haben sich Wissenschaftler Sorgen gemacht, dass diese Roboter zwar die Syntax korrekt hinbekommen könnten (einen gültigen Computerbefehl schreiben), aber die Bedeutung falsch verstehen könnten (das falsche Buch finden), oder dass sie gegen Regeln verstoßen könnten, indem sie Ihnen Zugriff auf Bücher gewähren, die Sie eigentlich nicht sehen dürfen. Die große Frage lautet: Wie bauen wir das beste „Gehirn“ für diesen Roboter? Sollten wir den Roboter direkt den Computercode schreiben lassen? Sollten wir ihm eine Reihe spezifischer Werkzeuge zur Verfügung stellen? Oder sollten wir ihn zwingen, zuerst einen detaillierten Plan zu erstellen, bevor er irgendetwas tut? Dieses Paper, genannt SemPlan, ist ein riesiges Experiment, um herauszufinden, welche dieser „Gehirn-Designs“ tatsächlich am besten funktioniert, wenn der Einsatz hoch und die Daten knifflig sind.

Das Große Roboter-Gehirn-Battle

Die Forscher richteten ein massives, kontrolliertes Battle Royale in einem fiktiven, aber sehr realistischen „Northstar Commerce“-Universum ein. Sie erstellten 1.800 verschiedene Fragen sowohl auf Englisch als auch auf brasilianischem Portugiesisch, die von einfachen Anfragen wie „Wie viel Geld haben wir verdient?“ bis hin zu kniffligen, mehrteiligen Rätseln reichen, die versuchen, den Roboter auszutricksen. Sie testeten dann vier verschiedene Roboter-Architekturen (nennen wir sie Team A, B, C und D) unter Verwendung desselben superintelligenten Modells (einer spezifischen Version einer KI namens gpt-5.6-luna), um sicherzustellen, dass der Vergleich fair war.

So spielten die vier Teams das Spiel:

• Team A (Der Direkte Schreiber): Dieser Roboter hört Ihre Frage und versucht sofort, den Computercode (SQL) zu schreiben, um die Antwort zu erhalten. Es ist, als würde man einen Schüler bitten, ein Matheproblem an einem Whiteboard zu lösen, ohne den Rechenweg aufzuzeigen.
• Team B (Der Werkzeugnutzer): Dieser Roboter schreibt keinen Code. Stattdessen hat er einen Werkzeugkasten. Er muss die richtigen Werkzeuge auswählen (wie „Zahlen addieren“ oder „nach Datum sortieren“) und sie in der richtigen Reihenfolge anklicken. Es ist wie ein Koch, der nur vorgefertigte Zutaten und spezifische Küchengeräte benutzen darf.
• Team C (Der Planer): Dieser Roboter schreibt keinen Code und wählt keine Werkzeuge aus. Stattdessen schreibt er eine strikte, strukturierte semantische Anfrage – einen sehr spezifischen, organisierten Plan, der genau besagt, welche Daten benötigt werden. Ein separates, eher langweiliges, aber perfektes Computerprogramm nimmt dann diesen Plan und wandelt ihn in Code um. Es ist, als würde ein Schüler einen perfekten Entwurf schreiben und eine andere Person schreibt basierend auf diesem Entwurf den fertigen Aufsatz.
• Team D (Der Klarsteller): Dies ist der ältere Bruder von Team C. Er schreibt ebenfalls einen Plan, aber wenn die Frage verwirrend ist, darf er um Klärung bitten oder sich an das erinnern, was zuvor im Gespräch gesagt wurde. Es ist wie ein Detektiv, der zurückgehen und fragen kann: „Wartest du, meintest du den roten oder den blauen Drachen?“

Die Ergebnisse: Keine perfekten Gewinner

Nachdem 4.800 Tests insgesamt durchgeführt wurden (1.200 Fragen für jedes der vier Teams), waren die Ergebnisse überraschend. Die wichtigste Erkenntnis? Es gibt keinen einzelnen „besten“ Roboter. Es ist ein Kompromiss, wie die Wahl zwischen einem Sportwagen, einem Lkw und einem sparsamen Kleinwagen. Man kann nicht die Geschwindigkeit eines Sportwagens, die Ladekapazität eines LKWs und den geringen Benzinverbrauch eines Kleinwagens in einem einzigen Fahrzeug haben.

Hier ist, was die Daten zeigten:

1. Das Rennen um die Genauigkeit
Wenn Sie einfach nur die richtige Antwort wollen, war Team C (Der Planer) der Gewinner, aber es war kein Land unter den Gegnern.

• Team C hatte 25,67 % der Zeit die richtige Antwort.
• Team D (Der Klarsteller) kam auf den zweiten Platz mit 24,25 %.
• Team B (Der Werkzeugnutzer) lag bei 22,58 %.
• Team A (Der Direkte Schreiber) war Letzter mit 22,25 %.

Obwohl Team C statistisch gesehen besser als die anderen war, merkt das Paper an, dass nur etwa 1 von 4 Mal die richtige Antwort zu bekommen immer noch ziemlich wenig ist. Selbst das „beste“ Design hatte mit der Komplexität der Fragen zu kämpfen.

2. Das Rennen um Sicherheit und Regeln
Hier tauschten die Teams die Plätze.

• Team A (Der Direkte Schreiber) war am sichersten. Es befolgte die Regeln (Policy) am besten (43,67 %) und war am wenigsten wahrscheinlich, etwas Gefährliches oder Ungültiges zu tun (31,00 %). Es war sehr konservativ; wenn es sich unsicher war, sagte es oft einfach „Das kann ich nicht tun“ (eine „False Refusal“), anstatt ein Risiko einzugehen.
• Team D (Der Klarsteller) war am höflichsten (es lehnte nur 0,17 % der Fälle ab), aber auch am riskantesten. Es hatte die höchste Rate an unsicheren oder ungültigen Aktionen (64,08 %). Es versuchte so sehr, hilfreich zu sein, dass es manchmal die Regeln brach.

3. Kosten und Stabilität

• Team D war am günstigsten in der Ausführung und kostete im Durchschnitt nur 0,000469 $ pro Frage.
• Team C war am stabilsten. Wenn sie dieselbe Frage dreimal stellten, lieferte Team C 98,67 % der Zeit die gleiche korrekte Antwort. Team B war am wenigsten stabil und wiederholte korrekte Antworten nur in 92,00 % der Fälle.

4. Die „Sprach“-Überraschung
Die Forscher stellten auch fest, dass alle Teams schlechter abschnitten, wenn die Fragen auf brasilianischem Portugiesisch gestellt wurden, im Vergleich zu Englisch. Zum Beispiel erzielte Team C in Englisch 31,00 % richtig, aber in Portugiesisch nur 20,33 %. Dies deutet darauf an, dass trotz des besten Designs Sprachunterschiede immer noch große Probleme verursachen.

Was dies für die Zukunft bedeutet

Das Paper widerlegt explizit die Vorstellung, dass „mehr Struktur immer besser ist“. Man könnte denken, dass das Erzwingen eines detaillierten Plans (Team C) oder das Bitten um Klärung (Team D) alles lösen würde. Die Daten sagen nein. Das Hinzufügen von Struktur änderte zwar die Art und Weise, wie die Roboter scheiterten, aber es löste nicht das Problem, dass sie immer noch meistens die falsche Antwort gaben.

• Team A ist sicher, gibt aber oft zu früh auf.
• Team B ist okay, aber inkonsistent.
• Team C ist am genauesten und stabilsten, aber nicht perfekt.
• Team D ist günstig und höflich, aber gefährlich und weniger genau.

Der Autor kommt zu dem Schluss, dass wir nicht nur nach dem einen „Gewinner“ mit dem höchsten Genauigkeitswert suchen sollten. Wir müssen das Gesamtbild betrachten: Ist uns Sicherheit wichtiger (Team A)? Ist es uns wichtig, die richtige Antwort zu bekommen (Team C)? Oder ist es uns wichtig, Geld zu sparen (Team D)?

Die Studie legt nahe, dass selbst die klügsten KI-Designs derzeit noch damit kämpfen, komplexe geschäftliche Fragen perfekt zu verstehen. Der Weg nach vorne ist nicht nur der Bau eines „besseren“ Roboters, sondern das Verständnis der spezifischen Trade-offs (Abwägungen) jedes Designs und die Auswahl des richtigen Werkzeugs für die jeweilige Aufgabe. Wie das Paper sagt, ist dies noch kein „gelöstes Problem“, sondern eine Karte, die uns die Fallstricke zeigt, damit wir in Zukunft bessere Systeme bauen können.