Business Truth, not SQL Accuracy: A Rule-Gated 7B Analytics Agent Outperforms a Direct-Prompted 32B Baseline

Der Detektiv gegen den Taschenrechner: Warum es wichtiger ist, recht zu haben, als schnell zu sein

Stellen Sie sich vor, Sie befinden sich in einer riesigen, chaotischen Bibliothek, in der Millionen von Büchern ständig umgeschrieben, bewegt oder weggeworfen werden. Sie fragen einen Bibliothekar: „Wie viele rote Bücher wurden letzten Dienstag verkauft?“ Ein traditionelles Computerprogramm agiert wie ein superschneller Taschenrechner: Es beginnt sofort zu suchen, zieht eine Zahl heraus und ruft sie Ihnen entgegen. Wenn die Mathematik perfekt ist, fühlt sich der Computer stolz. Aber was, wenn „rot“ für Sie „karmesinrot“ bedeutete, für den Bibliothekar aber „scharlachrot“ war? Oder was, wenn die roten Bücher letzte Woche in ein anderes Gebäude gebracht wurden, was die Frage unmöglich zu beantworten macht? Der Taschenrechner würde Ihnen immer noch eine Zahl nennen, aber es wäre die falsche, und niemand würde es merken, bis es zu spät ist.

Dies ist die Welt der LLM-Analyseagenten. Dies sind KI-Systeme, die darauf ausgelegt sind, mit Datenbanken (den Bibliotheken) zu kommunizieren und Geschäftsfragen zu beantworten. Lange Zeit haben Wissenschaftler ihren Erfolg daran gemessen, ob die KI den korrekten „Code“ (SQL) schrieb, um die Bibliothek zu fragen. Das ist so, als würde man einen Schüler nur danach bewerten, ob er die richtige Grammatik verwendet, während man ignoriert, ob er die Geschichte tatsächlich verstanden hat. Aber in der realen Welt ist ein „perfekter“ Satz, der zu einer falschen Zahl führt, eine Katastrophe. Es ist wie ein GPS, das Ihnen perfekte Wegbeschreibungen zu einem Haus gibt, das letztes Jahr abgebrannt ist. Die eigentliche Herausforderung besteht nicht nur darin, den Code zu schreiben; es geht darum, zu wissen, wann man nicht antwortet, wann man um Klärung bittet und wann man sagt: „Dabei kann ich nicht helfen.“ Dieses Paper taucht in dieses chaotische, reale Problem ein und fragt: Ist es besser, ein riesiges, teures Gehirn zu haben, das selbstbewusst rät, oder einen kleineren, regelbefolgenden Detektiv, der alles doppelt und dreifach prüft?

Die Geschichte von QueryProof: Der regelbasierte Detektiv

In dieser Studie entwickelte ein Forscher namens Morris Lee eine neue Art von KI-Agenten namens QueryProof. Das Ziel war es, eine kühne Idee zu testen: Vielleicht brauchen wir kein massives, 32-Milliarden-Parameter-„Gehirn“, um klug zu sein. Vielleicht brauchen wir nur ein kleineres, 7-Milliarden-Parameter-Gehirn, das gezwungen ist, strengen Regeln zu folgen und seine eigene Arbeit zu überprüfen.

Um dies zu testen, erschuf der Forscher einen speziellen Spielplatz namens WarehouseReliabilityBench. Stellen Sie sich zwei fiktive Bibliotheken vor (eine für einen Online-Shop, eine für ein Softwareunternehmen), die voller tückischer Fallen sind. Von 400 Fragen waren etwa die Hälfte so konzipiert, dass sie mit einer einfachen Zahl nicht korrekt beantwortet werden konnten. Einige Fragen waren mehrdeutig (wie die Frage nach dem „Umsatz“, ohne zu sagen, ob damit der Brutto- oder Nettoumsatz gemeint ist), einige fragten nach Daten, die nicht existierten, und einige versuchten, die KI dazu zu bringen, die Regeln zu brechen. In diesen Fällen war die korrekte Antwort keine Zahl, sondern eine höfliche Weigerung, eine Bitte um weitere Details oder eine Nachricht wie „Das kann ich nicht tun“.

Das Experiment verglich drei Hauptcharaktere:

1. Das Riesengehirn (32B): Ein riesiges Modell, das direkt aufgefordert wurde, alles zu beantworten. Es hatte kein Sicherheitsnetz, keine Regeln und niemanden, der seine Arbeit überprüfte.
2. Der regelbefolgende Detektiv (QueryProof): Ein kleineres 7B-Modell, aber dieses war in eine „deterministische Zustandsmaschine“ eingehüllt. Stellen Sie sich das wie einen strengen Aufseher vor, der die KI zwingt, ein Regelbuch zu prüfen, bevor sie spricht. Wenn die Frage mehrdeutig ist, sagt der Aufseher: „Stopp! Bitte um Klärung.“ Wenn die Daten fehlen, sagt der Aufseher: „Stopp! Verweigere die Antwort.“ Die KI darf erst sprechen, wenn sie diese Prüfungen bestanden hat.
3. Die kostengerechte Baseline: Ein kleineres Modell mit einigen zusätzlichen Beispielen (Few-Shot), um zu sehen, ob es hilft, ihm einfach nur mehr Hinweise zu geben.

Die große Enthüllung: Regeln schlagen rohe Gewalt

Die Ergebnisse waren überraschend und sehr klar. Das Riesengehirn war selbstbewusst, aber oft falsch. Es versuchte, jede einzelne Frage zu beantworten, selbst die unmöglichen, und lieferte bei den meisten von ihnen falsche Geschäftszahlen. Seine „False Success Rate“ (das Verhältnis von falschen Antworten zu allen von ihm zurückgegebenen Antworten) war mit 0,754 erschreckend hoch. Es war wie ein Schüler, der bei jeder Testfrage rät und eine hohe Punktzahl beim „Versuchen“ erzielt, aber die eigentliche Prüfung durchfällt.

QueryProof, der kleinere Detektiv mit dem Regelbuch, übertraf das Riesengehirn vollständig.

• Genauigkeit: QueryProof erreichte eine Business Truth Rate von 0,537 (was bedeutet, dass es 53,7 % der Zeit die richtige Antwort oder das richtige Verhalten zeigte), während das Riesengehirn nur 0,300 erreichte.
• Sicherheit: Wenn QueryProof tatsächlich eine Antwort lieferte, war diese seltener falsch als die des Riesengehirns. Konkret waren 35,1 % der Antworten, die QueryProof lieferte, inkorrekt, verglichen mit 75,4 % der Antworten, die das Riesengehirn lieferte. Entscheidend war, dass das Riesengehirn bei den spezifischen Fragen, die beantwortet werden konnten, null unentdeckte falsche Zahlen lieferte, während QueryProof 13 Antworten auf Fragen gab, die eigentlich eine Klärung oder Verweigerung erfordert hätten. Der entscheidende Sieg war, dass QueryProof die „stillen Ausfälle“ stoppte, bei denen eine falsche Zahl ohne jegliche Warnung zurückgegeben wird, und so sicherstellte, dass niemals eine falsche Geschäftszahl bei einer beantwortbaren Aufgabe zurückgegeben wurde.
• Kosten: Hier ist der Clou. Query_Proof war 71,0 % günstiger pro korrekter Antwort als das Riesengehirn. Es brauchte kein massives Modell, um zuverlässig zu sein; es brauchte ein gutes System von Kontrollen.

Das Paper fand heraus, dass die „Magie“ nicht in der Größe des KI-Gehirns lag. Sie lag in der deterministischen Ebene – den starren Regeln, die die Frage vor der Antwort mit der tatsächlichen Struktur der Datenbank abglichen. Diese Ebene fungierte wie ein Türsteher in einem Club, der schlechte Fragen stoppt, bevor sie Ärger verursachen können.

Was nicht funktionierte (Und warum das wichtig ist)

Die Forscher versuchten auch, QueryProof einige „smarte“ Funktionen hinzuzufügen, in der Hoffnung, es noch besser zu machen, aber diese scheiterten.

• Das Konfidenzmodell: Sie versuchten, der KI beizubringen, wie „sicher“ sie sich fühlt, um Fragen, bei denen sie sich unsicher war, zu überspringen. Das funktionierte nicht. Im Test war das gelernte Vertrauen der KI tatsächlich schlechter als eine einfache, handgeschriebene Regel. Es war wie ein Schüler, der denkt, er wisse die Antwort, aber eigentlich nur rät, während die einfache Regel einfach ehrlich war.
• Das Routing-System: Sie versuchten ein System, das schwierige Fragen an ein größeres Modell weiterleitet. Dies schlug beim Testlauf negativ zu Buche und führte dazu, dass die KI zu viele Fragen ablehnte, die sie durchaus hätte beantworten können.

Das Paper ist sehr vorsichtig darin, die Grenzen seiner Geschichte zu benennen.

• Der Spielplatz: Die Bibliotheken waren synthetisch (fiktiv), erstellt aus einem einzigen Seed. Obwohl dies den Test fair und reproduzierbar macht, wissen wir nicht sicher, ob dies in einem chaotischen, realen Unternehmen mit Jahrzehnten schlechter Daten funktioniert.
• Das „Leak“: Die Forscher gaben zu, dass sie während des Aufbaus versehentlich einige spezifische Phrasen fanden, die mit den Testfragen übereinstimmten. Sie entfernten diese vor dem endgültigen Test, räumten aber ein, dass der Test nicht perfekt „sauber“ ist, da sie die Fragen während des Aufbaus der Regeln kannten. Sie behandeln die Ergebnisse als eine „eingefrorene Evaluierung“ mit einem bekannten Fehler, nicht als einen perfekten Beweis.
• Die Statistik: Als sie die Berechnungen unter Verwendung von „Familien“ von Fragen anstelle von einzelnen Fragen wiederholten, wurden die Konfidenzintervalle breiter. Das bedeutet, dass die Richtung des Ergebnisses (Regeln > Rohe Gewalt) wahrscheinlich wahr ist, aber die genaue Größe des Sieges etwas ungenau sein könnte.

Das Fazit

Die Hauptlektion hier ist, dass für die Geschäftsanalyse Zuverlässigkeit aus Struktur kommt, nicht nur aus Größe. Eine kleinere KI, wenn sie in ein striktes System von Regeln gehüllt ist, das die Daten und die Frage vor der Antwort prüft, kann genauer, sicherer und kostengünstiger sein als eine massive KI, die einfach nur rät.

Das Paper legt nahe: Wenn Sie eine KI wollen, die Ihren Chef nicht anlügt, sollten Sie nicht einfach ein größeres Modell kaufen. Sie sollten ein besseres „Regelbuch“ und einen „Türsteher“ bauen, der die Arbeit überprüft. Die „smarten“ Lernteile (wie Konfidenzwerte) mögen nett zu haben sein, aber in diesem speziellen Fall halfen sie nicht. Der wahre Held war die langweilige, deterministische Prüfung, die sagte: „Warte, lass uns erst sicherstellen, dass diese Frage Sinn ergibt, bevor wir antworten.“