SPL: Orchestrating Workflows with Declarative Deterministic-Probabilistic Composition
Dieses Paper führt SPL (Structured Prompt Language) ein, ein deklaratives Framework, das deterministische und probabilistische Berechnung innerhalb einer einzigen Spezifikation vereinigt, um eine modellagnostische Workflow-Orchestrierung zu ermöglichen, wobei durch umfangreiche Experimente nachgewiesen wird, dass sein Solver-basierter Ansatz eine signifikant höhere maschinell verifizierte Korrektheit im Vergleich zu unverifizierten, rein LLM-basierten Ausgaben erreicht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einen super-intelligenten Roboter-Assistenten zu bauen, der Ihnen bei Ihren Hausaufgaben helfen kann. Im Moment ist der Bau dieser Assistenten so, als würde man versuchen, ein Auto zu bauen, bei dem der Motor, das Lenkrad und das GPS von verschiedenen Unternehmen hergestellt wurden, unterschiedliche Sprachen sprechen und mit unordentlichem, maßgeschneidertem Klebeband zusammengeklebt werden müssen. Man muss ein Coding-Zauberer sein, nur um sie dazu zu bringen, miteinander zu kommunizieren.
Das Papier stellt SPL (Structured Prompt Language) vor, was wie eine Universalfernbedienung ist, die endlich den „kreativen“ Teil des Roboters und den „Mathematik“-Teil des Roboters in einer einzigen, sauberen Bedienungsanleitung zusammenführt.
Die zwei Gehirne: Der Träumer und der Rechner
Das Papier argumentiert, dass aktuelle KI-Tools in einem Modus feststecken. Sie sind entweder Träumer (LLMs), die gut darin sind, Geschichten zu schreiben, Antworten zu erraten und zu chatten, aber manchmal Fakten erfinden oder sich bei Mathe vertun. Oder sie sind Rechner (wie SymPy oder SageMath), die perfekt in Mathematik und Logik sind, aber keinen Witz verstehen oder eine Geschichte schreiben können.
Die Autoren sagen: „Warum nicht beides?“ Sie schlagen ein System vor, bei dem der Träumer (System 1) das Problem aufschlüsselt und erklärt, während der Rechner (System 2) die eigentliche schwere Arbeit erledigt und die Arbeit überprüft.
Der große Twist: Das Papier argumentiert explizit gegen die Idee, dass die KI „schnell“ oder „langsam“ sein muss, um das eine oder das andere zu sein. Es geht nicht um die Geschwindigkeit; es geht darum, wie sie denken. Ein Rechner kann langsam sein, wenn er einen super schweren Beweis führt, und ein Träumer kann schnell sein, wenn er nur rät. Der Schlüssel ist zu wissen, welches Gehirn für welchen Job zu verwenden ist.
Die „Einmal entwerfen, überall einsetzen“-Magie
Hier ist der coolste Teil: Mit SPL schreiben Sie Ihre Anweisungen einmal in einer speziellen .spl-Datei. Sie müssen den Code nicht neu schreiben, wenn Sie ihn auf Ihrem Laptop, in der Cloud oder auf einem riesigen Supercomputer-Grid ausführen wollen.
Denken Sie an ein Rezept. Sie schreiben das Rezept einmal. Egal, ob Sie es auf einem winzigen Campingkocher (Ihrem Laptop), in einer schicken Küche (der Cloud) oder in einer massiven industriellen Fabrik (einem verteilten Grid) kochen – das Rezept bleibt das gleiche. Sie sagen dem System nur, wo es kochen soll, wenn Sie es starten. Das Papier nennt dies DODA (Design Once, Deploy Anywhere).
Die „Verifier-Leiter“
Woher wissen wir, ob die Mathematik richtig ist? Das Papier führt eine „Verifier-Leiter“ mit drei Sprossen ein:
- Sprosse 1 (SymPy): Gut für einfache Algebra und Analysis. Es ist schnell und einfach.
- Sprosse 2 (SageMath): Für schwierigere Dinge wie Zahlentheorie und Geometrie.
- Sprosse 3 (Lean 4): Das ultimative Boss-Level. Dies ist für formale Beweise, die von einem Computer überprüft werden, um zu 100 % mathematisch wahr zu sein, wie ein juristischer Vertrag für Mathematik.
Das Papier zeigt, dass man einen Workflow schreiben kann, der zuerst Sprosse 1 versucht. Wenn dies fehlschlägt, klettert das System automatisch zu Sprosse 2 auf, und wenn auch das fehlschlägt, zu Sprosse 3. Sie müssen nicht den „Wenn dies fehlschlägt, versuche das“-Code schreiben; die Sprache handhabt das für Sie.
Das Experiment: Was ist tatsächlich passiert?
Die Autoren haben nicht nur geraten; sie haben ein massives Experiment durchgeführt. Sie haben 10 verschiedene KI-Modelle auf 20 verschiedenen Mathematikproblemen (von einfach bis Expertenniveau) getestet und jeden Test 3 Mal durchgeführt. Das sind insgesamt 1.200 Durchläufe.
Sie verglichen zwei Wege, die Probleme zu lösen:
- Der „Nur-LLM“-Arm: Die KI rät einfach und schreibt die Antwort.
- Der „Solver“-Arm: Die KI bricht das Problem auf, schickt die Mathematik an den Rechner, erhält die verifizierte Antwort und schreibt dann die Erklärung.
Die Ergebnisse:
- Die gute Nachricht: Der Solver-Arm war unglaublich genau. Für die besten Modelle, wie
gemma4:e2b, bekamen sie 93 % der Antworten richtig, wenn sie durch den Rechner verifiziert wurden. Sogarsonnet-4-6erreichte 85 % richtig. - Der Haken: Der „Nur-LLM“-Arm konnte fast immer eine Antwort produzieren (nahezu 100 % der Zeit), aber sie war nicht verifiziert. Der Solver-Arm bewies, dass nur weil eine KI etwas sagt, es noch lange nicht wahr ist.
- Der Flaschenhals: Der Hauptgrund, warum der Solver-Arm scheiterte, war nicht, dass die KI die Mathematik nicht machen konnte (der Rechner tat das!), sondern dass die KI ihr Ergebnis nicht korrekt formatieren konnte. Die KI musste die Mathematik in einem sehr spezifischen, code-ähnlichen Format (
expr|op) schreiben, damit der Rechner sie verstehen konnte. Wenn die KI die Formatierung vermasselte, lehnte der Rechner sie ab. - Die Überraschung: Ein kleines Open-Source-Modell namens
gemma4:e2b(das viel kleiner ist als die riesigen, teuren Modelle) war tatsächlich besser darin, die Regeln zu befolgen als einige der riesigen, super-intelligenten Modelle. Dies deutet darauf hin, dass für diese spezifische Aufgabe, ein guter „Format-Übersetzer“ zu sein, wichtiger ist, als ein riesiges, super-intelligentes Gehirn zu haben.
Was das Papier NICHT sagt
Das Papier ist sich sehr klar darüber, was es nicht tut:
- Es behauptet nicht, dass KI-Modelle jetzt von sich aus perfekt in Mathematik sind. Tatsächlich zeigte das Experiment, dass die Modelle ohne den Rechner nur raten.
- Es sagt nicht, dass „Thinking“-Modelle (Modelle, die viel Zeit mit „Nachdenken“ verbringen, bevor sie antworten) besser sind. Tatsächlich hat das Papier einige dieser „Thinking“-Modelle ausgeschlossen, weil sie zu viel Zeit mit dem Nachdenken verbrachten und den Platz aufbrauchten, bevor sie das spezifische Code-Format schreiben konnten, das der Rechner benötigte.
- Es behauptet nicht, dass dies jedes Problem löst. Das Experiment bezog sich spezifisch auf symbolische Mathematik. Die Autoren deuten an, dass es für andere Dinge wie die Überprüfung von Code oder die Validierung von Daten funktionieren könnte, aber sie haben das noch nicht bewiesen.
Das Fazit
Das Papier beweist, dass durch die Trennung des „kreativen“ Teils der KI vom „Mathematik“-Teil der KI und durch das Zulassen eines Computers, der die Mathematik prüft, wir viel zuverlässigere Ergebnisse erzielen können. Das Beste daran? Sie müssen kein Coding-Genie sein, um dies zu tun. Sie schreiben einfach den Plan einmal, und das System erledigt den Rest, egal ob Sie es auf Ihrem Laptop oder einem Supercomputer ausführen.
Die Autoren haben dies mit 1.200 Durchläufen gemessen und festgestellt, dass der „Solver“-Arm zwar etwas langsamer ist (da er einige Sekunden zusätzlich braucht, um die Arbeit zu prüfen), aber er verwandelt eine „vielleicht richtige“ Antwort in eine „maschinenverifizierte“ Antwort. Für die besten Modelle kostete diese Verifizierung fast nichts an Geschwindigkeit, was beweist, dass dieser Zwei-Modi-Ansatz ein praktischer Weg ist, um smartere, sicherere KI-Assistenten zu bauen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.