💬 NLP

MANTRA: Synthesizing SMT-Validated Compliance Benchmarks for Tool-Using LLM Agents

Das Papier stellt MANTRA vor, ein Framework, das automatisch skalierbare, maschinell überprüfbare Compliance-Benchmarks für Tool-verwendende LLM-Agenten synthetisiert und formal validiert, indem es symbolische Weltmodelle und SMT-validierte Spur-Level-Checks aus natürlichen sprachlichen prozeduralen Handbüchern generiert.

Ursprüngliche Autoren: Ashwani Anand, Ivi Chatzi, Ritam Raha, Anne-Kathrin Schmuck

Veröffentlicht 2026-05-08

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ashwani Anand, Ivi Chatzi, Ritam Raha, Anne-Kathrin Schmuck

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten, hilfsbereiten Roboterassistenten (einen KI-Agenten), der Werkzeuge nutzen kann, um Dinge für Sie zu erledigen, wie etwa Flugbuchungen, die Bestellung von Hardware oder die Verwaltung von Patientenakten. Dieser Roboter arbeitet jedoch in einer strengen Büroumgebung, in der er ein massives, 50-seitiges Regelbuch befolgen muss, das in einfacher englischer Sprache verfasst ist.

Das Problem? Das Regelbuch ist für Menschen geschrieben, aber der Roboter spricht in „Tool Calls" (digitale Befehle). Zu prüfen, ob der Roboter die Regeln befolgt hat, ist wie der Versuch, die Aufsatzarbeit eines Schülers nur anhand seines Kladdepapiers zu benoten, ohne zu wissen, ob er tatsächlich den Anweisungen des Lehrers gefolgt ist.

Die Lösung: MANTRA
Die Autoren dieses Papiers haben ein System namens MANTRA (Manual-to-Test-Translation) entwickelt. Denken Sie an MANTRA als einen automatisierten, überstrengen Qualitätskontrollinspektor, der eine „Probefahrt" für diese Roboterassistenten erstellt.

So funktioniert es, anhand einer einfachen Analogie:

1. Das Rezept und der Koch

Das Regelbuch (Das Handbuch): Stellen Sie sich ein komplexes Rezept für einen Soufflé vor, das besagt: „Wenn die Eier frisch sind, schlagen Sie sie auf; wenn nicht, kaufen Sie mehr. Öffnen Sie die Ofentür niemals vor 20 Minuten."
Der Roboter (Der Agent): Dies ist der Koch, der versucht, den Soufflé zuzubereiten.
Das Problem: Wie wissen Sie, ob der Koch das Rezept befolgt hat? Hat er zuerst die Eier geprüft? Hat er zu früh in den Ofen geschaut?

2. Den Test erstellen (Das „Weltmodell")

Anstatt nur einen Menschen zu bitten, das Rezept zu lesen und dann den Koch zu beobachten (was langsam ist und anfällig für menschliche Fehler), macht MANTRA etwas Cleveres. Es nimmt das Rezept und die Liste der Werkzeuge, die dem Koch zur Verfügung stehen (Schneebesen, Ofen, Timer), und baut automatisch eine digitale Simulation der Küche.

Das Weltmodell: Dies ist ein digitaler Zwilling der Regeln. Es weiß: „Wenn die Eier nicht frisch sind, kann das Werkzeug Schneebesen noch nicht verwendet werden."
Die Prüfungen: MANTRA generiert zudem eine Liste spezifischer Dinge, auf die man achten muss, wie zum Beispiel: „Hat der Koch die Eier geprüft, bevor er sie aufgeschlagen hat?"

3. Der „Mathe-Detektiv" (SMT-Lösung)

Hier kommt der magische Teil. Da sowohl das Rezept als auch die Prüfungen von einer KI verfasst wurden (die manchmal Fehler machen oder halluzinieren kann), vertraut MANTRA ihnen nicht einfach. Es nutzt eine mathematische Logik-Engine (einen sogenannten SMT-Solver), der als „Mathe-Detektiv" fungiert.

Der Abgleich: Der Detektiv fragt: „Gibt es irgendeine Möglichkeit, dass der Koch der Liste der Prüfungen folgt, aber gegen die Regeln des Weltmodells verstößt?"
Die Reparatur-Schleife: Wenn der Detektiv eine Lücke findet (z. B. sagen die Prüfungen „Schlagen Sie die Eier auf", aber das Weltmodell sagt „Die Eier müssen zuerst frisch sein"), korrigiert es den Test automatisch. Es wiederholt dies, bis der Test mathematisch perfekt ist.
Menschliche Unterstützung: Nur wenn der Mathe-Detektiv stecken bleibt, greift ein Mensch ein, um die letzten Details zu korrigieren.

4. Das Ergebnis: Eine perfekte Prüfung

Das Endprodukt ist eine Benchmark-Suite. Dies ist eine Sammlung von 285 verschiedenen „Prüfungsfragen" in 6 verschiedenen Bereichen (wie Flugbuchung, Patientensicherheit im Krankenhaus und Hardware-Bestellung).

Deterministische Benotung: Im Gegensatz zu anderen Tests, bei denen ein Mensch oder eine andere KI raten muss, ob der Roboter eine gute Arbeit geleistet hat, sind die Tests von MANTRA wie ein Multiple-Choice-Scantron. Der Roboter hat entweder die exakte Reihenfolge der erforderlichen Tool-Calls befolgt oder er hat es nicht. Es gibt kein Raten.
Das Aufspüren von Fehlern: Als die Autoren 6 verschiedene KI-Modelle an diesen Prüfungen testeten, stellten sie fest, dass die meisten Roboter scheiterten, weil sie „Leseschritte" übersprangen. Beispielsweise versuchten sie, eine Bestellung zu „schreiben", bevor sie „prüften", ob der Artikel auf Lager war. Die detaillierten Tests von MANTRA fingen diese spezifischen Fehler auf und zeigten genau, wo die Roboter versagten.

Zusammenfassung

MANTRA ist ein Framework, das unordentliche, von Menschen geschriebene Regelbücher in saubere, mathematisch verifizierte Tests für KI-Agenten verwandelt. Es verwendet eine „Generieren, Abgleichen und Reparieren"-Schleife, um sicherzustellen, dass die Tests fair und genau sind, und ermöglicht es uns, zuverlässig zu erkennen, ob KI-Agenten tatsächlich die Regeln befolgen oder einfach nur improvisieren.

Wichtigste Erkenntnis: Genau wie Sie einem selbstfahrenden Auto nicht ohne rigorose, mathematisch verifizierte Crashtests vertrauen würden, sollten Sie einem KI-Agenten, der Werkzeuge nutzt, nicht ohne ein System wie MANTRA vertrauen, das verifiziert, dass er das Handbuch befolgt.

Technische Zusammenfassung: MANTRA – Synthese von SMT-validierten Compliance-Benchmarks

Problemstellung

Toolnutzende Large-Language-Model-(LLM)-Agenten werden zunehmend in kritischen Bereichen wie Unternehmensoperationen, Gesundheitswesen und Reisebuchung eingesetzt, wo ihr Verhalten strikten Verfahrensmanualen entsprechen muss. Eine fundamentale Herausforderung bei der Bewertung dieser Agenten ist die „Diskrepanz" zwischen Eingabe und Ausgabe: Verfahrensregeln sind typischerweise als unstrukturierte natürliche Sprache für die menschliche Interpretation verfasst, während sich das Agentenverhalten als Folge von Tool-Aufrufen (Ausführungsspuren) manifestiert.

Bestehende Bewertungsmethoden leiden unter erheblichen Einschränkungen:

Manuelle Erstellung: Die manuelle Erstellung von Benchmarks ist qualitativ hochwertig, skaliert jedoch nicht auf große, komplexe Manuale oder neue Domänen.
LLM-basierte Richter: Obwohl einfacher einzusetzen, haben diese Richter Schwierigkeiten, strenge zeitliche Constraints, Vorbedingungen und verbotene Aktionen über lange Ausführungsspuren hinweg zuverlässig durchzusetzen, was zu unzuverlässigen Bewertungen führt.
Nur-Ergebnis-Bewertung: Viele Benchmarks prüfen lediglich den Endzustand und erkennen nicht, ob ein Agent ein korrektes Ergebnis über einen nicht-konformen Verfahrensweg erreicht hat.

Es fehlt eine skalierbare, reproduzierbare Methode, um automatisch auf Traces basierende Compliance-Benchmarks aus natürlichen Sprachmanualen zu generieren, die eine deterministische, maschinenprüfbare Benotung bieten.

Methodik: Das MANTRA-Framework

MANTRA (MANual-to-Test-tRAnslation) ist ein Framework, das entwickelt wurde, um automatisch Compliance-Benchmarks aus natürlichen Sprachverfahrensdokumenten und Tool-Schemata zu synthetisieren. Es arbeitet durch eine dreistufige Pipeline, die LLM-Generierung mit formaler Verifikation kombiniert:

1. Dokumentenverarbeitung und Szenariengenerierung

Aufbau eines Abhängigkeitsgraphen: Das System verarbeitet ein Verfahrensmanual ( $D$ ) und konstruiert einen Abhängigkeitsgraphen ( $G_D$ ), bei dem Knoten Inhaltsblöcke (z. B. Absätze) und Kanten hierarchische sowie Referenzbeziehungen repräsentieren.
Abdeckungsgesteuertes Sampling: Um die Aufgabenkomplexität zu steuern und eine breite Abdeckung sicherzustellen, sampelt MANTRA Teilgraphen ( $G_{DS}$ ) aus $G_D$ . Kleine, dichte Teilgraphen ergeben einfache Szenarien; größere oder lose verbundene Teilgraphen induzieren komplexe Szenarien, die mehrere Regeln betreffen.
Tool-Relevanz und Szenariosynthese: Für jede Stichprobe identifiziert ein LLM relevante Tools ( $T_S$ ) und generiert konkrete Szenarien ( $\lambda$ ). Jedes Szenario umfasst einen Prompt in natürlicher Sprache ( $p_\lambda$ ) und eine Wertzuweisung von Variablen, einschließlich interner Zustandsvariablen (z. B. „Anfrage ist ausstehend"), die im Prompt explizit gemacht werden, um den Agenten zu lenken.

2. Prüfungsgenerierung und Erstellung des Weltmodells

Um Compliance deterministisch zu bewerten, generiert MANTRA für jedes Szenario zwei unabhängige Artefakte:

Traces-basierte Prüfungen ( $C_\lambda$ ): Ein LLM generiert eine Menge boolescher Prüfungen, die erforderliche Tool-Aufrufe, verbotene Aufrufe und zeitliche Reihenfolgen spezifizieren (z. B. muss check_inventory vor assign_warehouse_picker ausgeführt werden). Diese Prüfungen werden mit konkreten Argumentwerten verankert.
Symbolisches Weltmodell ( $W_S$ ): Unabhängig davon generiert ein LLM ein Weltmodell, das die Verfahrensregeln als Zustandsübergangssystem darstellt. Dieses Modell wird in einer typisierten domänenspezifischen Sprache (DSL) ausgedrückt, die Zustandsvariablen, Tool-Vorbedingungen und Nachbedingungen definiert. Diese Abstraktion ermöglicht eine kompakte Darstellung komplexer Verfahrenlogik.

3. Kreuzvalidierung via SMT-Lösung

Die Kerninnovation von MANTRA ist die Verwendung von Satisfiability Modulo Theories (SMT)-Lösern (insbesondere Z3) zur Kreuzvalidierung der generierten Prüfungen und des Weltmodells.

Begrenzte Modellprüfung: Sowohl $C_\lambda$ als auch $W_S$ werden in begrenzte SMT-Kodierungen ( $b\Phi_h$ ) über einen Traces-Horizont $h$ kompiliert.
Konfliktsuche: Das System sucht nach zwei Arten von Inkonsistenzen:
1. Vorwärtskonflikt: Traces, die die Prüfungen erfüllen, aber das Weltmodell verletzen (was darauf hindeutet, dass die Prüfungen zu schwach oder das Modell zu restriktiv sind).
2. Rückwärtskonflikt: Traces, die das Weltmodell erfüllen, aber eine spezifische Prüfung verletzen (was darauf hindeutet, dass die Prüfung zu restriktiv ist).
Strukturierter Reparaturloop: Wenn Konflikte gefunden werden, setzt MANTRA einen Reparaturloop ein:
- Weltmodell-Resolution: Wenn mehrere Szenarien aus derselben Stichprobe einen Konflikt teilen, schlägt ein LLM eine gemeinsame Reparatur des Weltmodells vor (z. B. das Hinzufügen einer fehlenden Vorbedingung).
- Prüfungs-Resolution: Wenn Konflikte bestehen bleiben, identifiziert und repariert das System spezifische Prüfungen für einzelne Szenarien.
- Deterministische Bearbeitungen: Reparaturen werden über eine typisierte Bearbeitungssprache angewendet, um Wohlgeformtheit sicherzustellen, gefolgt von Neukompilierung und Neubewertung.
Mensch im Loop: Wenn automatisierte Reparaturen nach einer festgelegten Anzahl von Iterationen fehlschlagen, markiert das System das Szenario für eine strukturierte menschliche Überprüfung, bei der ein Prüfer Mehrdeutigkeiten manuell auflösen kann.

Hauptbeiträge

Automatisierte Pipeline: Eine vollständig automatisierte Pipeline zur Umwandlung von natürlichen Sprachmanualen und Tool-Schemata in maschinenprüfbare Benchmarks mit kontrollierbarer Aufgabenkomplexität und deterministischer Benotung.
Formulierung mit zwei Artefakten: Die Trennung von Traces-basierten Prüfungen und symbolischen Weltmodellen, die via SMT-Lösung kreuzvalidiert werden. Dies ermöglicht die automatische Identifizierung und Reparatur von Inkonsistenzen, bevor Benchmarks akzeptiert werden, und minimiert menschliches Eingreifen.
Benchmarksuite: Die Erstellung einer neuen Benchmarksuite mit 285 vielfältigen Aufgaben über 6 Domänen (Operations, Sneaky Sasquatch, Cabin Safety, Retail, Airline, Telecom). Diese Aufgaben skalieren auf Verfahrensmanuals von bis zu ~16.000 Wörtern und 148 Tools mit minimalem menschlichem Aufwand.
Granulare Fehleranalyse: Das Framework bietet Traces-basierte Prüfungen, die eine detaillierte Fehlersuche bei Agentenversagensmodi ermöglichen und zwischen fehlenden Aufrufen, Reihenfolgeverletzungen und verbotenen Aktionen unterscheiden.

Ergebnisse und Bewertung

Die Autoren bewerteten das MANTRA-Framework und die daraus resultierenden Benchmarks unter Verwendung von 6 verschiedenen LLM-Agenten.

Validierungseffizienz: Die SMT-basierte Kreuzvalidierung validierte erfolgreich einen signifikanten Anteil der generierten Testfälle automatisch. Beispielsweise wurden in der Domäne „Operations" 63 von 66 generierten Fällen nach Vorwärts- und Rückwärts-Verfeinerungsrunden validiert.
Agentenleistung: Die Bewertung ergab, dass aktuelle LLM-Agenten Schwierigkeiten mit der Verfahrenskonformität haben. Die Erfolgsquoten variierten je nach Domäne erheblich, wobei „Retail" und „Airline" (aus $\tau$ -Bench) aufgrund komplexer Tool-Nutzung und nicht aufgrund der Dokumentenlänge als besonders schwierig erwiesen.
Fehlermodus-Analyse: Die Analyse von 10.895 fehlgeschlagenen Prüfungen zeigte, dass 76 % der Fehler auf „Missing-Required-Call" (Überspringen eines vorgeschriebenen Tools) oder „Missing-Anchor" (Nichtausführung der Voraussetzung für eine Reihenfolgeklausel) zurückzuführen waren.
- Ein dominantes Fehlermuster war das „vorzeitige Schreiben", bei dem Agenten Schreib-Tools aufriefen, bevor sie notwendige Lese-Abfragen durchführten.
- Das Modell Qwen3.6:36B zeigte eine überlegene Leistung, insbesondere in den Domänen Airline und Retail, indem es eine strikte Gewohnheit „Lesen vor Schreiben" beibehielt und eine Rate von 0 % vorzeitigem Schreiben in diesen Domänen erreichte.
Vergleich mit bestehenden Benchmarks: Im Gegensatz zu bestehenden Benchmarks, die auf manueller Erstellung oder LLM-Richtern beruhen, bietet MANTRA eine deterministische, Traces-basierte Bewertung, die auf große, unstrukturierte Dokumente und neue Domänen mit minimalem menschlichem Aufwand skaliert.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass MANTRA die Machbarkeit der Kombination von automatisierter Benchmark-Generierung mit formal fundierten Validierungsmethoden demonstriert, um skalierbare und zuverlässige Benchmarks für toolnutzende Agenten zu schaffen.

Zuverlässigkeit: Durch den Einsatz von SMT-Lösern zur Kreuzvalidierung von Prüfungen gegen ein Weltmodell stellt MANTRA sicher, dass Benchmarks frei von logischen Inkonsistenzen sind, die durch LLM-Halluzinationen entstehen könnten, und bietet so ein höheres Maß an Vertrauen in die Bewertungsergebnisse im Vergleich zu LLM-as-a-judge-Ansätzen.
Skalierbarkeit: Das Framework adressiert den Skalierungsengpass der manuellen Benchmark-Erstellung und ermöglicht die Bewertung von Agenten gegenüber komplexen, realen Verfahrensmanuals (bis zu 50+ Seiten) über beliebige Domänen hinweg.
Fehlersuchfähigkeit: Die Granularität der Traces-basierten Prüfungen ermöglicht es Forschern, über einfache Pass/Fail-Metriken hinauszugehen, um spezifische strukturelle Fehler im Agentenschlussfolgern zu verstehen, wie etwa die Tendenz, notwendige Vorab-Abfragen zu überspringen.

Die Autoren positionieren MANTRA nicht als alleinige Garantie für sicheres Verhalten, sondern als kritische Komponente für die Entwicklung vertrauenswürdigerer KI-Systeme in konformitätskritischen Umgebungen, die die Lücke zwischen maschinellem Lernen und formaler Verifikation schließen.