PRECEPT: Planning Resilience via Experience, Context Engineering & Probing Trajectories A Unified Framework for Test-Time Adaptation with Compositional Rule Learning and Pareto-Guided Prompt Evolution

Die Arbeit stellt PRECEPT vor, ein einheitliches Framework für die Anpassung von LLM-Agenten zur Laufzeit, das durch deterministische Regelabrufe, konfliktbewusstes Gedächtnis und einen pareto-gesteuerten Prompt-Evolutionsmechanismus (COMPASS) die Zuverlässigkeit, Kompositionsfähigkeit und Robustheit gegenüber veralteten oder adversarischen Informationen signifikant verbessert.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen sehr intelligenten, aber manchmal etwas chaotischen Assistenten (eine KI), der Ihnen helfen soll, komplexe Aufgaben zu erledigen – etwa eine globale Logistikkette zu planen oder Flugtickets zu buchen. Das Problem ist: Je mehr Regeln und Bedingungen dieser Assistent kennen muss, desto mehr verliert er den Überblick. Er beginnt, Dinge zu verwechseln, alte Informationen zu ignorieren oder sich in Widersprüchen zu verlieren.

Die Forscher um Arash Shahmansoori haben eine Lösung namens PRECEPT entwickelt. Man kann sich PRECEPT nicht als einen einzelnen neuen Trick vorstellen, sondern als ein vollständiges Betriebssystem für einen KI-Agenten, das drei Hauptkomponenten vereint, um den Assistenten zuverlässig, lernfähig und widerstandsfähig zu machen.

Hier ist die Erklärung in einfachen Bildern:

1. Das perfekte Archiv (Deterministische Suche)

Das Problem: Herkömmliche KIs speichern Wissen wie in einem großen, unordentlichen Notizbuch. Wenn sie etwas suchen, lesen sie den Text und versuchen, den Sinn zu "erraten". Bei vielen Bedingungen (z. B. "Wenn es regnet UND der Hafen geschlossen ist UND das Schiff alt ist...") geraten sie in Panik und machen Fehler. Es ist, als würde man versuchen, ein bestimmtes Buch in einer Bibliothek zu finden, indem man nur nach dem Geruch der Tinte sucht.

Die PRECEPT-Lösung: PRECEPT gibt dem Assistenten einen perfekten, digitalen Katalog. Jede Regel ist nicht ein langer Text, sondern ein eindeutiger Schlüssel (wie ein Barcode oder ein QR-Code).

• Die Analogie: Statt zu raten, welcher Schlüssel passt, scannt der Assistent einfach den Code. Das Ergebnis ist sofort und zu 100 % korrekt.
• Der Clou: Der Assistent kann diese einzelnen Schlüssel wie LEGO-Steine kombinieren. Wenn er 10 kleine Regeln kennt, kann er damit automatisch Tausende von komplexen Situationen lösen, ohne sie jemals explizit gelernt zu haben. Das ist wie ein Koch, der nicht jede einzelne Speisekarte auswendig lernen muss, sondern nur die Grundrezepte kennt und daraus jede erdenkliche Kombination kochen kann.

2. Der weise Richter (Konfliktlösung & Gedächtnis)

Das Problem: Was passiert, wenn der Assistent zwei widersprüchliche Informationen hat? Vielleicht steht in einem alten Handbuch (statisches Wissen), dass ein Hafen offen ist, aber ein Live-Feed (dynamisches Wissen) sagt, er ist geschlossen. Oder die Welt ändert sich, und eine alte Regel ist plötzlich falsch (Drift). Herkömmliche KIs bleiben oft stur bei ihrer ersten Meinung oder werden verwirrt.

Die PRECEPT-Lösung: PRECEPT hat einen intelligenten Richter im Kopf, der wie ein erfahrener Schiedsrichter agiert.

• Die Analogie: Stellen Sie sich vor, der Assistent hat ein "Gedächtnisbuch", in dem er nicht nur Fakten, sondern auch die Zuverlässigkeit der Quelle notiert. Wenn eine alte Regel (z. B. aus einem veralteten Buch) gegen eine neue Erfahrung (z. B. ein aktueller Fehlerbericht) verstößt, nutzt der Richter eine mathematische Methode (Bayessche Wahrscheinlichkeit), um zu entscheiden: "Das alte Buch ist wahrscheinlich falsch, die neue Erfahrung gewinnt."
• Der "Rotkäppchen-Effekt": Das System lernt aus Fehlern, indem es sich eine Liste der "verbotenen Wege" merkt. Wenn der Assistent einmal in eine Sackgasse läuft, wird dieser Weg für immer gesperrt. Er läuft nicht zweimal in denselben Fehler. Das verhindert, dass er sich in Kreisen dreht.

3. Der Coach, der den Trainingsplan anpasst (COMPASS)

Das Problem: Selbst mit einem guten Archiv und einem Richter kann der Assistent manchmal ineffizient sein oder den falschen "Ansatz" (Prompt) wählen, um eine Aufgabe zu lösen.

Die PRECEPT-Lösung: PRECEPT hat einen Coach namens COMPASS, der den Assistenten beobachtet und seinen Trainingsplan optimiert.

• Die Analogie: Der Coach schaut sich an, wie der Assistent eine Aufgabe löst. Wenn es zu lange dauert oder der Assistent stolpert, sagt der Coach: "Hey, versuche es mal mit einer anderen Formulierung!" Er testet verschiedene "Denk-Ansätze" (Prompts) und behält nur die besten bei.
• Der Unterschied: Andere Systeme fragen die KI selbst: "Warst du gut?" (was oft zu Lügen führt). COMPASS schaut jedoch auf die echten Ergebnisse: "Hat die Lieferung angekommen?" oder "Hat die Buchung funktioniert?". Nur wenn es wirklich funktioniert, wird der neue Ansatz gespeichert.

Warum ist das so wichtig?

In der realen Welt (wie bei Lieferketten, Finanztransaktionen oder medizinischen Diagnosen) reicht "gut genug" oder "wahrscheinlich richtig" nicht aus. Man braucht Zuverlässigkeit.

• Bisherige KIs sind wie ein genialer Student, der viel weiß, aber bei Stress vergisst, was er gelernt hat, oder alte Informationen falsch interpretiert.
• PRECEPT ist wie ein Profi-Team: Ein perfekter Archivar (für die Fakten), ein strenger Richter (für die Widersprüche) und ein strategischer Coach (für die Effizienz).

Das Ergebnis:
In Tests hat PRECEPT gezeigt, dass es Aufgaben beim ersten Versuch viel häufiger richtig löst als andere Systeme (plus 41 % Erfolg). Es lernt schneller, vergisst weniger und passt sich an, wenn sich die Welt ändert. Es macht aus einer chaotischen, ratenden KI einen verlässlichen, strukturierten Mitarbeiter, auf den man sich in kritischen Situationen verlassen kann.

Kurz gesagt: PRECEPT bringt der KI nicht nur mehr Wissen bei, sondern gibt ihr die Struktur, dieses Wissen auch dann korrekt anzuwenden, wenn es kompliziert wird.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „PRECEPT: Planning Resilience via Experience, Context Engineering & Probing Trajectories" auf Deutsch.

1. Problemstellung

Große Sprachmodelle (LLMs), die Wissen als natürliche Sprache speichern (z. B. durch Reflexion oder verbale Erinnerungen), stoßen in realen Anwendungen auf vier fundamentale Grenzen:

• Exponentieller Abbau der Abrufgenauigkeit: Mit steigender Anzahl von Bedingungen ($N$) nimmt die Zuverlässigkeit der semantischen Suche ab. Das Paper zitiert ein Modell (Theorem B.6), das bei $N=10$ Bedingungen eine Fehlerquote von 94,4 % bei Teilübereinstimmungen vorhersagt.
• Explosion der Komposition: Das Lernen aller möglichen Kombinationen von $N$ atomaren Regeln erfordert exponentiellen Trainingsaufwand ($O(2^N)$).
• Blindheit gegenüber Drift: Veraltete Regeln bleiben oft bestehen, da es keine Mechanismen gibt, um veraltetes Wissen dynamisch zu invalidieren.
• Ineffiziente Stichproben: Reinforcement Learning (RL) benötigt oft über 100 Episoden pro Regel ($\beta > 100$), während der Einsatz in der Praxis oft nur wenige Beispiele zulässt ($\beta \le 3$).

Zudem leiden Agenten unter dem Konflikt zwischen statischem Vorwissen (z. B. veraltete Dokumentationen) und dynamischen Umgebungsänderungen sowie der Unfähigkeit, adversarisches Wissen (falsche, aber plausible Ratschläge) zu erkennen.

2. Methodik: Das PRECEPT-Framework

PRECEPT ist ein einheitliches Framework für die Anpassung zur Laufzeit (Test-Time Adaptation), das drei eng gekoppelte Komponenten nutzt, um deterministische Entscheidungen zu treffen und LLM-Interpretationsfehler zu umgehen.

A. Deterministische, exakte Regelabrufmechanik

Statt semantischer Ähnlichkeit verwendet PRECEPT strukturierte Bedingungsschlüssel für einen $O(1)$-exakten Hash-Lookup.

• Semantische Hierarchie: Regeln werden in Ebenen (Tiers) unterteilt: Sicherheit (Tier 3) > Compliance (Tier 2) > Präferenzen (Tier 1).
• Komposition: Durch das Stapeln atomarer Präzepte (atomic precepts) kann das System $2^N - 1$komplexe Szenarien aus nur$N$ gelernten atomaren Regeln ableiten, ohne jedes Szenario separat trainieren zu müssen.
• Vorteil: Eliminiert Interpretationsfehler auf dem deterministischen Pfad (0 % Fehler bei exakten Matches).

B. Evo-Memory und Konfliktlösung

Das System nutzt eine wachsende Historie von Fehlern und Einschränkungen, inspiriert vom „Digital Red Queen"-Prinzip (kontinuierliche Anpassung an Gegner).

• Typ I (Statisch vs. Dynamisch): Ein Ensemble-Detektor (6 Methoden, einschließlich NLI und semantischer Muster) erkennt Konflikte zwischen statischem Wissen und dynamischen Erfahrungen. Die Lösung erfolgt durch Bayesianische Zuverlässigkeit und Thompson Sampling, um die Quelle mit höherer Zuverlässigkeit zu bevorzugen.
• Typ II (Regel-Drift): Wenn eine Regel fehlschlägt, wird ihre Konfidenz halbiert ($c \times 0,5$). Nach einem Schwellenwert von zwei aufeinanderfolgenden Fehlern ($\theta=2$) wird die Regel dauerhaft invalidiert und aus dem Speicher gelöscht. Dies verhindert, dass veraltete Regeln das System blockieren.
• RefineInterceptor: Ein deterministischer Pruning-Mechanismus, der sicherstellt, dass bereits gescheiterte Optionen niemals erneut versucht werden ($P(\text{Wiederholung}) = 0$).

C. COMPASS (Prompt Evolution)

COMPASS ist eine adaptive Schicht, die die System-Prompts des Agenten optimiert.

• Dual-Frequency-Control:
  • Hochfrequenz: Laufzeit-Monitoring von Aktionen und Fehlern ($O(1)$).
  • Niedrigfrequenz: Ereignisgesteuerte Evolution von Prompts.
• Pareto-Optimierung: Kandidaten-Prompts werden nach zwei Zielen bewertet: Erfolgsrate und Schritteffizienz. Eine Pareto-Front filtert dominierte Kandidaten heraus.
• Verifizierte Evolution: Prompts werden nicht durch Heuristiken, sondern durch tatsächliche Ausführung im Agenten-Umfeld bewertet (Binary Success/Failure Signal), um „Solution Leakage" zu vermeiden.

3. Schlüsselbeiträge

1. Kompositionales Regel-Lernen mit deterministischem Abruf: Ermöglicht die Ableitung komplexer Policies aus wenigen atomaren Regeln ohne exponentielle Trainingskosten.
2. Einheitliche Konfliktlösung und Drift-Anpassung: Ein Framework, das sowohl Konflikte zwischen Wissensquellen (statisch/dynamisch) als auch Umgebungsdrift durch Bayesianische Inferenz und Schwellenwert-Invaliderung handhabt.
3. COMPASS: Eine duale Adaptationsschicht, die Prompts evolutionär optimiert und dabei die gleiche deterministische Pipeline nutzt, die auch die Aufgaben löst.
4. Theoretische Garantien: Das Paper liefert geschlossene Formeln für die Drift-Resilienz (64-fach besser als Baselines) und die Eliminierung zyklischer Fehler.

4. Ergebnisse

Die Evaluation umfasste 9–10 unabhängige Seeds über drei Domänen (Integration, Buchung, Logistik) mit unterschiedlicher Komplexität.

• Erster Versuch (First-Try Success): PRECEPT erreicht einen +41,1 Prozentpunkten (pp) Vorteil gegenüber „Full Reflexion" und +33,3 pp gegenüber „ExpeL".
• Kompositionelle Generalisierung: PRECEPT erreicht 100 % Erfolg bei 2-fachen Logistik-Kompositionen (vs. ~57 % bei Baselines) und zeigt einen +33,3 pp Vorteil in der Generalisierung.
• Kontinuierliches Lernen: PRECEPT verbessert sich um +40 bis +55 pp über sequenzielle Episoden hinweg, während Baselines stagnieren oder nur geringe Fortschritte machen.
• Adversarisches Wissen: Unter Bedingungen mit absichtlich falschem statischem Wissen (Adversarial Static Knowledge) bleibt PRECEPT robust und erholt sich durch Konfliktlösung, während Baselines dauerhaft scheitern.
• Drift-Anpassung: Bei plötzlichen Änderungen der Umgebung (Drift) zeigt PRECEPT eine +55,0 pp Erholung, während Baselines kaum reagieren oder sich verschlechtern.
• Effizienz: PRECEPT benötigt 61 % weniger Schritte als Baselines (durchschnittlich 2,32 vs. 5,89 Schritte), da es deterministisch und ohne Trial-and-Error agiert.
• Statistische Signifikanz: Die Ergebnisse sind statistisch signifikant (oft $p < 0,001$) mit großen Effektstärken (Cohen's $d > 1,5$).

5. Bedeutung und Fazit

PRECEPT stellt einen Paradigmenwechsel dar: Anstatt zu hoffen, dass LLMs durch bessere Prompts oder größere Modelle zuverlässiger werden, umgeht das Framework die generativen Verzerrungen des LLMs durch eine strukturierte Architektur.

• Determinismus dort, wo es zählt: Exakte Regeln für kritische Entscheidungen.
• Bayesianische Inferenz für Vertrauen: Dynamische Bewertung der Wissensquellen.
• Struktur statt Skalierung: Die Zuverlässigkeit wird durch Architektur (Hash-Lookup, Konfliktlösung) garantiert, nicht durch reine Rechenleistung.

Das Framework ist besonders relevant für Hochrisiko-Domänen wie Logistik, Gesundheitswesen oder Finanzregulierung, wo deterministische Entscheidungen, Nachvollziehbarkeit (Auditability) und die Fähigkeit, sich an verändernde Umgebungen anzupassen, entscheidend sind. PRECEPT beweist, dass strukturierte Agenten-Architekturen überlegene Ergebnisse erzielen können, ohne auf die Black-Box-Natur von Reinforcement Learning oder die Unzuverlässigkeit rein verbaler Reflexion angewiesen zu sein.