Answer Engineering: Local Trajectory Editing for Protocol-Constrained Decision Making in Large Language Models

Technische Zusammenfassung: Answer Engineering

Problemstellung
Große Sprachmodelle (LLMs) generieren oft selbstbewusst falsche Antworten in Bereichen, die eine strikte Einhaltung prozeduraler Protokolle erfordern, wie etwa in der klinischen Medizin. Schrittweise Argumentationstechniken (z. B. Chain-of-Thought) verbessern zwar Struktur und Transparenz, verhindern jedoch häufig keine Fehler in protokollgebundenen Settings. Anstatt Ausfälle zu eliminieren, verschiebt das Argumentieren oft die Fehlerverteilung. Empirische Studien deuten darauf hin, dass Modelle Erklärungen generieren können, die eher als post-hoc Rationalisierungen denn als getreue Ableitungen der endgültigen Antwort fungieren. Folglich können sich Modelle frühzeitig auf eine Entscheidung festlegen und diese nachträglich rechtfertigen oder Zwischenschritte generieren, die inkonsistent mit den Domänenregeln sind. In regulierten Umgebungen kann eine Antwort plausibel erscheinen, aber operativ ungültig sein, wenn sie obligatorische prozedurale Prüfungen oder Unterscheidungen auslässt. Bestehende Ansätze, einschließlich Prompting, Constrained Decoding und Post-hoc-Validierung, adressieren diese Probleme oft indirekt, global oder erst nach Abschluss der Generierung, wodurch sie nicht innerhalb des sich entwickelnden Argumentationspfads intervenieren können.

Methodik: Answer Engineering
Dieses Paper schlägt Answer Engineering vor, eine deterministische Runtime- und Autoren-Schicht, die eine lokalisierte Trajektorien-Intervention während der autoregressiven Generierung durchführt. Im Gegensatz zu Methoden, die ein Retraining des Modells oder eine globale Suche erfordern, agiert Answer Engineering als Kontrollfläche über das Standard-Decoding und erzwingt die Protokollkonformität durch regelbasierte Edits des generierten Argumentationspfads.

Der Kernmechanismus beruht auf der Eigenschaft des präfix-konditionierten Decodings: In einem autoregressiven Transformer hängt die Verteilung zukünftiger Token ausschließlich vom sichtbaren Präfix ab. Daher definieren lokale Edits an der Argumentationstrajektorie den Kontext für die nachfolgende Generierung neu, ohne die Modellparameter zu verändern.

Das Framework implementiert drei Klassen von Interventionen, die durch deklarative Regeln ausgelöst werden, die von Domänenexperten erstellt wurden:

1. Vergangenheit editieren (Retroaktiver Bereichsersatz): Wenn ein Trigger einen Verstoß anzeigt (z. B. eine falsche Schlussfolgerung), ersetzt das System den betreffenden Bereich durch einen gültigen Kandidaten, der basierend auf der Modell-Likelihood ausgewählt wurde.
2. Aus aktuellen Fortsetzungen auswählen (Lokaler Rollback): Bei Erkennung eines Triggers führt das System einen Rollback zum Beginn des Edit-Bereichs durch, generiert mehrere Kandidaten-Fortsetzungen und wählt die am höchsten bewertete gültige Option gemäß den Protokollregeln aus.
3. Die Zukunft erzwingen (Insertion): Wenn ein Protokoll eine spezifische Aussage erfordert (z. B. eine Warnung zur Dringlichkeit), fügt das System einen vordefinierten gültigen Kandidaten an den aktuellen Präfix an und führt die Generierung durch diese erzwungenen Token fort.

Die Runtime arbeitet als Kontrollschleife: Sie überwacht die Trajektorie auf Regel-Trigger, schlägt Kandidaten-Edits vor, bewertet diese mittels der eigenen Likelihood-Funktion des Modells und wendet die ausgewählte Intervention an, bevor sie mit dem Decoding fortfährt. Dieser Prozess beinhaltet den Neuaufbau des KV-Caches ab dem frühesten modifizierten Token, um sicherzustellen, dass die Generierung vom korrigierten Zustand aus fortgesetzt wird.

Zentrale Beiträge
Das Paper leistet drei wesentliche Beiträge:

1. Ein Decoding-Zeit-Runtime-Mechanismus: Ein Framework zur Durchsetzung der Protokollkonformität durch lokalisierte Trajektorien-Intervention während der Generierung, was die Notwendigkeit eines Modell-Retrainings oder einer globalen Suche eliminiert.
2. Eine regelbasierte Kontrollabstraktion: Eine Methode zur Spezifikation domänenspezifischer prozeduraler Einschränkungen als interpretierbare Trajektorien-Edit-Operationen, die es Domänenexperten ermöglichen, zulässige Edits zu definieren, ohne den Modellcode zu ändern.
3. Empirische Evaluierung: Ein Nachweis, dass schrittweise Argumentation allein die Protokollkonformität in strukturierten Entscheidungsaufgaben verringern kann und dass lokalisierte Trajektorien-Intervention die konforme Ergebnisqualität erheblich verbessert.

Experimentelle Ergebnisse
Der Ansatz wurde auf einem klinischen Benchmark im Bereich des plötzlichen sensorineuralen Hörverlusts (SSNHL) evaluiert, der eine Differenzialdiagnose zwischen SSNHL und konduktivem Hörverlust basierend auf Weber- und Rinne-Stimmgabelbefunden erfordert. Die Evaluierung nutzte einen deterministischen Datensatz von 2.000 synthetischen Fällen (1.000 SSNHL, 1.000 konduktiv) und das OpenMeditron/Meditron3-8B Modell.

Wesentliche Erkenntnisse umfassen:

• Versagen der Argumentations-Baseline: Unter einer schrittweisen Argumentations-Baseline sank die konforme Auszahlungsrate für die Zielbedingung SSNHL von 54,5 % (ungesteuert) auf 25,1 %, während die Leistung bei der kontrastiven konduktiven Bedingung von 1,6 % auf 58,9 % stieg. Dies zeigt, dass das Argumentieren allein Fehler verschoben statt sie zu verhindern.
• Erfolg der Trajektorien-Editierung: Die Anwendung des vollständigen Trajektorien-Editing-Stacks (Kombination aus lokaler Validierung, Ersatz und erzwungener Insertion) steigerte die konformen Ergebnisse für die Zielbedingung SSNHL auf 83,5 % und die Protokolltreue für die kontrastive konduktive Bedingung auf 77,9 %.
• Balancierte Genauigkeit: Die balancierte Genauigkeit über beide Bedingungen hinweg verbesserte sich von 42,0 % (Argumentations-Baseline) auf 80,7 % durch Trajektorien-Editing.
• Runtime-Overhead: Die Intervention verursachte eine Verlangsamung um das 2,78-fache für SSNHL-Fälle und um das 1,33-fache für konduktive Fälle im Vergleich zur Argumentations-Baseline.
• Fehleranalyse: Die Autoren merken an, dass die Methode die Ergebnisse zwar signifikant verbessert, aber keine gleichmäßige Stabilität des Argumentierens garantiert. In einigen Fällen zeigt das Modell eine „Commitment-Persistenz“, indem es trotz wiederholter lokaler Reparaturen wiederholt eine vorzeitige diagnostische Schließung anstrebt.

Bedeutung und Ansprüche
Das Paper behauptet, dass Answer Engineering zeigt, dass Zuverlässigkeit in protokollgesteuerten Argumentationsprozessen nicht allein eine Eigenschaft des Modelltrainings ist, sondern als eine operationale Eigenschaft behandelt werden kann, die durch Runtime-Kontrolle geformt wird. Die Ergebnisse legen nahe, dass viele Fehler in protokollgebundenen Generierungsprozessen strukturelle Verletzungen sind (z. B. ausgelassene Schritte, lokale Inkonsistenzen), die durch domänenspezifische Protokolle ohne Retraining korrigiert werden können.

Die Autoren positionieren diese Arbeit als eine Machbarkeitsstudie unter strukturierten Bedingungen. Sie betonen explizit, dass die Evaluierung eine wohldefinierte diagnostische Grenze isoliert, um Argumentationsfehler beobachtbar und korrigierbar zu machen. Sie beanspruchen nicht, eine allgemeine Lösung für alle Probleme der Argumentationszuverlässigkeit zu sein, und räumen ein, dass reale Arbeitsabläufe interagierende Protokolle, partielle Beobachtbarkeit und evolvierende Leitlinien beinhalten. Die Bedeutung liegt in der Bereitstellung einer Systemperspektive, in der die Protokolltreue durch explizite Kontrolle des Generierungsverhaltens technisch gestaltet wird, was einen Weg zur Verbesserung der Compliance in regulierten Bereichen eröffnet, in denen Standard-Argumentationstechniken unzureichend geblieben sind.