🤖 AI

Bridging Auxiliary Constraints to Resolve Instruction Following in Large Reasoning Models

Dieses Paper führt Constraint Relationship Graph Completion (CRGC) ein, ein neuartiges Framework, das das Problem der Einhaltung von Constraints (Constraint Adherence Problem) in Large Reasoning Models löst, indem es einen Wissensgraphen von Instruktionen konstruiert, um „Brücken-Constraints“ zu identifizieren und zu generieren, die konkurrierende Anforderungen in Einklang bringen, wodurch die Verletzung von Constraints um 39 % reduziert wird, ohne die Fähigkeiten zur logischen Schlussfolgerung zu beeinträchtigen.

Ursprüngliche Autoren: Zhengyi Zhao, Shubo Zhang, Huimin Wang, Zezhong Wang, Yutian Zhao, Yefeng Zheng, Binyang Li, Yulan He, Kam-Fai Wong, Xian Wu

Veröffentlicht 2026-06-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zhengyi Zhao, Shubo Zhang, Huimin Wang, Zezhong Wang, Yutian Zhao, Yefeng Zheng, Binyang Li, Yulan He, Kam-Fai Wong, Xian Wu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bitten einen sehr intelligenten, kreativen Assistenten, eine Geschichte für Sie zu schreiben. Sie geben ihm eine Liste von Regeln: „Mach es lustig“, „Halte es unter 200 Wörtern“, „Verwende nicht den Buchstaben 'e'“ und „Baue eine Katze ein“.

In der Vergangenheit hatten selbst die klügsten Assistenten (genannt Large Reasoning Models) oft Schwierigkeiten damit. Sie schrieben vielleicht eine urkomische Geschichte, die 500 Wörter lang war, oder eine kurze Geschichte, die völlig ernsthaft war, oder sie vergaßen die Katze komplett. Sie sind überfordert, wenn sie versucht sind, all diese Regeln gleichzeitig zu jonglieren, besonders wenn die Regeln gegeneinander arbeiten (wie „lustig sein“, aber gleichzeitig „kurz sein“).

Dieses Papier bezeichnet diesen Kampf als das Constraint Adherence Problem (Problem der Einhaltung von Nebenbedingungen). Es ist, als würde man einen Koch bitten, eine Mahlzeit zuzubereiten, die gleichzeitig „scharf“, „süß“, „in einer Schüssel serviert“ und „auf einem Teller serviert“ ist. Der Koch wird verwirrt und serviert Ihnen ein Chaos.

Die Lösung: Eine „Brücken“-Karte bauen

Die Autoren schlagen eine neue Art vor, mit diesen KI-Modellen zu kommunizieren, die CRGC (Constraint Relationship Graph Completion) heißt. Anstatt dem KI-Modell einfach nur eine Liste von Regeln vorzuwerfen, fungiert diese Methode wie ein Verkehrsleiter oder ein Bauleiter, noch bevor die eigentliche Arbeit beginnt.

So funktioniert es, unter Verwendung einer einfachen Analogie:

1. Der Bauplan (Der Graph)

Zuerst zerlegt das System Ihre Anfrage in einzelne Regeln (Constraints). Dann zeichnet es eine Karte (einen Graphen), die zeigt, wie diese Regeln miteinander in Beziehung stehen.

Helfen sie einander? (z. B. „Verwende Aufzählungspunkte“ hilft bei „Halte es kurz“).
Streiten sie miteinander? (z. B. „Sei sehr detailliert“ vs. „Halte es unter 200 Wörtern“).
Werden sie ignoriert? (z. B. Die KI vergisst, „die Antwort in Anführungszeichen zu setzen“).

2. Das Aufspüren von Verkehrsstaus

Das System betrachtet diese Karte und identifiziert die Problemzonen. Es erkennt, wo die Regeln kollidieren oder wo die KI wahrscheinlich abgelenkt wird und eine Regel vergisst.

3. Den Brückenbau vollziehen

Dies ist der magische Teil. Wenn das System zwei Regeln sieht, die miteinander streiten (wie „detailliert“ vs. „kurz“), sagt es der KI nicht einfach nur „Versuch es besser“. Stattdessen erfindet es eine Bridge Constraint (Brücken-Nebenbedingung).

Betrachten Sie eine Brücken-Nebenbedingung als einen Dolmetscher oder einen Mediator.

Der Konflikt: „Schreibe eine detaillierte Erklärung“ vs. „Halte es unter 200 Wörtern“.
Die Brücke: Das System fügt eine neue, hilfreiche Anweisung hinzu: „Verwende Aufzählungspunkte und Fettdruck, um maximale Informationen auf minimalem Raum unterzubringen.“

Diese neue Anweisung fungiert als Brücke. Sie gibt der KI eine konkrete Strategie an die Hand, um beide ursprünglichen Regeln zu erfüllen, ohne eine davon zu brechen. Sie verwandelt einen Konflikt in ein lösbares Rätsel.

Warum dies anders ist

Vorherige Methoden versuchten, dies zu lösen, indem sie:

Das KI-Modell härter trainierten: Als würde man einen neuen Koch einstellen und ihn monatelang unterrichten. Das ist teuer und kann dazu führen, dass der Koch verlernt, wie man andere Dinge kocht.
Die KI baten, ihre Arbeit später zu überprüfen: Als würde man den Koch bitten, zu kochen, zu probieren, festzustellen, dass es zu lang ist, und dann noch einmal zu versuchen. Das kostet viel Zeit und führt oft zu einem „Whack-a-Mole“-Problem (Hau-den-Maulwurf), bei dem das Beheben eines Fehlers einen neuen Fehler erzeugt.

CRGC ist anders, weil:

Es das Gehirn der KI nicht verändert (kein Retraining).
Es nicht wartet, bis Fehler passieren. Es plant voraus.
Es das eigene Wissen der KI nutzt, um diese „Brücken“ automatisch zu erstellen.

Die Ergebnisse

Die Autoren testeten dies an drei verschiedenen Sätzen schwieriger Anweisungen.

Das Ergebnis: Die KI befolgte die Regeln um 39 % besser als bei Standardanweisungen.
Die Balance: Entscheidend ist, dass die KI bei anderen Aufgaben nicht „dümmer“ wurde. Normalerweise wird eine KI schlechter im allgemeinen logischen Denken, wenn man sie dazu bringt, Regeln strenger zu befolgen. Da diese Methode jedoch nur eine hilfreiche „Brücke“ zu den Anweisungen hinzufügt, ohne das Kerntraining der KI zu verändern, blieb sie in Mathematik und Logik klug, während sie gleichzeitig viel besser darin wurde, Regeln zu befolgen.

Zusammenfassend

Stellen Sie sich vor, Sie regissieren ein Theaterstück.

Der alte Weg: Sie sagen den Schauspielern: „Sei lustig, sei kurz und stolpere nicht.“ Sie werden verwirrt, stolpern oder schwadronieren. Sie müssen ihnen zurufen, von vorne zu beginnen.
Der CRGC-Weg: Bevor das Stück beginnt, schauen Sie sich das Skript an und erkennen, dass „Lustig“ und „Kurz“ schwer zu vereinen sind. Also geben Sie den Schauspielern einen spezifischen Tipp: „Erzählt kurze Witze mit Pointen.“ Diese „Brücke“ hilft ihnen, beide Ziele perfekt zu treffen, ohne das ganze Stück neu schreiben zu müssen.

Das Papier zeigt, dass wir KI-Modelle wesentlich zuverlässiger machen können, ohne sie von Grund auf neu bauen zu müssen, indem wir ihnen helfen zu verstehen, wie ihre Anweisungen zusammenhängen und miteinander in Konflikt stehen.

Technisches Resümee: Überbrückung durch Hilfsbeschränkungen zur Lösung der Instruktionsbefolgung in Large Reasoning Models

Problemdefinition: Das Constraint-Adherence-Problem (CAP)

Large Reasoning Models (LRMs) haben beeindruckende Fähigkeiten bei komplexen Aufgaben demonstriert, scheitern jedoch häufig daran, mehrere Anweisungen zuverlässig gleichzeitig zu befolgen. Dieses Versagen manifestiert sich in zwei primären Arten: (1) Constraint Oversight (Beschränkungsübersehen), bei dem das Modell spezifische Anforderungen gänzlich übersieht, und (2) Constraint Interference (Beschränkungsinterferenz), bei dem das Modell versagt, mehrere Beschränkungen auszubalancieren, die scheinbar im Konflikt stehen (z. B. eine „detaillierte technische Erklärung“ innerhalb eines strikten „200-Wörter-Limits“ bereitzustellen).

Die Autoren formalisieren diese weit verbreitete Herausforderung als das Constraint Adherence Problem (CAP). Während bestehende Ansätze auf allgemeine Trainingsmethoden wie Supervised Fine-Tuning oder Reinforcement Learning from Human Feedback (RLHF) setzen, gehen diese implizit davon aus, dass verbesserte allgemeine Fähigkeiten natürlicherweise zu einer besseren Einhaltung von Beschränkungen führen. Das Paper argumentiert, dass diese Annahme in der Praxis oft fehlschlägt, da diese Methoden nicht explizit modellieren, wie Beschränkungen miteinander in Beziehung stehen, sich gegenseitig unterstützen oder miteinander interferieren.

Methodik: Constraint Relationship Graph Completion (CRGC)

Um CAP zu adressieren, führt das Paper Constraint Relationship Graph Completion (CRGC) ein, ein Framework, das Instruktionen als strukturierte Wissensgraph von Beschränkungen darstellt. CRGC nutzt das eigene Wissen des Modells, um „Bridge Constraints“ (Brückenbeschränkungen) zu generieren – Hilfsanweisungen, die widersprüchliche oder voneinander getrennte Anforderungen versöhnen – ohne dabei die Modellparameter zu verändern.

Das Framework operiert durch drei sequentielle Komponenten:

1. Konstruktion des Constraint-Graphen

Die Eingabe-Instruktion $I$ wird in eine Menge individueller Beschränkungen $C = \{C_1, C_2, \dots, C_n\}$ und ein Aufgabenziel $T$ zerlegt. Das System konstruiert einen gewichteten gerichteten Graphen $G_{init} = (V, E_{init}, W_{init})$ , wobei Knoten Beschränkungen repräsentieren und Kanten deren Einflüsse darstellen.

Kantengewichte ( $w_{ij}$ ): Das Gewicht einer Kante von $C_i$ zu $C_j$ quantifiziert die „Kosten“ oder das Risiko der Verletzung von $C_j$ , wenn $C_i$ erfüllt wird. Dies wird mittels der relativen Abnahme der erwarteten Erfüllung berechnet:
$w_{ij} = \frac{E[S(C_j, y)] - E[S(C_j, y) | S(C_i, y) \geq \tau]}{E[S(C_j, y)]}$
wobei $S(C, y)$ ein Erfüllungs-Score (0 bis 1) und $\tau$ ein Schwellenwert ist. Negative Gewichte indizieren verstärkende Beziehungen, während positive Gewichte auf Interferenz hindeuten.
Optimierung: Der Minimum Spanning Arborescence (MSA) Algorithmus wird angewendet, um den optimalen gerichteten Spannbaum zu finden, der im Aufgabenknoten wurzelt. Dieser Baum repräsentiert den Generierungspfad, der das Gesamtrisiko der Beschränkungsverletzung minimiert.

2. Detektion von Adhärenz-Herausforderungen

Der optimierte Baum wird analysiert, um problematische Kanten zu identifizieren, die weiterhin Herausforderungen darstellen:

Interferierende Beschränkungen: Kanten mit hohen positiven Gewichten ( $w_{ij} > \delta$ ), was darauf hindeutet, dass das Modell einen Konflikt zwischen Beschränkungen wahrnimmt.
Isolierte Beschränkungen: Kanten mit nahezu Null-Gewichten ( $|w_{ij}| \leq \delta$ ), was darauf hindeutet, dass das Modell versäumt, disjunkte Beschränkungen kognitiv zu verknüpfen, was zu Oversight führt.
Diese Kanten bilden die Kandidatenmenge für die Insertion von Brückenbeschränkungen.

3. Entdeckung von Brückenbeschränkungen

Für jedes problematische Paar $(C_i, C_j)$ generiert das Framework eine Bridge Constraint $B_{ij}$ unter Verwendung eines Large Language Models.

Für interferierende Paare generiert ein Rekonziliations-Prompt $R(C_i, C_j)$ eine Strategie zur Lösung des Konflikts (z. B. „verwenden Sie strukturierte Abschnitte mit Aufzählungspunkten“, um sowohl „prägnant“ als auch „detailliert“ zu erfüllen).
Für isolierte Paare stellt ein Verbindungs-Prompt $C(C_i, C_j)$ eine explizite logische Verknüpfung her.
Diese Brücken werden in die ursprüngliche Instruktion integriert, um eine erweiterte Instruktion $I_{enhanced}$ zu bilden, die das Modell anleitet, alle Beschränkungen in einem einzigen Forward-Pass zu erfüllen.

Zentrale Beiträge

Formale Charakterisierung von CAP: Das Paper definiert das Constraint Adherence Problem und unterscheidet dabei spezifisch zwischen Constraint Oversight und Constraint Interference als distinkte Fehlermodi in LRMs.
Graph-basiertes Framework: Es schlägt eine neuartige Methode vor, um Instruktionsbeschränkungen als Beziehungs-Graph darzustellen, wobei der MSA-Algorithmus genutzt wird, um optimale Generierungspfade zu finden und Adhärenz-Herausforderungen zu detektieren.
Bridge-Constraint-Mechanismus: Die Einführung von „Bridge Constraints“ als dynamische, natürliche Sprach-Hilfsanweisungen, die widersprüchliche Anforderungen strukturell versöhnen, ohne ein Retraining des Modells zu erfordern.
Empirische Validierung: Umfassende Experimente zeigen, dass CRGC die Verletzungen von Beschränkungen signifikant reduziert und gleichzeitig die allgemeinen Denkfähigkeiten des Modells bewahrt.

Experimentelle Ergebnisse

Die Autoren evaluierten CRGC über drei Instruktionsbefolgungs-Benchmarks (IFEval, ComplexBench, FollowBench) und drei allgemeine Reasoning-Benchmarks (MMLU, GSM8K, BIG-Bench Hard).

Beschränkungserfüllung: CRGC reduzierte die Verletzungen von Beschränkungen um 39 % im Vergleich zu Standard-Prompting und um 27,7 % im Vergleich zu Chain-of-Thought (CoT) Prompting. Auf dem ComplexBench-Datensatz verbesserte es die Constraint Satisfaction Rate (CSR) für Qwen2.5-72B um etwa 11,9 % gegenüber Standard-Prompting.
Bewahrung des Reasoning: Im Gegensatz zu spezialisierten Instruction-Tuning-Methoden, die oft die allgemeine Reasoning-Leistung beeinträchtigen (um ~6-7 %), bewahrte CRGC die Reasoning-Fähigkeiten auf Standard-Benchmarks oder verbesserte sie sogar leicht.
Effizienz: Obwohl CRGC in der initialen Runde durch die Graphkonstruktion einen höheren Rechenaufwand verursacht, reduziert es die Notwendigkeit iterativer Verfeinerung drastisch. Im Vergleich zu reaktiven Methoden wie DeCRIM erreichte CRGC eine Reduktion des kumulativen Token-Verbrauchs um 67 % und eine Reduktion der Verarbeitungszeit um 58 %, indem Konflikte proaktiv statt reaktiv gelöst wurden.
Konfliktlösung: CRCR übertraf alle Baselines bei der Lösung diametral entgegengesetzter Beschränkungen und erzielte eine absolute Verbesserung der Konfliktlösungsrate von bis zu 19,7 % gegenüber Verify-and-Repair-Frameworks.

Bedeutung und Ansprüche

Das Paper behauptet, dass CRGC eine nicht-invasive, adaptive Lösung für das Constraint Adherence Problem bietet. Seine primäre Bedeutung liegt im Wechsel des Paradigmas von der „Steigerung der allgemeinen Kapazität“ hin zur „strukturellen Modellierung von Beschränkungen“.

Proaktiv vs. Reaktiv: Die Autoren argumentieren, dass die Fähigkeit von CRGC, die Beziehungen zwischen Beschränkungen vor der Generierung abzubilden, es ermöglicht, die rechenintensiven und fehleranfälligen Zyklen der reaktiven Korrektur (bei denen das Beheben einer Verletzung eine andere bricht) zu umgehen.
Generalisierbarkeit: Durch die Nutzung des eigenen Wissens des Modells zur Generierung von Brückenbeschränkungen vermeidet die Methode die Notwendigkeit vordefinierter Kategorien von Beschränkungen oder zusätzlicher Trainingsdaten, was sie für diverse und implizite Instruktionstypen anwendbar macht.
Ausgewogene Performance: Das Framework entkoppelt die Befolgung von Instruktionen erfolgreich vom Reasoning-Vermögen und beweist, dass Modelle angeleitet werden können, komplexe, Multi-Constraint-Instruktionen zu befolgen, ohne ihre zugrunde liegende Denkfähigkeit zu opfern.

Die Autoren kommen zu dem Schluss, dass die strukturierte Modellierung von Beschränkungen eine vielversprechende Richtung zur Verbesserung der Instruktionsbefolgung darstellt, insbesondere in realen Anwendungen, in denen die zuverlässige Einhaltung mehrerer, potenziell widersprüchlicher Anforderungen kritisch ist.