🤖 AI

Bridging Auxiliary Constraints to Resolve Instruction Following in Large Reasoning Models

Dit artikel introduceert Constraint Relationship Graph Completion (CRGC), een nieuw raamwerk dat het Constraint Adherence Problem in Large Reasoning Models oplost door een kennisgraaf van instructies te construeren om "brugbeperkingen" te identificeren en te genereren die concurrerende vereisten verzoenen, waardoor de schending van beperkingen met 39% wordt verminderd zonder de redeneervaardigheden aan te tasten.

Oorspronkelijke auteurs: Zhengyi Zhao, Shubo Zhang, Huimin Wang, Zezhong Wang, Yutian Zhao, Yefeng Zheng, Binyang Li, Yulan He, Kam-Fai Wong, Xian Wu

Gepubliceerd 2026-06-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhengyi Zhao, Shubo Zhang, Huimin Wang, Zezhong Wang, Yutian Zhao, Yefeng Zheng, Binyang Li, Yulan He, Kam-Fai Wong, Xian Wu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, creatieve assistent vraagt om een verhaal voor je te schrijven. Je geeft het een lijst met regels: "Maak het grappig," "Houd het onder de 200 woorden," "Gebruik de letter 'e' niet," en "Verwerk een kat."

In het verleden hadden zelfs de slimste assistenten (genaamd Large Reasoning Models) hier vaak moeite mee. Ze schreven misschien een hilarant verhaal van 500 woorden lang, of een kort verhaal dat volkomen serieus was, of ze vergaten de kat volledig. Ze raken overweldigd door het proberen tegelijkertijd te managen van al deze regels, vooral wanneer de regels met elkaar lijken te botsen (zoals "grappig zijn" maar ook "kort zijn").

Deze paper noemt deze strijd het Constraint Adherence Problem (het probleem van het naleven van beperkingen). Het is alsof je een chef vraagt om een maaltijd te bereiden die "pittig," "zoet," "geserveerd in een kom" en "geserveerd op een bord" is, allemaal tegelijkertijd. De chef raakt in de war en serveert je een rommeltje.

De Oplossing: Een "Brug"-kaart bouwen

De auteurs stellen een nieuwe manier voor om met deze AI-modellen te communiceren, genaamd CRGC (Constraint Relationship Graph Completion). In plaats van alleen een lijst met regels op de AI te dumpen, werkt deze methode als een verkeersregelaar of een bouwmanager voordat het werk überhaupt begint.

Zo werkt het, met behulp van een eenvoudige analogie:

1. De Blauwdruk (De Graaf)

Eerst breekt het systeem je verzoek af in individuele regels (constraints). Vervolgens tekent het een kaart (een graaf) die laat zien hoe deze regels met elkaar verband houden.

Helpen ze elkaar? (bijv. "Gebruik opsommingstekens" helpt bij "Houd het kort").
Vechten ze met elkaar? (bijv. "Wees zeer gedetailleerd" versus "Houd het onder 200 woorden").
Worden ze genegeerd? (bijv. De AI vergeet om "het antwoord tussen aanhalingstekens te plaatsen").

2. Het Opsporen van Verkeersopstoppingen

Het systeem bekijkt deze kaart en ziet de probleemgebieden. Het identificeert waar de regels botsen of waar de AI waarschijnlijk wordt afgeleid en een regel vergeet.

3. Het Bouwen van de Brug

Dit is het magische deel. Wanneer het systeem twee regels ziet die met elkaar vechten (zoals "gedetailleerd" versus "kort"), zegt het niet simpelweg tegen de AI: "probeer het harder." In plaats daarvan bedenkt het een Bridge Constraint (brug-beperking).

Beschouw een brug-beperking als een vertaler of een bemiddelaar.

Het Conflict: "Schrijf een gedetailleerde uitleg" versus "Houd het onder 200 woorden."
De Brug: Het systeem voegt een nieuwe, nuttige instructie toe: "Gebruik opsommingstekens en vetgedrukte tekst om maximale informatie in een minimale ruimte te verpakken."

Deze nieuwe instructie fungeert als een brug. Het geeft de AI een concreet plan om aan beide oorspronkelijke regels te voldoen zonder één van beide te breken. Het verandert een conflict in een oplosbare puzzel.

Waarom dit anders is

Eerdere methoden probeerden dit op te lossen door:

De AI harder te trainen: Zoals een nieuwe chef inhuren en hem maandenlang leren koken. Dit is duur en kan ervoor zorgen dat de chef vergeet hoe hij andere dingen moet koken.
De AI te vragen later zijn werk te controleren: Zoals een chef vragen te koken, te proeven, te beseffen dat het te lang is, en het dan opnieuw te proberen. Dit kost veel tijd en leidt vaak tot een "whack-a-mole"-probleem waarbij het oplossen van de ene fout een andere fout creëert.

CRGC is anders omdat:

Het de hersenen van de AI niet verandert (geen hertraining).
Het niet wacht tot er fouten optreden. Het plant vooruit.
Het de eigen kennis van de AI gebruikt om deze "bruggen" automatisch te creëren.

De Resultaten

De auteurs hebben dit getest op drie verschillende sets moeilijke instructies.

De Uitkomst: De AI volgde de regels 39% beter dan wanneer er alleen standaard instructies werden gegeven.
De Balans: Cruciaal is dat de AI niet "dommer" werd in andere taken. Meestal, wanneer je een AI leert om regels strikt op te volgen, wordt hij slechter in algemene redenering. Maar omdat deze methode alleen een nuttige "brug" aan de instructies toevoegt zonder de kern van de training van de AI te veranderen, bleef de AI slim in wiskunde en logica, terwijl hij veel beter werd in het opvolgen van regels.

In een Notendop

Stel je voor dat je een toneelstuk regisseert.

De Oude Manier: Je vertelt de acteurs: "Wees grappig, wees kort en struikel niet." Ze raken in de war, struikelen of dwalen af. Je moet tegen hen schreeuwen om opnieuw te beginnen.
De CRGC Manier: Voordat het toneelstuk begint, kijk je naar het script en besef je dat "Grappig" en "Kort" moeilijk samen te doen zijn. Dus geef je de acteurs een specifieke tip: "Vertel korte grappen met een punchline." Deze "brug" helpt hen om beide doelen perfect te bereiken, zonder dat het hele toneelstuk opnieuw geschreven hoeft te worden.

De paper laat zien dat door AI-modellen te helpen begrijpen hoe hun instructies met elkaar verbonden zijn en met elkaar botsen, we ze veel betrouwbaarder kunnen maken zonder ze vanaf nul opnieuw te hoeven bouwen.

Technische Samenvatting: Het overbruggen van hulpvoorwaarden om instructie-opvolging in Large Reasoning Models op te lossen

Probleemdefinitie: Het Constraint Adherence Problem (CAP)

Large Reasoning Models (LRM's) hebben indrukwekkende capaciteiten getoond in complexe taken, maar worstelen vaak met het betrouwbaar tegelijkertijd opvolgen van meerdere instructies. Dit falen manifesteert zich op twee primaire manieren: (1) Constraint Oversight (het over het hoofd zien van voorwaarden), waarbij het model specifieke vereisten volledig negeert, en (2) Constraint Interference (interferentie tussen voorwaarden), waarbij het model faalt in het balanceren van meerdere voorwaarden die in strijd lijken te zijn (bijv. een "gedetailleerde technische uitleg" geven binnen een strikte "limiet van 200 woorden").

De auteurs formaliseren deze wijdverspreide uitdaging als het Constraint Adherence Problem (CAP). Hoewel bestaande benaderingen vertrouwen op algemene trainingsmethoden zoals supervised fine-tuning of reinforcement learning from human feedback (RLHF), gaan deze methoden er impliciet van uit dat verbeterde algemene capaciteiten automatisch leiden tot een betere naleving van voorwaarden. Het artikel stelt dat deze aanname in de praktijk vaak niet opgaat, omdat deze methoden niet expliciet modelleren hoe voorwaarden zich tot elkaar verhouden, elkaar ondersteunen of met elkaar interfereren.

Methodologie: Constraint Relationship Graph Completion (CRGC)

Om CAP aan te pakken, introduceert het artikel Constraint Relationship Graph Completion (CRGC), een framework dat instructies representeert als een gestructureerde kennisgraaf van voorwaarden. CRGC maakt gebruik van de eigen kennis van het model om "bridge constraints" (brugvoorwaarden) te genereren: hulpvoorwaarden die conflicterende of losstaande vereisten verzoenen zonder de modelparameters aan te passen.

Het framework werkt via drie opeenvolgende componenten:

1. Constructie van de Constraint Graph

De invoerinstructie $I$ wordt gedecomposeerd in een set individuele voorwaarden $C = \{C_1, C_2, \dots, C_n\}$ en een taakdoel $T$ . Het systeem construeert een gewogen gerichte graaf $G_{init} = (V, E_{init}, W_{init})$ waarbij knopen voorwaarden representeren en randen hun invloeden representeren.

Randgewichten ( $w_{ij}$ ): Het gewicht van een rand van $C_i$ naar $C_j$ kwantificeert de "kosten" of het risico op het schenden van $C_j$ wanneer $C_i$ wordt voldaan. Dit wordt berekend met de relatieve daling in de verwachte voldoening:
$w_{ij} = \frac{E[S(C_j, y)] - E[S(C_j, y) | S(C_i, y) \geq \tau]}{E[S(C_j, y)]}$
waarbij $S(C, y)$ een voldoeningsscore is (0 tot 1) en $\tau$ een drempelwaarde. Negatieve gewichten duiden op versterkende relaties, terwijl positieve gewichten op interferentie wijzen.
Optimalisatie: Het Minimum Spanning Arborescence (MSA) algoritme wordt toegepast om de optimale gerichte spanningboom te vinden die geworteld is bij de taaknode. Deze boom representeert het generatiepad dat het totale risico op het schenden van voorwaarden minimaliseert.

2. Detectie van Adherence Challenges

De geoptimaliseerde boom wordt geanalyseerd om problematische randen te identificeren die nog steeds uitdagingen vormen:

Interfererende Voorwaarden: Randen met hoge positieve gewichten ( $w_{ij} > \delta$ ), wat aangeeft dat het model een conflict waarneemt tussen voorwaarden.
Geïsoleerde Voorwaarden: Randen met bijna nul gewichten ( $|w_{ij}| \leq \delta$ ), wat aangeeft dat het model er niet in slaagt om disjuncte voorwaarden cognitief met elkaar te verbinden, wat leidt tot oversight.
Deze randen vormen de kandidaten voor de insertie van brugvoorwaarden.

3. Ontdekking van Brugvoorwaarden

Voor elk problematisch paar $(C_i, C_j)$ genereert het framework een Bridge Constraint $B_{ij}$ met behulp van een Large Language Model.

Voor interfererende paren genereert een reconciliatie-prompt $R(C_i, C_j)$ een strategie om het conflict op te lossen (bijv. "gebruik gestructureerde secties met opsommingstekens" om zowel "beknopt" als "gedetailleerd" te voldoen).
Voor geïsoleerde paren stelt een verbindingsprompt $C(C_i, C_j)$ een expliciete logische link vast.
Deze bruggen worden geïntegreerd in de oorspronkelijke instructie om een verbeterde instructie $I_{enhanced}$ te vormen, die het model begeleidt om alle voorwaarden in een enkele forward pass te voldoen.

Belangrijkste Bijdragen

Formele Karakterisering van CAP: Het artikel definieert het Constraint Adherence Problem, waarbij specifiek onderscheid wordt gemaakt tussen constraint oversight en constraint interference als afzonderlijke faalmodi in LRM's.
Graaf-gebaseerd Framework: Het stelt een nieuwe methode voor om instructievoorwaarden te representeren als een relatiegraaf, waarbij het MSA-algoritme wordt gebruikt om optimale generatiepaden te vinden en naleving-uitdagingen te detecteren.
Bridge Constraint Mechanisme: De introductie van "brugvoorwaarden" als dynamische, natuurlijke taal-hulpinstructies die conflicterende vereisten structureel verzoenen zonder dat modelretraining nodig is.
Empirische Validatie: Uitgebreide experimenten tonen aan dat CRGC de schending van voorwaarden aanzienlijk vermindert terwijl de algemene redeneercapaciteiten van het model behouden blijven.

Experimentele Resultaten

De auteurs evalueerden CRGC over drie instructie-opvolgingsbenchmarks (IFEval, ComplexBench, FollowBench) en drie algemene redeneerbenchmarks (MMLU, GSM8K, BIG-Bench Hard).

Constraint Satisfaction: CRGC verminderde de schending van voorwaarden met 39% vergeleken met standaard prompting en met 27,7% vergeleken met Chain-of-Thought (CoT) prompting. Op de ComplexBench-dataset verbeterde het de Constraint Satisfaction Rate (CSR) met ongeveer 11,9% ten opzichte van standaard prompting voor Qwen2.5-72B.
Behoud van Redeneren: In tegenstelling tot gespecialiseerde instructie-tuning methoden die vaak de algemene redeneercapaciteit verslechteren (met ~6-7%), behield CRGC of verbeterde het de redeneercapaciteiten op standaard benchmarks.
Efficiëntie: Hoewel CRGC een hogere computationele overhead met zich meebrengt in de initiële beurt door de constructie van de graaf, vermindert het de noodzaak voor iteratieve verfijning drastisch. Vergeleken met reactieve methoden zoals DeCRIM, bereikte CRGC een reductie van 67% in het totale cumulatieve tokenverbruik en een reductie van 58% in de verwerkingstijd door conflicten proactief in plaats van reactief op te lossen.
Conflictresolutie: CRGC presteerde beter dan alle baselines bij het oplossen van diametraal tegenovergestelde voorwaarden, met een absolute verbetering van tot wel 19,7% in conflictresolutiecijfers vergeleken met verify-and-repair frameworks.

Betekenis en Claims

Het artikel beweert dat CRGC een niet-invasieve, adaptieve oplossing biedt voor het Constraint Adherence Problem. De primaire betekenis ligt in de verschuiving van "algemene capaciteitsverbetering" naar "structurele constraint modellering".

Proactief vs. Reactief: De auteurs stellen dat het vermogen van CRGC om de relaties tussen voorwaarden te mappen voordat de generatie plaatsvindt, het systeem in staat stelt de computationeel dure en foutgevoelige cycli van reactieve correctie (waarbij het oplossen van één schending een andere breekt) te omzeilen.
Generaliseerbaarheid: Door de eigen kennis van het model te gebruiken om brugvoorwaarden te genereren, vermijdt de methode de noodzaak voor vooraf gedefinieerde categorieën van voorwaarden of extra trainingsdata, waardoor het toepasbaar is op diverse en impliciete instructietypes.
Gebalanceerde Prestaties: Het framework slaagt erin de instructie-opvolging te ontkoppelen van de redeneercapaciteit, waarmee wordt bewezen dat modellen kunnen worden begeleid om complexe, met meerdere voorwaarden beladen instructies op te volgen zonder hun onderliggende redeneerkracht op te offeren.

De auteurs concluderen dat gestructureerde constraint modellering een veelbelovende richting is voor het verbeteren van instructie-opvolging, met name in real-world applicaties waar betrouwbare naleving van meerdere, potentieel conflicterende vereisten cruciaal is.