SCHEDBench: A Benchmark for Evaluating LLM Constraint Faithfulness in Natural-Language Combinatorial Scheduling
Dit artikel introduceert SCHEDBench, een uitgebreide benchmark gebaseerd op natuurlijke taal die aantoont dat grote taalmodellen er niet in slagen om een betrouwbare getrouwheid aan beperkingen en haalbaarheid te handhaven over semantisch equivalente variaties in de oppervlaktevorm binnen diverse combinatorische planningsproblemen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je de dirigent bent van een enorm, chaotisch orkest. Je hebt honderden muzikanten, een beperkt aantal instrumenten en een strikt regelboek: de violist mag niet spelen totdat de drummer een solo heeft afgerond, en de trompetsectie heeft elke twintig minuten een pauze nodig. Jouw taak is om een schema te schrijven dat iedereen precies vertelt wanneer ze moeten spelen, zodat het concert plaatsvindt zonder een enkele botsing. Dit is de wereld van de combinatorische planning (combinatorial scheduling). Het is een tak van de wiskunde en informatica die zich bezighoudt met het organiseren van complexe taken waarbij middelen schaars zijn en de regels strikt zijn. Als je de timing fout krijgt, valt de hele show uit elkaar.
Jarenlang hebben wetenschappers computers geleerd om deze puzzels op te lossen met behulp van strikte, wiskundige codes. Maar onlangs is er een nieuw soort computerbrein gearriveerd: een Large Language Model (LLM). Dit zijn dezelfde AI-systemen die essays schrijven, met je chatten en grappen vertellen. Ze zijn geweldig in het begrijpen van menselijke taal. Maar hier komt de grote vraag: kan een AI die goed is in chatten ook goed zijn in het volgen van een strikt, logisch regelboek om een planningspuzzel op te lossen? En nog belangrijker, als je de AI dezelfde vraag stelt maar de formulering iets anders verandert — zoals "violist" vervangen door "muzikant" of de volgorde van de regels aanpassen — zal hij dan nog steeds het juiste antwoord geven? Dit artikel duikt in dat exacte mysterie en test of deze AI-breinen werkelijk logisch zijn of dat ze gewoon in de war raken door hoe de vraag is aangekleed.
De Grote Test van het Papier: SCHEDBench
De onderzoekers achter deze studie, Shrenil Shaun Sharma en Avi Sharma, hebben een enorme testomgeving gebouwd die ze SCHEDBench noemen. Denk aan een "rijexamen" voor AI, maar in plaats van een auto te besturen, moet de AI een complexe planning aansturen. Ze hebben niet zoma van willekeurige problemen bedacht; ze hebben 1.132 echte planningspuzzels genomen uit beroemde bibliotheken die door ingenieurs en wiskundigen worden gebruikt. Deze puzzels beslaan alles van het beheren van fabriekstaken en verpleegdiensten in ziekenhuizen tot het organiseren van universiteitstijdroosters.
Om er een echte test van "taalbegrip" van te maken, hebben ze de AI niet gevoed met ruwe getallen. In plaats daarvan hebben ze elke puzzel vertaald naar natuurlijke Engelse zinnen. Vervolgens hebben ze verschillende versies van exact dezelfde puzzel gemaakt. In de ene versie staan de regels in volgorde van A tot Z. In een andere versie zijn de regels gehusseld. In een derde versie worden de "jobs" "batches" genoemd in plaats van "orders", of worden de "machines" hernoemd naar "werkstations". De wiskunde en de logica bleven exact hetzelfde, maar de woorden veranderden.
Ze vroegen 13 verschillende AI-modellen (inclusief grote namen zoals GPT-5, Claude en Llama) om deze puzzels op te lossen. Het doel was simpel: kon de AI een geldige planning genereren die alle regels volgde, ongeacht hoe de vraag werd geformuleerd?
De Bevindingen: De AI raakt in de war door de vermomming
De resultaten waren verrassend. Het papier stelde vast dat AI-modellen niet betrouwbaar zijn als het gaat om deze planningspuzzels. Hoewel de wiskunde achter de puzzels niet veranderde, daalde de prestatie van de AI aanzienlijk wanneer de bewoording veranderde.
Dit is wat zij ontdekten in begrijpelijke taal:
- Het "Verkleedeffect": Wanneer de onderzoekers de oppervlakkige details van het probleem veranderden — zoals het herordenen van de lijst met regels of het vervangen van namen door synoniemen — faalde de AI vaak in het vinden van een oplossing die hij eerder wel had kunnen vinden. Het is alsof de AI zo gefocust is op de specifieke woorden die hij ziet, dat hij de onderliggende logica vergeet.
- De Volgorde Doet Er (Veel) Toe: De grootste boosdoener was de volgorde van de regels. Wanneer de onderzoekers de volgorde van de beperkingen (constraints) gehusseld hebben (bijvoorbeeld de pauze van de verpleegkundige vóór de starttijd van de dienst plaatsen in plaats van ernaast), werd het vermogen van de AI om de puzzel op te lossen veel slechter. Dit suggereert dat de AI het hele probleem niet echt in één keer "begrijpt"; hij kan in de war raken door de volgorde waarin hij de instructies leest.
- Geen Willekeurige Fouten: De onderzoekers waren zorgvuldig om te bewijzen dat dit niet simpelweg een kwestie was van de AI die een "slechte dag" had of willekeurig gokte. Ze voerden de tests meerdere keren uit met verschillende willekeurige seeds (zoals het gooien van dobbelstenen om een startpunt te kiezen). Ze ontdekten dat de daling in prestaties echt en consistent was, en niet slechts ruis.
- Zelfs de Beste Presteerders Hebben Moeite: Zelfs de meest geavanceerde modellen, zoals GPT-5.5, vertoonden een scherpe daling in prestaties wanneer de puzzels werden "verkleed". Op een specifieke subset van 470 eenvoudigere puzzels loste GPT-5.5 ongeveer 84% van hen op in hun eenvoudigste vorm. Echter, wanneer de regels werden gehusseld of de bewoording veranderde, daalde dit succespercentage naar 61,5% op diezelfde subset. Wanneer getest op de volledige set van 1.132 puzzels met alle variaties actief, daalde het succespercentage voor GPT-5.5 verder naar 55,9%. Dit laat zien dat zelfs de beste modellen moeite hebben om nauwkeurigheid te behouden wanneer de presentatie van het probleem verandert.
Wat Dit Betekent
Het artikel sluit expliciet de mogelijkheid uit dat deze AI-modellen perfect stabiele logische motoren zijn. Dat zijn ze niet. De studie laat zien dat voor complexe taken zoals planning, hoe je de vraag stelt net zo belangrijk is als de vraag zelf.
De auteurs suggereren dat hoewel deze AI-modellen beter worden in veel zaken, ze nog steeds worstelen met "constraint faithfulness" (het trouw blijven aan beperkingen). Met andere woorden: ze kunnen niet altijd beloven zich aan de regels te houden als de regels in een iets andere stijl worden gepresenteerd. Het artikel beweert niet dat dit een permanente fout is die nooit kan worden opgelost, maar het laat zien dat de huidige modellen nog niet klaar zijn om vertrouwd te worden met kritieke plannings-taken waarbij een klein misverstand tot een enorme mislukking kan leiden.
Kortom, als je een AI vraagt om een fabriek te plannen en je verandert de volgorde van de instructies, kan het zijn dat hij plotseling vergeet hoe hij zijn werk moet doen. Het artikel concludeert dat we heel voorzichtig moeten zijn met hoe we met deze modellen communiceren wanneer de belangen groot zijn, omdat ze nog steeds aan het leren zijn hoe ze de betekenis van een regel moeten scheiden van de woorden die worden gebruikt om die regel te beschrijven.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.