💬 NLP

The Complexity Ceiling Benchmark: A Multi-Domain Evaluation of Sequential Reasoning Under Depth Scaling

De Complexity Ceiling Benchmark (CCB) evalueert hoe het redeneervermogen van taalmodellen afneemt bij toenemende taakdiepte over drie domeinen, waarbij wordt onthuld dat hoewel sommige modellen een hoge nauwkeurigheid behouden in ruimtelijke en symbolische taken tot 50 stappen, ze snel instorten in relationele inferentie, met een specifieke metriek (k*) die prestaties op de lange termijn beter voorspelt dan het aantal parameters.

Oorspronkelijke auteurs: Shubh Chapra, Dhruv Kumar, Murari Mandal, Yash Sinha

Gepubliceerd 2026-06-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shubh Chapra, Dhruv Kumar, Murari Mandal, Yash Sinha

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme maar ietwat vergeetachtige assistent vraagt om een lange, meerstaps puzzel op te lossen. Je zou kunnen vragen: "Kun je dit doen?" en ze zeggen "Ja." Maar als de puzzel 50 stappen heeft, kunnen ze halverwege de weg de draad kwijtraken.

Dit artikel introduceert een nieuwe test genaamd de Complexity Ceiling Benchmark (CCB). In plaats van alleen te vragen: "Hebben ze het juiste antwoord gegeven?", vraagt deze test: "Hoeveel stappen kunnen ze zetten voordat ze de draad kwijtraken?"

Hier is hoe de onderzoekers het hebben onderverdeeld, met behulp van eenvoudige analogieën:

1. De drie soorten puzzels

De onderzoekers hebben niet zomaat één moeilijke puzzel gemaakt; ze hebben drie verschillende soorten "long-horizon" taken gemaakt om te zien hoe verschillende soorten denken standhouden.

De Bewegende Kamer (Ruimtelijke Tracking): Stel je een raster van 3x3 meubilair voor. Bij elke stap moet je de kamer draaien of twee stoelen verwisselen. Het model moet onthouden waar elk stuk meubilair zich na 50 bewegingen bevindt.
- Het resultaat: De slimste modellen waren als uitstekende verhuizers. Ze konden het meubilair bijna perfect bijhouden, zelfs na 50 bewegingen. Ze verloren zelden een stoel.
Het Magische Grootboek (Symbolische Tracking): Stel je een notitieboek voor met 7 variabelen (A tot en met G) die getallen bevatten. Bij elke stap moet je berekeningen uitvoeren en getallen verwisselen, maar je mag nooit hetzelfde getal op twee plaatsen tegelijk schrijven.
- Het resultaat: Het beste model (Claude) was als een superboekhouder. Het hield zijn grootboek lang geordend. Maar andere modellen begonnen de getallen al vroeg te verwarren, zoals een student die na stap 10 vergeet welke variabele welke is.
De Gossip Chain (Relationele Logica): Stel je 10 mensen voor op een feestje. Bij elke stap worden twee mensen vrienden of vijanden. De regel is: Als A vriend is met B, en B is vriend met C, dan is A automatisch ook vriend van C. Het model moet het hele web van relaties na elke nieuwe vriendschap bijwerken.
- Het resultaat: Hier stortte alles in. Hoe slim het model ook was, ze bezweken allemaal na ongeveer 4 of 5 stappen. Het is alsoals proberen een gerucht te onthouden dat zich door een menigte verspreidt; tegen de tijd dat het bij de vijfde persoon is, is het verhaal volledig vervormd en kan het model het niet meer herstellen.

2. Het "Geometrische Verval" (De Lekke Emmer)

De onderzoekers vonden een patroon: naarmate het aantal stappen langer wordt, daalt de kans om het juiste antwoord te krijgen als een bal die steeds lager stuitert.

Als een model 99% kans heeft om één stap goed te doen, kan die kans bij stap 50 bijna nul zijn.
De onderzoekers noemen dit de "Complexity Ceiling" (Complexiteitsplafond). Dit is het punt waarop het model simpelweg niet verder kan zonder een fout te maken.

3. De "Gelukkige Gok" Valstrik

Een van de meest interessante bevindingen is dat het juiste antwoord krijgen niet betekent dat het model correct heeft nagedacht.

De onderzoekers bekeken het "denkproces" (de trace) van de modellen.
Ze ontdekten dat 14,5% van de tijd een model het juiste uiteindelijke antwoord gaf, maar de redenering in het midden volledig fout was.
De analogie: Stel je een student voor die een wiskundetoets maakt. De student schrijft voor de eerste 10 problemen de verkeerde stappen op, maar door puur geluk raadt hij het uiteindelijke antwoord correct. Als je alleen naar het eindantwoord kijkt, denk je dat hij een genie is. Als je naar de stappen kijkt, zie je dat hij gewoon aan het gokken was. De onderzoekers ontdekten dat bij de moeilijkste puzzels (de Gossip Chain), de meeste "correcte" antwoorden eigenlijk gewoon gelukkige gokken waren.

4. Waarom "Groter" niet altijd "Beter" betekent

Normaal gesproken denken we dat een groter AI-model (met meer "hersencapaciteit" of parameters) beter zal zijn in lange taken.

De bevinding: Niet noodzakelijkerwijs. Een enorm model (LLaMA-3.3 met 70 miljard parameters) faalde op dezelfde snelheid als kleinere modellen bij de moeilijkste puzzel.
De metriek: De onderzoekers creëerden een nieuwe score genaamd $k^*$ . Deze meet precies wanneer het model begint te raken in de war.
- Op de "Gossip Chain"-puzzel begon zelfs het beste model al in de war te raken na stap 4,3.
- Dit suggereert dat het probleem niet is dat de modellen "te klein" zijn; het is dat hun manier van informatie verwerken (het lezen van woord voor woord) een harde muur raakt bij het beheren van complexe, onderling verbonden relaties.

5. Kunnen we ze niet gewoon vragen om harder hun best te doen?

De onderzoekers probeerden het falen van de "Gossip Chain" te herstellen door de modellen te dwingen uitgebreider te zijn (bijv. "Herhaal de volledige lijst van vrienden na elke stap").

Het resultaat: Het werkte niet. De modellen verspillden alleen ruimte door de verkeerde informatie te herhalen. Het is alsocht een verdwaalde chauffeur vertellen dat hij "voorzichtig moet blijven rijden" wanneer hij al de verkeerde kant op rijdt; hij rijdt dan gewoon heel voorzichtig de verkeerde kant op.

De Kernboodschap

Dit artikel vertelt ons dat huidige AI-modellen een harde limiet hebben op hoeveel stappen ze achter elkaar kunnen koppelen voordat ze de coherentie verliezen.

Ze zijn goed in eenvoudige, lineaire taken (zoals het verplaatsen van meubilair).
Ze zijn redelijk in taken die strikte regels vereisen (zoals een wiskundig grootboek).
Ze zijn slecht in taken waarbij één kleine fout het hele plaatje verpest (zoals complexe sociale relaties).

Het artikel concludeert dat we moeten stoppen met alleen kijken naar "Hebben ze het juiste antwoord gegeven?" en moeten gaan kijken naar "Hoeveel stappen hebben ze goed gedaan voordat ze begonnen te gokken?", omdat voor lange, complexe taken het antwoord vaak is: "zeer weinig".

Technische Samenvatting: De Complexity Ceiling Benchmark (CCB)

Probleemstelling

Huidige benchmarks voor Large Language Models (LLM's) rapporteren doorgaans geaggregeerde nauwkeurigheid op taken met een vaste moeilijkheidsgraad. Deze aanpak verhult de specifieke faalmodi van langdurig redeneren (long-horizon reasoning), zoals kennishiaten, het verkeerd lezen van prompts, uitputting van het contextvenster of het cumulatieve verlies van coherentie over opeenvolgende stappen. Terwijl geaggregeerde metrieken aangeven dat een model gefaald heeft, verklaren ze niet waarom of hoe de prestaties degraderen naarmate het aantal vereiste redeneerstappen ( $N$ ) toeneemt. Dit gebrek aan granulariteit beperkt de inzetbaarheid van LLM's als agenten, waarbij een duurzame coherentie over vele stappen cruciaal is.

Methodologie

De auteurs introduceren de Complexity Ceiling Benchmark (CCB), een gecontroleerd evaluatiekader dat redendiepte behandelt als de primaire experimentele variabele, terwijl de semantische inhoud constant wordt gehouden.

Benchmark Ontwerp

CCB evalueert modellen over drie structureel verschillende domeinen, waarbij het aantal vereiste stappen $N$ wordt gescand van 5 tot 50:

D1 (Gegronderde Ruimtelijke Toestandsbewaking): "Alien Grid"-taken bestaande uit een $3\times3$ rooster onderhevig aan discrete transformaties (roteren, wisselen, verschuiven) onder botsingsrestricties. Fouten stapelen zich deterministisch op.
D2 (Abstracte Symbolische Pointer Manipulatie): Taken die het onderhoud vereisen van zeven variabelen die verschillende cijfers bevatten onder cyclische verschuivingen en modulo-rekenkunde, onderworpen aan een assignment-uniekheidsrestrictie.
D3 (Transitieve Relationele Inferentie): "Social Logic"-taken bestaande uit een diplomatieke graaf van tien agenten waarbij nieuwe alliantie/rivaliteit-randen worden toegevoegd, wat de herberekening van de transitieve afsluiting ( $O(n^2)$ relaties) bij elke stap vereist.

Evaluatie Pipeline

Modellen: Vijf frontier- en open-weight LLM's (Claude 3.7, Gemini 2.0 Flash, DeepSeek, GPT-4o-mini, LLaMA-3.3-70B) werden geëvalueerd over 6.000 proeven ( $n=40$ per cel).
Parsing: Een strikte, regex-gebaseerde parser categoriseert outputs in disjuncte uitkomsten: Correct, Reasoning (wijkt af van de canonieke trace), Constraint violation, Format failure, Truncation, of API error. Dit voorkomt de afhankelijkheid van LLM-as-a-judge.
Trace-Level Metric (TFBC): De auteurs definiëren Trace First Branch Correct (TFBC) om gevallen te identificeren waarin het uiteindelijke antwoord overeenkomt met de grondwaarheid, maar de tussenliggende redenering op een bepaald stap $k^*$ afweek van de canonieke trace. Dit onderscheidt "trace-getrouwe" correctheid van "geluksgok"-correctheid.

Het Geometrische Vervalmodel

Het papier modelleert per-stap retentie met een geometrische vervalfunctie:
$P(\text{correct} | N) = p_d^N$
waarbij $p_d$ de waarschijnlijkheid is om de toestandsovergang $S_k \to S_{k+1}$ correct te berekenen, gegeven dat $S_k$ behouden is gebleven. De parameter $p_d$ wordt geschat via maximum likelihood estimation (MLE) voor elk (model, domein) paar. De effectieve taakhorizon $H_s$ voor een succesdrempel $s$ wordt afgeleid als $H_s \approx \ln(s) / \ln(p_d)$ .

Noot: De auteurs erkennen dat Aanname 1 (onafhankelijke per-stap fouten) een optimistische grens is, aangezien autoregressieve fouten positief gecorreleerd zijn (een fout bij $k^*$ corrumpeert alle daaropvolgende stappen). Daarom dient $p_d^N$ als een optimistische enveloppe voor duurzame nauwkeurigheid.

Belangrijkste Resultaten

1. Domeinspecifieke Ceilings

De benchmark onthult een opvallende dissociatie tussen domeinen:

D1 & D2 (Ruimtelijk & Symbolisch): Sterke frontier-modellen (Claude, Gemini, DeepSeek) behouden hoge retiewaaarschijnlijkheden ( $p_d \in [0.92, 0.99]$ ). Bijvoorbeeld, Claude bereikt $p_d=0.987$ op D2, waarbij ~55% nauwkeurigheid behouden blijft bij $N=50$ . Niet-frontier modellen (GPT-4o-mini, LLaMA) storten veel eerder in ( $N \approx 15$ ).
D3 (Transitieve Logica): Elk model, ongeacht het capaciteitsniveau, stort in voorbij $N=5$ . Zelfs het beste model (Claude) heeft een 50%-succeshorizon van slechts $H_{0.5} \approx 4.7$ stappen ( $p_d=0.863$ ). Dit suggereert dat D3 een kwalitatief ander, moeilijker regime vertegenwoordigt, waarschijnlijk door architecturale beperkingen in het afhandelen van recursieve state-updates en globale consistentie.

2. Trace-Level Divergentie ( $k^*$ )

De gemiddelde stap waarbij de redenering voor het eerst afwijkt ( $k^*$ ) is een getrouwere voorspeller van binnen-domein nauwkeurigheid dan het aantal parameters.

Op D2 behoudt Claude de coherentie gedurende $\sim17$ stappen voordat hij faalt op globale consistentie, terwijl LLaMA faalt bij de eerste symbolische transitie ( $k^* \approx 3.9$ ).
Op D3 is $k^*$ uniform laag ($2.88 - 4.30$) over alle modellen, wat bevestigt dat de fout structureel is in plaats van capaciteitsgebonden.

3. Het "Geluksgok"-fenomeen

Over de gehele benchmark zijn 14,5% van de correcte antwoorden TFBC (afwijkende redenering, correct eindantwoord).

Op D2 zijn correcte antwoorden grotendeids trace-getrouw (slechts 8% TFBC voor Claude).
Op D3 worden correcte antwoorden gedomineerd door geluksgokken (56–62% TFBC voor topmodellen).
Dit geeft aan dat geaggregeerde nauwkeurigheid de kwaliteit van de redenering aanzienlijk overschat, met name in moeilijke domeinen.

4. Prompt Interventies

Verborigheid: Het afdwingen van verborige state-tracking (het herhalen van overtuigingen) verbeterde de D3-prestaties niet (McNemar $p=1.000$ ).
Prompt Structuur: Hoewel specifieke positionele formattering (VAR B) een kleine toename opleverde (20% nauwkeurigheid bij $N=15$ ), veranderde dit de ceiling niet fundamenteel of de schaal naar langere horizonten.

Betekenis en Claims

Het papier claimt de langdurige redeneerprofiel van een model terug te brengen tot twee interpreteerbare getallen per taakfamilie: $p_d$ (per-stap retentie) en $k^*$ (gemiddelde coherentiediepte).

Diagnose van Faalregimes: CCB identificeert drie verschillende faalmodi:
- D1: Per-stap retentie bottleneck (niet formattering).
- D2: Constraint management bottleneck (illegale herverdelingen).
- D3: Structurele cascade-instorting (transitieve afsluiting vereist mechanismen die afwezig zijn in standaard autoregressieve aandacht).
Beperkingen van Huidige Architecturen: De uniforme instorting op D3 over modellen van verschillende groottes heen suggereert een architecturale bottleneck in plaats van een capaciteitslimiet. De auteurs postuleren dat standaard aandachtmechanismen de sequentiehiërarchie afvlakken, waardoor ze niet in staat zijn de recursieve stack-management te ondersteunen die nodig is voor transitieve afsluiting.
Implicaties voor Deployment: De metriek $p_d$ stelt gebruikers in staat om de diepte te schatten waarbij de verwachte nauwkeurigheid van een model onder een gekozen drempel valt, zonder de diepte-gestratificeerde evaluaties opnieuw uit te voeren.
Toekomstige Richtingen: Het papier stelt expliciet dat het evalueren van process-supervised modellen, recursieve scaffolds en tool-augmented systemen met een expliciete grafische state de noodzakelijke volgende stap is om te bepalen of de D3-ceiling verhoogd kan worden.

De auteurs concluderen dat CCB een principieel diagnostisch instrument biedt voor de volgende generatie geheugen-geaugmenteerde systemen, waarbij onderscheid wordt gemaakt tussen modellen die falen door formattering, state drift, of een fundamentele architecturale onmogelijkheid om transitieve redenering te verwerken.