When Chain-of-Thought Helps and When It Hurts: An Empirical Investigation of the Serial-Depth Bottleneck in LLM Reasoning

Technische Samenvatting: Wanneer Chain-of-Thought Helpt en Wanneer het Schade toebrengt

Probleemstelling
Er wordt algemeen aangenomen dat Chain-of-Thought (CoT) prompting de redeneercapaciteiten van Large Language Models (LLM's) universeel verbetert. De theoretische basis voor deze aanname wordt echter vaak behandeld als een heuristiek in plaats van een mechanische beperking. Dit artikel onderzoekt de geldigheid van CoT als een universele verbeteraar door de lens van de Hdp-bandbreedtegrens (Chen et al., 2024). Deze grens stelt dat een decoder-only transformer met $L$ lagen, $H$ attention-koppen, kopdimensie $d$ en precisie $p$ niet in staat is om $L$-sequentiële functiesamenstelling op te lossen als de bandbreedteparameter $Hdp \le n^{2-4L}$ (waarbij $n$ de promptlengte is).

Hoewel de formele grens asymptotisch is en alleen van toepassing is op astronomisch grote contextlengtes ($n^* \approx 10^{1034}$ voor de bestudeerde modellen), identificeert het een fundamentele architecturale bottleneck: seriële computatie waarvan de diepte de capaciteit van een enkele forward-pass van een transformer overschrijdt, moet worden geexternaliseerd. CoT voert precies deze externalisatie uit. De centrale onderzoeksvraag is of deze theoretische bottleneck empirisch manifesteert bij praktische contextlengtes (honderden tot duizenden tokens) en of CoT fungeert als een "bandbreedte-bypass" specifiek voor taken met een hoge diepte, of dat het universele voordelen biedt ongeacht de taakcomplexiteit.

Methodologie
De studie maakt gebruik van een vooraf geregistreerd experimenteel ontwerp om kwalitatieve hypothesen afgeleid van het Hdp-framework te testen over drie instruction-tuned modellen en vijf standaard NLP-benchmarks.

• Modellen: Drie decoder-only transformers die een bereik aan bandbreedtes ($Hdp$) beslaan:
  • Qwen-2.5-7B-Instruct ($Hdp \approx 57k$)
  • Llama-3.1-8B-Instruct ($Hdp \approx 65k$)
  • Qwen-2.5-32B-Instruct ($Hdp \approx 82k$)
• Benchmarks & Diepteclassificatie: Vijf benchmarks werden toegewezen aan complexiteitsklassen gebaseerd op Chen et al. (2024):
  • P-complete (Hoge Diepte): GSM8K en MATH (vereisen $k$-sequentiële rekenkundige samenstelling).
  • TC0 (Lage Diepte): MMLU en ARC-Challenge (gehypothetiseerd om constante-diepte circuits te vereisen zoals set disjointness of sparse parity).
  • Class L (Intermediair): HumanEval (gehypothetiseerd om pointer chasing of sequentiële functiesamenstelling te bevatten).
• Experimentele Condities:
  • No-CoT (Single-Pass Proxy): Direct-answer prompts met strikte token-caps (32 tokens voor de meeste taken, 256 voor HumanEval) om de externalisatie van tussenliggende redeneerstappen te voorkomen.
  • CoT: Standaard chain-of-thought prompts met een cap van 2048 tokens, waardoor tussenliggende stappen naar de output-stream geschreven kunnen worden.
• Metrieken: Nauwkeurigheid werd gemeten via exact-match extractie (wiskunde/NLP) of functionele executie (HumanEval). Statistische significantie werd beoordeeld met McNemar's exact tests met Bonferroni-correctie en Spearman rangcorrelaties tussen taakdiepte en CoT-herstelverschillen.

Belangrijkste Bevindingen
De empirische resultaten ondersteunen een "seriële-dieptegradiënt" in plaats van een universeel CoT-voordeel:

1. Hoge-Diepte Herstel (P-complete): Op GSM8K en MATH zorgt CoT voor een enorme nauwkeurigheidsherstel over alle drie de modellen. Het "herstelverschil" (CoT-nauwkeurigheid minus No-CoT nauwkeurigheid) varieert van +54 tot +68 procentpunten. Bijvoorbeeld, Qwen-7B verbeterde van 23,1% naar 91,1% op GSM8K. Dit bevestigt dat taken die de single-pass capaciteit overschrijden, significant profiteren van het externaliseren van computatie.
2. Lage-Diepte Neutraliteit (TC0): In tegenstelling tot de hypothese dat CoT lage-diepte taken actief zou kunnen schaden door ruis te introduceren, is CoT ongeveer neutraal op MMLU en ARC-Challenge. De verandering in nauwkeurigheid ($\Delta$) over alle zes de model-benchmark cellen lag tussen de 0,0 en +4,6 procentpunten, zonder statistisch significante negatieve effecten na Bonferroni-correctie. De auteur merkt op dat hoge No-CoT baselines (tot 95% op ARC) kunnen wijzen op pretraining-contaminatie of lexicale shortcuts, wat eventuele subtiele architecturale straffen kan maskeren.
3. Intermediaire Transitie (Class L): HumanEval vertoont een modelgrootte-afhankelijke transitie. Het grootste model (Qwen-32B) zag een +23,2 pp winst, het middelgrote model (Llama-8B) zag een +9,1 pp winst, terwijl het kleinste model (Qwen-7B) een -28,7 pp penalty onderging. Dit sugggeert dat voor intermediaire complexiteit het nut van CoT afhankelijk is van de modelcapaciteit.
4. Diepte-Gradiënt Correlatie: Een gepoolde Spearman correlatie tussen toegewezen taakdiepte en CoT-herstelverschil leverde $\rho = 0,661$ ($p=0,007$) op. Bovendien daalde de No-CoT nauwkeurigheid binnen de MATH en GSM8K benchmarks monotoon naarmate de per-item seriële diepte ($k$) toenam, terwijl de CoT-nauwkeurigheid stabiel bleef, wat bevestigt dat de bottleneck inderdaad de seriële diepte is.
5. Memorizatie Controle: Tests op GSM-Symbolic (een geperturbeerde versie van GSM8K) toonden aan dat het CoT-herstelverschil blijft bestaan zelfs wanneer oppervlakkige memorisatie wordt verstoord, wat aangeeft dat het effect architecturaal is in plaats van een resultaat van het ophalen van gememoriseerde antwoorden.

Significantie en Claims
Het artikel concludeert dat Chain-of-Thought geen universele reasoning enhancer is, maar fungeert als een bandbreedte-bypass. De primaire bruikbaarheid ervan is het in staat stellen van transformers om taken op te lossen die een seriële diepte vereisen die de single-forward-pass capaciteit overschrijdt.

• Verfijning van Theorie: De studie valideert het mechanisme van de Hdp-grens (seriële-diepte bottleneck), ook al is de formele asymptotische grens niet wiskundig van toepassing op praktische contextlengtes.
• Eenzijdige Effect: De auteur verwerpt de hypothese dat CoT laag-complexe (TC0) taken actief schaadt. In plaats daarvan suggereren de gegevens dat CoT simpelweg redundant is voor taken die al binnen de single-pass bandbreedte van het model passen, mits de taak niet lijdt onder plafondeffecten of datacontaminatie.
• Architecturale Limieten: De bevindingen versterken dat decoder-only transformers een harde limiet hebben op seriële computatie binnen een enkele pass. Wanneer deze limiet wordt overschreden, is het externaliseren van stappen (CoT) noodzakelijk voor prestaties; wanneer deze niet wordt overschreden, biedt CoT weinig tot geen voordeel.

De auteur benadrukt dat hun claims bescheiden zijn met betrekking tot de "schade" van CoT op eenvoudige taken, waarbij wordt opgemerkt dat hoge baselines op benchmarks zoals ARC en MMLU verward kunnen worden met pretraining-exposure, wat het moeilijk maakt om een pure architecturale straf te isoleren. De studie dient als een empirische validatie van de seriële-diepte bottleneck hypothese, waarbij de reikwijdte van de voordelen van CoT wordt beperkt tot complexe, seriële-afhankelijke redeneertaken.