Technische Samenvatting: LinAlg-Bench

Probleemstelling

Huidige evaluaties van Large Language Models (LLM's) in wiskundig redeneren verwarren vaak moeilijkheidsgraad met nieuwheid, waarbij alleen de nauwkeurigheid van het eindantwoord wordt gemeten zonder onderscheid te maken tussen kennisdefecten en uitvoeringsfouten. Het heersende statistische verhaal suggereert dat modellen falen door onvoldoende trainingsdata of een algemeen capaciteitsplafond. Dit artikel betoogt dat het falen van LLM's onder recursieve computatielast niet willekeurig is, maar structureel beperkt. Specifiek wordt gesteld dat faalmodi voorspelbaar verschuiven op basis van algoritmefamilie en matrixdimensie, met een overgang van uitvoeringsfouten naar computatieverlating bij een meetbare complexiteitsdrempel. Lineaire algebra is geselecteerd als testomgeving omdat de bewerkingen algoritmisch precies zijn, natuurlijk schalen via matrixdimensie zonder de onderliggende taak te veranderen, en kunnen worden ontbonden in een cognitieve hiërarchie waarbij elk niveau precies één computatievereiste toevoegt.

Methodologie

De auteurs introduceren LinAlg-Bench, een diagnostische benchmark ontworpen om computatiediepte te isoleren van wiskundige kennis.

• Dataset: De benchmark bestaat uit 660 problemen met gehele getallen als invoer, geverifieerd tegen SymPy-symbolische berekening, verdeeld over 9 taaktypen en 3 matrixdimensies ($3\times3$, $4\times4$, $5\times5$). Dit resulteert in 6.600 grondig geëvalueerde modeloutput.
• Modellen: Tien toonaangevende modellen werden zero-shot geëvalueerd bij temperatuur 0, variërend in diverse architecturen (Dense, MoE), trainingsparadigma's (Redenering-geoptimaliseerd, RLHF, Hybrid) en providers (OpenAI, Google, Anthropic, Meta, Alibaba, Mistral, DeepSeek).
• Cognitieve Taxonomie: Taken zijn georganiseerd in vijf cognitieve niveaus:
  1. Lezen: Pure invoerextractie (Trace, Transpositie).
  2. Rekenen: Parallelle onafhankelijke berekening (Matrix-Vectorm, Vermenigvuldiging, Machtsverheffen).
  3. Sequentieel: Statusvolging via rijoperaties (Rang, Nuliteit).
  4. Recursief: Diepe recursieve tekenbeheer (Determinant via cofactorontwikkeling).
  5. Composities: Gebaseerd op Determinant als sub-routine (Eigenwaarden).
• Forensische Pipeline: Een drie-traps geautomatiseerde "LLM-as-a-Judge"-pipeline classificeert 1.156 onjuiste antwoorden in tien primaire foutlabels (bijv. SIGN_ERROR, HALLUCINATION, MEMORY_LOSS) en vier eigenwaarde-specifieke extensies. De classificatie volgt het "eerste-foutprincipe", waarbij het vroegste stadium wordt gelabeld waar de berekening afwijkt van de grondwahrheid. De pipeline is gevalideerd tegen 593 menselijk geannoteerde labels, met een algehele overeenstemming van 92,6%.
• Ablatiestudie: Een gerichte studie dwong algoritmisch efficiënte strategieën (Gauss-eliminatie) af op modellen die van nature de voorkeur gaven aan cofactorontwikkeling, om te testen of het aantal bewerkingen of de uitvoeringsdiepte de echte bottleneck was.

Belangrijkste Resultaten

1. De Fabricatie-naar-Afstandsdrempel

De centrale empirische bevinding is een scherpe gedragsovergang op de $4\times4$-schaal.

• Onder de Drempel ($3\times3$): Modellen proberen berekening en falen hierin. Falen wordt gedomineerd door uitvoeringsfouten zoals SIGN_ERROR (33,0%) en ARITHMETIC.
• Boven de Drempel ($5\t5$): Modellen geven de berekening op voordat ze deze proberen. De dominante faalmodus verschuift naar HALLUCINATION (47,1%), specifiek Complete_Collapse, waarbij modellen antwoorden fabriceren via tool-rolspel (het simuleren van Python/NumPy/WolframAlpha-aanroepen waartoe ze geen toegang hebben) of constraint-consistente confabulatie.
• Universaliteit: Deze overgang is bijna universeel voor alle modelniveaus en architecturen, wat wijst op een werkgeheugenlimiet in plaats van een kennisgat.

2. Gelaagde Prestaties en Faalmodi

Modellen splitsen zich in drie distincte niveaus gebaseerd op hun prestatiegrens:

• Niveau 1 (bijv. OpenAI-o1, Gemini-3.0-Pro, DeepSeek-V3): Handhaven $\ge74\%$ nauwkeurigheid op $5\times5$-determinanten, maar convergeren naar bijna nul eigenwaarde-nauwkeurigheid. Zij vertonen de "fabricatie-naar-afstand"-overgang, maar handhaven recursieve uitvoering langer.
• Niveau 2 (bijv. GPT-5.2, Mistral-Large): Houden gedeeltelijk stand tegen recursieve lasten, maar bezwijken op het compositiesniveau.
• Niveau 3 (bijv. GPT-4o, Llama-3.3-70B, Claude-4.5-Sonnet): Bezwijken volledig op het recursieve niveau ($5\times5$-determinantnauwkeurigheid $\le12\%$).

3. Constraint-bewuste Confabulatie

Wanneer modellen falen om eigenwaarden te berekenen bij $5\times5$, genereren ze geen willekeurige getallen. In plaats daarvan fabriceren ze waarden die voldoen aan partiële wiskundige constraints:

• 45% van de gefabriceerde sommen van eigenwaarden komt overeen met de matrixtrace.
• 85% van de gefabriceerde magnitudes respecteert de Frobenius-normgrens.
  Deze "constraint-bewuste confabulatie" vertegenwoordigt een gestructureerde hallucinatiemodus waarbij modellen partiële kennis benutten om oppervlakkige constraints te voldoen terwijl ze de kernberekening falen.

4. Strategie versus Uitvoeringsdiepte

De studie daagt de hypothese uit dat algoritmische efficiëntie (aantal bewerkingen) de primaire bottleneck is.

• Observatie: In natuurlijke zero-shot-omgevingen bezweken modellen die rigide vasthielden aan cofactorontwikkeling ($O(n!)$) vaker dan diegenen die Gauss-eliminatie gebruikten ($O(n^3)$).
• Ablatie: Toen modellen expliciet werden gedwongen Gauss-eliminatie te gebruiken, herstelde de nauwkeurigheid zich niet betekenisvol (bijv. Mistral-Large verbeterde slechts tot 26,9%; anderen bleven dicht bij 0%).
• Conclusie: De bottleneck is niet het geselecteerde algoritme, maar de autoregressieve uitvoeringsdiepte. Gauss-eliminatie vereist een strikt sequentiële keten van sterk afhankelijke fractionele rekenkunde; een enkele fout in een vroeg stadium verspreidt zich onomkeerbaar en doet het resultaat instorten. Cofactorontwikkeling, hoewel wiskundig duurder, bestaat uit parallelle, onafhankelijke gehele getalstappen die veiliger zijn voor transformers om uit te voeren.

Betekenis en Aanspraken

LinAlg-Bench draagt bij aan een forensische taxonomie en een falsifieerbare empirische bevinding met betrekking tot de structurele aard van LLM-wiskundig falen.

1. Structurele Beperking: LLM-falen is niet willekeurig, maar bepaald door algoritmefamilie en matrixdimensie. De overgang van uitvoeringsfout naar computatieverlating is een meetbare drempel die consistent is met een werkgeheugenlimiet.
2. Nieuwe Faalmodus: Het artikel documenteert constraint-bewuste confabulatie en tool-rolspelinstorting als distincte, gestructureerde hallucinatiemechanismen die optreden onder computatielast, die door standaard op nauwkeurigheid gebaseerde benchmarks zouden worden misclassificeerd als correct of niet zouden worden gedetecteerd.
3. Mechanistische Hypothesen: De bevindingen genereren testbare hypothesen voor mechanistische interpretatie, zoals de betrokkenheid van late-laag pariteitskringen bij tekenvolgsfouten en de onderdrukking van deze kringen tijdens volledige instorting.
4. Evaluatiemethodologie: Het artikel betoogt dat diagnostische benchmarks falsifieerbare mechanistische hypothesen moeten genereren in plaats van enkel leaderboard-rangschikkingen te produceren. Het demonstreert dat een benchmark die het algoritme vasthoudt terwijl de dimensie wordt geschaald, computatiediepte kan isoleren van wiskundige kennis.

De auteurs stellen expliciet dat de fabricatie-naar-afstandsdrempel en het werkgeheugenverhaal claims zijn die direct worden ondersteund door de data, en nodigen uit tot verificatie via mechanistische interpretatietools en cross-domein replicatie. Alle data, modeloutput, foutlabels en de judge-pipeline zijn publiek vrijgegeven.