Large Language Models are Algorithmically Blind

Titel: Large Language Models are Algorithmically Blind (Grote Taalmodellen zijn Algorithmisch Blind)

Auteurs: Sohan Venkatesh, Ashish Mahendran Kurapath, Tejas Melkote (Manipal Institute of Technology, India)
Datum: 1 maart 2026 (arXiv:2602.21947v3)

1. Het Probleem

Grote Taalmodellen (LLM's) tonen een opmerkelijke breedte aan kennis, maar hun vermogen om redenering over computationele processen toe te passen, is slecht begrepen. Praktijkers vertrouwen vaak op LLM's voor het selecteren en implementeren van algoritmen. De kernvraag is of LLM's de prestaties van een algoritme op een specifieke probleeminstantie kunnen voorspellen met een gekalibreerde onzekerheidsschatting.

De auteurs stellen dat LLM's mogelijk slechts patronen in trainingsdata matchen in plaats van echte redenering te toepassen. Als LLM's geen gekalibreerde voorspellingen kunnen doen, is hun nut als "zero-shot" algoritme-selectoren beperkt. Het artikel introduceert het concept van algorithmische blindheid: het onvermogen van LLM's om gekalibreerde verwachtingen over algoritme-prestaties te vormen op basis van de probleemstructuur en algoritme-beschrijving alleen, ondanks dat ze de declaratieve kennis (theorie) van het algoritme lijken te kennen.

2. Methodologie

De studie gebruikt causale ontdekking (causal discovery) als testomgeving, omdat dit domein objectief meetbare prestaties, diverse algoritmen en goed gedocumenteerde benchmarks biedt.

• Experimenteel Opzet:

  • Datasets: 13 datasets (9 bekende benchmarks uit de bnlearn-repository zoals Sachs, Asia, Alarm en 4 synthetische datasets gegenereerd vanuit willekeurige DAG's met verschillende complexiteit).
  • Algoritmen: 4 causale ontdekking-algoritmen: PC, FCI, LiNGAM en NOTEARS.
  • Ground Truth: Voor elke combinatie van dataset en algoritme werden 100 runs uitgevoerd met bootstrap-resampling. Dit resulteerde in 5.200 totale uitvoeringen. De empirische middelen en 95% betrouwbaarheidsintervallen vormden de "ground truth".
  • LLM's: 8 frontier-modellen werden getest (o.a. Claude-Opus-4.6, GPT-5.2, DeepSeek-V3.2, Qwen3, Gemini 3, LLaMA-3.3).
  • Prompting: Elke model-dataset-combinatie werd benaderd met 3 verschillende prompt-vormuleringen om voorspelde bereiken (intervallen) voor vier metrieken te verkrijgen: Precision, Recall, F1-score en Structural Hamming Distance (SHD).

• Evaluatiemeta:

  • Gekalibreerde Dekking (Calibrated Coverage): Het percentage van de vergelijkingen waarbij het door de LLM voorspelde bereik de werkelijke gemiddelde prestatie (ground truth) bevatte. Een goed gekalibreerd model zou dit percentage moeten benaderen dat overeenkomt met de geclaimde betrouwbaarheid (bijv. 95% voor een 95% interval).

3. Belangrijkste Bijdragen

1. Rigoureuze Testomgeving: Etableren van causale ontdekking als een gestandaardiseerde testbank voor het evalueren van algoritme-resoneren van LLM's, waarbij memorisatie van benchmarks kan worden onderscheiden van echte generalisatie.
2. Grootschalige Calibratiestudie: De eerste studie van deze omvang, met 8 modellen, 13 datasets, 4 algoritmen en 4 metrieken, gebaseerd op 5.200 ground-truth runs.
3. Kwantificering van Falen: Het aantonen dat frontier-LLM's slechts een 15,9% gekalibreerde dekking bereiken. Zes van de acht modellen presteerden slechter dan willekeurig gokken.
4. Bewijs van Memoriseren: Het aantonen dat de marginale prestaties boven het willekeurige niveau van het beste model (Claude) consistent zijn met het ophalen van statistieken uit trainingsdata (benchmark-memoriseren) in plaats van principiële redenering.

4. Resultaten

• Systematisch Falen (Algorithmische Blindheid):

  • De gemiddelde gekalibreerde dekking over alle 1.664 vergelijkingen was 15,9%. Dit betekent dat de voorspelde intervallen in meer dan 84% van de gevallen de werkelijke waarde misten.
  • Zelfs het beste model (Claude) bereikte slechts 39,4% dekking, wat nog steeds ver onder het niveau ligt voor betrouwbare besluitvorming.
  • Willekeurig Gokken: Zeven van de acht modellen presteerden slechter dan een random baseline (36,5%). Practici zouden dus betere onzekerheidsschattingen krijgen door willekeurige intervallen te kiezen dan door deze LLM's te raadplegen.

• Ongekalibreerde Zekerheid:

  • De door LLM's voorspelde intervallen waren 8 tot 27 keer breder dan de werkelijke 95% betrouwbaarheidsintervallen van de algoritmen.
  • Desondanks misten deze brede intervallen de waarheid in de meeste gevallen. Dit wijst niet op conservatieve onzekerheid, maar op fundamenteel miscalibratie en gebrek aan een model voor prestaties.

• Memoriseren vs. Redeneren:

  • Benchmark vs. Synthetisch: Prestaties op bekende benchmarks waren significant beter dan op synthetische datasets (17,7% vs 11,7% dekking).
  • Algoritme-specifiek Ineenstorten: Voor het algoritme LiNGAM (dat veel in de literatuur voorkomt) stortte de prestatie op synthetische data volledig in (-23,2% dekking), terwijl NOTEARS (minder gedocumenteerd) stabiel bleef. Dit suggereert dat LLM's statistieken ophalen uit hun trainingsdata voor bekende algoritmen, maar geen fundamenteel begrip hebben van hoe deze algoritmen werken op nieuwe data.
  • Cross-Model Overeenkomst: Modellen kwamen sterk overeen in hun voorspellingen voor bekende benchmarks (lage variatie), maar divergeerden enorm bij synthetische data. Dit bevestigt dat ze op benchmarks "leren" en op nieuwe data "gissen".

• Prompt-gevoeligheid:

  • De resultaten waren robuust over verschillende prompt-vormuleringen, maar de variatie in antwoorden (coëfficiënt van variatie) was hoog, wat wijst op instabiele "overtuigingen" van de modellen over algoritme-prestaties.

5. Betekenis en Conclusie

Het artikel concludeert dat frontier-LLM's systeematisch "algorithmisch blind" zijn. Ze kunnen de theoretische aannames van algoritmen beschrijven (declaratieve kennis), maar kunnen deze niet vertalen naar gekalibreerde, kwantitatieve voorspellingen over empirische prestaties.

• Gebruik als Zero-Shot Selector: LLM's mogen niet worden gebruikt als zero-shot selectors voor algoritme-selectie in causale ontdekking of vergelijkbare domeinen, omdat hun voorspellingen niet betrouwbaar zijn.
• Oorzaak: Het falen is geen kwestie van gebrek aan kennis, maar van het ontbreken van een gestructureerd model dat algoritme-aannames koppelt aan dataset-eigenschappen. De modellen vertrouwen op statistische correlaties in hun trainingsdata (memorisatie) in plaats van causale redenering.
• Toekomst: De auteurs suggereren dat toekomstige werk zich moet richten op het combineren van LLM's met statistische modellen voor prestatievoorspelling, of het testen van menselijke experts om te zien of dit een fundamenteel moeilijk probleem is of een specifiek LLM-tekort.

Kortom: LLM's zijn uitstekend in het beschrijven van wat een algoritme doet, maar volledig onbetrouwbaar in het voorspellen van hoe goed het zal werken op een specifieke dataset.