💻 computer science

Is Capability a Liability? More Capable Language Models Make Worse Forecasts When It Matters Most

Dit artikel onthult dat bekwaamere grote taalmodellen inverse schaling vertonen bij voorspellingsopgaven met superlineaire groei en staartrisico, waarbij ze slechtere verdelingsvoorspellingen genereren door de bovenste staarten te sterk te extrapoleren—aan een falen dat door standaard single-threshold-maatstaven wordt gemist maar dat wordt blootgelegd door continue, staart-inclusieve scoring.

Oorspronkelijke auteurs: Nick Merrill, Jaeho Lee, Ezra Karger

Gepubliceerd 2026-05-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nick Merrill, Jaeho Lee, Ezra Karger

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: "Slimmer" Is Niet Altijd Beter in Het Voorspellen van de Toekomst

Stel je voor dat je een groep weersvoorspellers vraagt om de temperatuur voor volgende week te voorspellen. Je hebt een mix van junior voorspellers en zeer ervaren, super-slimme experts. Normaal gesproken zou je verwachten dat de experts nauwkeuriger zijn.

Dit paper ontdekte iets verrassends: Bij het voorspellen van dingen die zeer snel groeien en dan plotseling instorten (zoals een virusuitbraak of een woningzeepbel), maken de "super-slimme" experts eigenlijk slechtere voorspellingen dan de minder capabele.

Sterker nog, hoe slimmer het model, hoe zelfverzekerder het fout gaat over de worst-case scenario's.

Het Kernprobleem: De "Oververzekerde Optimist"

De onderzoekers ontdekten dat Large Language Models (LLM's) een specifiek blinde vlek hebben. Wanneer ze een trend zien die snel omhoog gaat (superlineaire groei), worden ze ervan overtuigd dat deze voor altijd zal doorgaan.

De Slimmere Modellen: Ze zijn zo goed in het herkennen van het patroon dat ze aannemen dat het zal doorgaan. Ze duwen hun "worst-case" voorspellingen ver, ver de lucht in. Ze denken: "Dit groeit zo snel, het moet doorgroeien!"
De Realiteit: In de echte wereld raken dingen zoals epidemieën of zeepbellen uiteindelijk een muur (een "regime change") en storten in.
Het Resultaat: Omdat de slimme modellen zo zeker waren dat de hemel de limiet was, waren hun "worst-case" schattingen astronomisch hoog. Toen de crash plaatsvond, lagen hun voorspellingen er volledig naast. De minder capabele modellen waren voorzichtiger en duwden hun schattingen niet zo hoog, waardoor ze dichter bij de realiteit bleven.

De Analogie: De Achtbaan

Stel je een achtbaan voor die een steile heuvel beklimt.

Het Minder Capabele Model: Ziet de heuvel en zegt: "Het gaat omhoog, maar misschien stopt het binnenkort." Het tekent een lijn die een beetje omhoog gaat en dan vlak wordt.
Het Capabele Model: Ziet de heuvel, berekent de snelheid en zegt: "Dit gaat rechtstreeks naar de maan!" Het tekent een lijn die recht de ruimte in schiet.
De Crash: De achtbaan bereikt de top en stort neer.
De Score: Het model dat de lijn naar de maan tekende, staat nu zeer ver weg van het werkelijke spoor. Het model dat voorspelde dat het vlak zou worden, ligt veel dichter bij waar de achtbaan daadwerkelijk naartoe ging.

Het paper noemt dit "Inverse Scaling". Normaal gesproken worden grotere, slimmere modellen beter in alles. Hier maakt slimmer worden ze slechter in dit specifieke type voorspelling.

Waarom Hebben We Dit Eerder Gemist? (De "Enkele-Punt" Valstrik)

Je zou kunnen vragen: "Als de slimme modellen zo fout zijn, waarom hebben de onderzoekers dit niet eerder ontdekt?"

Het antwoord ligt in hoe we deze modellen beoordelen. De meeste benchmarks gebruiken een "Pass/Fail"-test of een "Heb je het juiste getal geraden?"-test.

De Binaire Test (Pass/Fail): Stel je een test voor die vraagt: "Zal het getal boven de 100 uitkomen?"
- Het slimme model raadt dat het getal 1.000.000 zal zijn.
- Het werkelijke getal is 50.
- De Cijfer: Het slimme model is technisch gezien "goed" dat het boven de 100 uitkwam (zelfs al zat het er volledig naast). Het krijgt een voldoende.
De Continue Test (De Echte Score): Dit meet hoe ver de gok er naast zat.
- Het slimme model raadde 1.000.000 maar het antwoord was 50. Dat is een enorme fout.
- Het minder slimme model raadde 60. Dat is een kleine fout.
- De Cijfer: Het slimme model zakt volledig door de bodem.

Het paper betoogt dat huidige AI-benchmarks voornamelijk de "Pass/Fail"-test gebruiken. Ze missen de enorme kosten van het zijn van wild oververzekerd over de "staart" (de extreme, worst-case uitkomsten). Wanneer je een scoresysteem gebruikt dat straft voor het te ver zitten, lijken de "slimmere" modellen plotseling de slechtste voorspellers.

Helpt het Om Het Onderwerp Te Kennen?

De onderzoekers probeerden dit op te lossen door de modellen precies te vertellen wat ze voorspelden (bijvoorbeeld: "Dit is een grafiek van mazelengevallen" of "Dit is een grafiek van huizenprijzen").

Het werkte soms: Voor dingen zoals COVID-19 hielp het om het model het onderwerp te vertellen, waardoor het kalmeerde en beter voorspelde.
Het faalde vaak: Voor dingen zoals hyperinflatie (geld dat snel aan waarde verliest), kenden de modellen de feiten. Ze konden je zelfs vertellen: "Oh, dit is een crisis." Maar toen het tijd was om de daadwerkelijke voorspelling te doen, negeerden ze de feiten nog steeds en gokten ze dat de getallen naar de maan zouden gaan. Ze hadden de kennis, maar ze konden deze niet vertalen in een realistische voorspelling.

De Conclusie

Capaciteit heeft een prijs: Zeer goed zijn in het herkennen van patronen kan een AI oververzekerd maken wanneer die patronen op het punt staan te breken.
De "Staart" is belangrijk: Op gebieden zoals financiën, ziektebestrijding of klimaat is het "worst-case scenario" (de staart) het belangrijkste deel. Als je de staart mist, mis je de ramp.
Verander de beoordeling: We moeten stoppen met AI te beoordelen op simpele "ja/nee"-vragen. We moeten ze beoordelen op hoe goed ze het hele scala aan mogelijkheden aankunnen, vooral de extreme. Als we dit niet doen, blijven we mogelijk "slimmere" modellen inzetten die eigenlijk gevaarlijker zijn voor voorspellingen met hoge stakes.

Kortom: Het paper waarschuwt ons dat onze "slimste" AI-tools misschien wel het gevaarlijkst zijn bij het voorspellen van dingen die snel groeien en hard instorten, omdat ze te zeker zijn van de groei en te blind voor de crash.

Technische Samenvatting: Capabiliteit als Aansprakelijkheid bij Distributionele Voorspelling

Probleemstelling
Hoewel grotere taalmodellen (LLM's) over het algemeen betere prestaties laten zien op diverse taken, identificeert dit artikel een specifieke klasse van "inverse schaling" waarbij toegenomen capabiliteit leidt tot slechtere prestaties. Specifiek documenteren de auteurs dat capabelere LLM's inferieure distributionele voorspellingen produceren voor tijdreeksen gekenmerkt door superlineaire groei gevolgd door een staartrisico van regimeverandering (bijvoorbeeld een plotselinge crash of interventie). Deze structuur komt veel voor in de financiën, epidemiologie en economie. De kern van het falen is dat capabele modellen groeisignalen precies detecteren, maar hierin te ver doorgaan door ze te extrapoleren, waardoor hun voorspellingen in de bovenste staart omhoog verschuiven. Wanneer het regime verandert en de groei terugkeert, leiden deze verhoogde bovenste staarten tot enorme fouten, terwijl minder capabele modellen meer verankerd blijven.

Cruciaal is dat deze inverse schaling onzichtbaar blijft onder standaard binaire of enkel-drempelmaten (bijvoorbeeld de Brier-score bij een opvallende cutoff), die vaak positieve schaling tonen. Het falen is alleen detecteerbaar via continue, staart-inclusieve scoringregels (bijvoorbeeld CRPS), wat een scenario creëert waarin dezelfde modeloutput door conventionele benchmarks als "beter" wordt beoordeeld, maar door distributionele nauwkeurigheidsmaten als "slechter".

Methodologie
De studie hanteert een veelzijdige aanpak om dit fenomeen te isoleren en te verifiëren:

ForecastBench-Sim (FBSim): Een verontreinigingsvrije benchmark gebaseerd op procedurally gegenereerde rollouts uit het strategiespel FreeCiv. Het genereert gekoppelde binaire en continue vragen over zes sjablonen (kas, grondgebied, bevolking, enz.). De auteurs onderscheiden tussen "verstoorbare" sjablonen (waarbij achteruitgang een modale uitkomst is) en "niet-verstoorbare" sjablonen.
Synthetische Mechanisme-isolatie: Om de drijvers van inverse schaling te ontwarren, gebruiken de auteurs een gecontroleerd SIR-model (Susceptible-Infected-Recovered) uit de epidemiologie. Ze vergelijken reeksen met superlineaire groei gevolgd door een regimeverandering met reeksen met lineaire groei en identieke crashstructuren.
Ablatie binnen Familie: Een gecontroleerd $2 \times 2$ -experiment op de Llama-3.1-familie ({70B, 405B} $\times$ {base, instruct}) isoleert de onafhankelijke en cumulatieve effecten van modelschaal en post-training (RLHF/instructietuning).
Reële Wereld Replicatie: Het patroon wordt getest op vier reële domeinen:
- COVID-19 incidentie (60 landen).
- Vastgoedprijzen in de VS (bubbel 2003–2006).
- Hyperinflatie-episoden (12 episoden in 10 landen).
- Pre-vaccinatie mazelen-data uit de VS (1928–1962, 35 seizoenen, niet geselecteerd op ernst).
Interventieproeven: De auteurs testen of domeinkennis (bijvoorbeeld het domein expliciet noemen of onzekerheidscues geven) de kalibratie redt.
Maten: Prestaties worden geëvalueerd met de Continuous Ranked Probability Score (CRPS) voor distributionele nauwkeurigheid en de Brier-score voor binaire/drempelnauwkeurigheid. Pinball-verliesdecompositie wordt gebruikt om fouten per quantiel te analyseren.

Belangrijkste Resultaten

Inverse Schaling op Lange Horizonten: Op FBSim keert de correlatie tussen modelcapabiliteit (Epoch Capabilities Index, ECI) en voorspellingnauwkeurigheid (CRPS) om van positief op korte horizonten ( $\rho \approx +0,67$ ) naar negatief op lange horizonten ( $\rho \approx -0,42$ ). Deze inversie is robuust over aanbieders en modelstamlijnen heen.
Mechanisme-identificatie: De inverse schaling wordt specifiek gedreven door de combinatie van superlineaire groei en regimeverandering.
- Op synthetische SIR-data (superlineaire groei + crash) tonen capabele modellen sterke inverse schaling ( $\rho = -0,62$ ).
- Op data met lineaire groei en dezelfde crashstructuur tonen capabele modellen positieve schaling ( $\rho = +0,61$ ).
- Het falen concentreert zich in de bovenste staart (p90). Capabelere modellen verschuiven hun p90 omhoog om de geëxtrapoleerde groeitrajectie te volgen, terwijl de onderste staart (p10) verankerd blijft. Wanneer de crash optreedt, veroorzaakt de verhoogde p90 enorme pinball-boetes, die de CRPS domineren.
Schaal en Post-training: De Llama-3.1 $2 \times 2$ -studie bevestigt dat zowel toegenomen schaal (van 70B naar 405B) als post-training (van base naar instruct) onafhankelijk de fout op crash-regimes versterken. Het effect cumuleert, waarbij het 405B instruct-model de slechtste prestatie laat zien. De schade verspreidt zich van de bovenste staart bij kleinere schalen naar de centrale tendens bij grotere schalen.
Validatie in de Reële Wereld: De inverse schaling replicateert bij COVID-19, vastgoedbubbels, hyperinflatie en pre-vaccinatie mazelen. Opmerkelijk is dat de mazelen-dataset (niet geselecteerd op ernst) dezelfde overgang toont van positieve naar inverse schaling naarmate de horizon toeneemt, wat bevestigt dat het effect geen artefact is van het vooraf selecteren van extreme gebeurtenissen.
Falenvan Domeinkennis: Prompt-interventies hebben inconsistente effecten. Het noemen van het domein redt de kalibratie voor COVID-19 en vermindert deze gedeeltelijk voor vastgoed en mazelen, maar heeft geen effect op hyperinflatie. Cruciaal is dat modellen hyperinflatie-crisissen correct identificeren in 46/48 directe proeven, maar deze kennis niet vertalen naar gekalibreerde staarten tijdens de voorspelling.
Afhankelijkheid van Maatstaven: Het artikel toont aan dat het teken van de relatie tussen capabiliteit en nauwkeurigheid omkeert afhankelijk van de scoringregel. Op FBSim verbeteren capabele modellen op binaire Brier-scores ( $\rho = +0,45$ ) maar verslechteren op CRPS ( $\rho = -0,42$ ). Het afleiden van Brier-scores uit dezelfde continue voorspellingen reproduceert de positieve schaling, wat bewijst dat het falen ligt in het bovenste staart-integraal, niet in de binaire uitkomst.

Betekenis en Beweringen
Het artikel beweert dat huidige LLM-voorspellingbenchmarks, die uitsluitend vertrouwen op binaire of enkel-drempelmaten, fundamenteel gebrekkig zijn voor taken die staartrisico's behelzen. Deze benchmarks certificeren capabiliteit waar staart-inclusieve scoring catastrofale degradatie blootlegt.

De auteurs betogen dat de meest capabele modellen het meest geneigd zijn om zich "te vroeg vast te leggen" op groeitrajecten, wat leidt tot miscalibratie wanneer regimes veranderen. Dit is geen afleidingsfout, maar een vorm van "competentie-gedreven overtoewijzing". Omdat standaard trainingsdoelen en evaluatiematen drempelnauwkeurigheid belonen, is deze overtoewijzing onwaarschijnlijk dat deze alleen door schaal wordt gecorrigeerd en kan deze verergeren met verdere schaling.

Het artikel beveelt aan dat LLM-voorspellingevaluaties continue, onbegrensde maatstaven van nauwkeurigheid (zoals CRPS of log-score) moeten bevatten naast drempelmaten om bovenste-staartfalen te detecteren. De bevindingen suggereren dat het inzetten van huidige frontier-modellen voor staartgevoelige taken (bijvoorbeeld timing van epidemische interventies, financieel risicomanagement, monetair beleid) zonder adequate distributionele kalibratie kan leiden tot systematisch overschrijden en voorkombare schade in de reële wereld.