⚡ electrical engineering

Descriptive versus Regulatory Uncertainty in Bounded Predictive Systems

Dit artikel betoogt dat huidige transformer-architecturen fundamenteel beperkt zijn tot "beschrijvende onzekerheid" die adaptief gedrag niet kan stimuleren omdat hun entropie op token-niveau statistisch invariant blijft ongeacht de taaknauwkeurigheid, wat aantoont dat echte "regulerende onzekerheid" een fysieke koppeling vereist tussen epistemische fout en thermodynamische energiekost die losgekoppelde digitale systemen missen.

Oorspronkelijke auteurs: Ahmed Gamal Eldin

Gepubliceerd 2026-05-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ahmed Gamal Eldin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Een Slimme Robot die niet weet dat hij het mis heeft

Stel je een zeer geavanceerde robot voor die verhalen kan schrijven, wiskundeproblemen kan oplossen en vragen kan beantwoorden. Je stelt hem een moeilijke vraag en hij antwoordt met 100% zekerheid. Maar wat als hij het volledig mis heeft?

Dit artikel stelt dat huidige AI-modellen (zoals die we vandaag de dag gebruiken) een gevaarlijk gebrek hebben: ze kunnen het onderscheid niet maken tussen het weten van het antwoord en het verzinnen ervan.

De auteur, Ahmed Gamal Eldin, suggereert dat dit niet zomaar een softwarefout is; het is een fundamenteel natuurkundig probleem.

De "Energiefactuur"-Analogie

Om te begrijpen waarom, denk eens na over hoe een menselijk brein werkt versus hoe een computer werkt.

Het Menselijk Brein (Regulatieve Onzekerheid): Wanneer je probeert een moeilijk raadsel op te lossen, werkt je brein harder. Je zweet, je hartslag kan stijgen en je verbrandt meer calorieën. Als je een fout maakt, voelt je brein de "kosten" van die fout. De fysieke inspanning hangt samen met hoe zeker je bent. Als je wild gokt, verbrandt je brein energie op een andere manier dan wanneer je zeker bent.
De AI-Computer (Beschrijvende Onzekerheid): Stel je nu een robot voor die vragen beantwoordt. Of het nu gaat om het oplossen van een eenvoudige wiskundetaak die hij perfect kent, of het hallucineren van een nepfeit met totale zekerheid, de elektriciteitsfactuur is precies hetzelfde.

Het artikel noemt dit "Thermodynamische Koppeling" (Thermodynamic Decoupling).

Gekoppeld: De energiekosten (elektriciteit) zijn losgekoppeld van de waarheid. De computer verbrandt evenveel stroom om een leugen te vertellen als om de waarheid te vertellen.
Het Resultaat: Omdat de computer niet "meer" energie betaalt wanneer hij het mis heeft, heeft hij geen fysieke reden om zich "onzeker" te voelen. Hij blijft gewoon doorgaan, zelfverzekerd zelfs wanneer hij in de war is.

Het Experiment: De "Flatline"-Test

De auteur testte dit idee met drie verschillende maten AI-modellen (klein, medium en enorm) en gaf hen drie soorten taken:

Eenvoudige Zaken (Kepler): Vragen over feiten die de AI zeker op school heeft geleerd (zoals "Hoe lang is een jaar?").
Nieuwe Zaken (Newton): Vragen die vereisen dat regels worden toegepast op nieuwe situaties die de AI nog niet eerder heeft gezien.
Onmogelijke Zaken (OOD): Vragen over verzonnen natuurkunde die volledig buiten de training van de AI vallen (zoals "Wat gebeurt er als de zwaartekracht 7 keer sterker is?").

De Resultaten:

Nauwkeurigheid: De AI had de eenvoudige vragen goed, had moeite met de nieuwe en faalde bij de onmogelijke. Zijn vermogen om het juiste antwoord te geven, veranderde sterk.
Zekerheid (Entropie): De auteur mat de "onzekerheid" van de AI (hoe wankel zijn vertrouwen was). Verrassend genoeg bleef het zekerheidsniveau precies hetzelfde.

De Metafoor:
Stel je een weerman voor.

Scenario A: Hij voorspelt regen voor een stormachtige dag. Hij is 90% zeker.
Scenario B: Hij voorspelt regen voor een zonnige dag (een fout). Hij is nog steeds 90% zeker.
Scenario C: Hij voorspelt regen voor een dag op Mars (onmogelijk). Hij is nog steeds 90% zeker.

In deze studie was de AI als die weerman. Of het antwoord nu makkelijk, moeilijk of onmogelijk was, de interne "zekerheidsmeter" van de AI bewoog niet. Het was een rechte lijn.

Waarom Dit Belangrijk Is

Het artikel concludeert dat, omdat de "zekerheid" van de AI niet verandert wanneer hij een fout maakt, we zijn zekerheid niet kunnen vertrouwen als een veiligheidssignaal.

Als je een veiligheidsfilter bouwt dat zegt: "Als de AI het niet zeker weet, stop hem dan," zul je falen. De AI is nooit onzeker, zelfs niet wanneer hij het volledig mis heeft.
De AI is "structureel gevaarlijk" omdat hij maximaal zeker en maximaal verkeerd tegelijkertijd kan zijn.

De Oplossing? Een Nieuw Soort Computer

De auteur suggereert dat we, om dit op te lossen, de hardware moeten veranderen. We hebben een computer nodig waarbij het maken van een fout eigenlijk meer energie kost.

Huidige AI: Als een auto die evenveel benzine verbruikt, of je nu op een rechte weg rijdt of tegen een muur crasht.
Toekomstige AI (Voorgesteld): Een auto die extra benzine verbrandt elke keer dat je uitwijkt of over een drempel rijdt. Als de "kosten" van het verkeerd hebben hoog zijn, leert het systeem van nature om voorzichtiger te zijn en eerlijker over zijn onzekerheid.

Samenvatting

Het artikel beweert dat huidige AI-modellen "thermodynamisch gekoppeld" zijn. Dit betekent dat hun fysieke energieverbruik niet uitmaakt of ze het goed of fout hebben. Hierdoor zijn hun zekerheidsniveaus nep; ze lijken zeker, zelfs wanneer ze hallucineren. Dit is een fysieke beperking van hoe ze zijn gebouwd, niet zomaar een softwarefout die kan worden opgelost door de modellen groter te maken.

Technische Samenvatting: Beschrijvende versus Regulerende Onzekerheid in Begrensde Voorspellende Systemen

Probleemstelling
Het artikel adresseert een fundamentele veiligheids- en epistemische beperking in huidige Large Language Models (LLM's): het onvermogen om onderscheid te maken tussen echte kennis en zelfverzekerde hallucinaties. Waar de huidige discussie zich richt op modelcapaciteit, betogen de auteurs dat een kritieker onderscheid bestaat tussen systemen met epistemisch informatieve onzekerheid en systemen waarbij onzekerheid slechts een substraatartefact is.

Het kernprobleem wordt geïdentificeerd als thermodynamische ontkoppeling. In fysische computersystemen dicteert het principe van Landauer dat irreversibele bit-operaties een minimale energiekost met zich meebrengen ( $k_B T \ln 2$ ). Echter, in huidige LLM's is deze thermodynamische kost invariant voor de epistemische kwaliteit van de output. Of een model nu een causaal onderbouwde afleiding genereert of een zelfverzekerde hallucinatie, de door de hardware (bijvoorbeeld een A100 GPU) gedissipeerde energie blijft identiek. Bijgevolg is de onzekerheid van het systeem (gemeten als Shannon-entropie) "beschrijvend" (een statistische eigenschap van de outputverdeling) in plaats van "regulerend" (een signaal dat deelneemt aan de fysische kostfunctie om fouten te bestraffen).

Theoretisch Kader
De auteurs formaliseren dit onderscheid via twee concepten:

Thermodynamische Ontkoppeling: Een systeem is thermodynamisch ontkoppeld als de output Shannon-entropie ( $H_{out}$ ) en de causale nauwkeurigheid ( $\alpha$ ) statistisch onafhankelijk zijn, geconditioneerd op de toestand van het fysische substraat. In dergelijke systemen schaalt de energiekost per operatie niet met epistemische fouten ( $\partial E_{kost}/\partial \epsilon = 0$ ).
De Softmax-ontkoppelingsstelling: De auteurs bewijzen dat in een transformer met vaste gewichten en een vaste inferentietemperatuur, de token-niveau Shannon-entropie een deterministische functie is van de gewichten, temperatuur en context. Deze is structureel onafhankelijk van of de context in-distributie-retrieval vereist of out-of-distribution (OOD) causale generalisatie. In tegenstelling tot fysische thermodynamische systemen waar temperatuur energetische gevolgen heeft, is de "computatietemperatuur" ( $\tau$ ) in transformers een ontkoppeld hyperparameter.

Methodologie
Om de hypothese van thermodynamische ontkoppeling empirisch te testen, voerden de auteurs een experiment uit waarbij token-niveau Shannon-entropie en taaknauwkeurigheid werden gemeten over drie Llama-modellen (3B, 8B en 70B parameters) die twee grootteordes in schaal beslaan.

Takenset: Een set van 18 taken werd samengesteld over drie categorieën met toenemende causale vraag:
- Kepler-taken: Retrieval van goed gevestigde fysieke relaties (patroonretrieval).
- Newton-taken: Toepassing van causale operatoren op nieuwe parameterconfiguraties (causale afleiding).
- Newton OOD-taken: Afleiding onder parameterregimes die zo zijn ontworpen dat ze buiten elke plausibele trainingsdekking vallen (radicale distributieverandering).
Modellen: llama3.2:3b, Llama-3.1-8B-Instruct, en Llama-3.1-70B-Instruct.
Meting:
- Entropie: Geëxtraheerd uit token-niveau logprobs bij een lage inferentietemperatuur ( $\tau = 0.1$ ) om stochastische steekproefruis te minimaliseren.
- Nauwkeurigheid: Beoordeeld via menselijke evaluatie tegen wiskundig geverifieerde ground truth. Een antwoord werd enkel met 1 gescoord als het tot het juiste resultaat leidde via een geldige afleiding; plausibele verhalen met incorrecte resultaten werden met 0 gescoord.
Statistische Analyse: Welch t-toetsen werden gebruikt om entropie en nauwkeurigheid te vergelijken tussen categorieën binnen elk model.

Belangrijkste Resultaten
De experimentele resultaten leveren sterk bewijs voor thermodynamische ontkoppeling:

Entropievlakheid: Token-niveau Shannon-entropie was statistisch vlak over alle drie de taakcategorieën voor alle drie de modellen.
- De entropiebereiken binnen modellen waren verwaarloosbaar (0,011–0,028 nats), ruim onder de vooraf gespecificeerde vlakheidsdrempel van 0,10 nats.
- Alle paarwise p-waarden voor entropievergelijkingen waren niet-significant ( $p \ge 0,568$ ).
Nauwkeurigheidsvariatie: In schril contrast varieerde de taaknauwkeurigheid drastisch (van 0% tot 100%), afhankelijk van de taakcategorie en modelgrootte.
- Het 70B-model behaalde 100% nauwkeurigheid op Kepler-taken, 67% op Newton-taken, maar slechts 17% op Newton OOD-taken.
- Ondanks deze enorme variatie in correctheid bleef de entropie constant.
Schaalinvariantie: De ontkoppeling is een architecturale invariant, geen eigenschap van kleine modellen. Hoewel grotere modellen opereerden bij een lagere basale entropie (hogere zekerheid), bleef de vlakheid van de entropie over moeilijkheidsgraden behouden over alle schalen. Alle modellen convergeerden naar dezelfde lage nauwkeurigheid (17%) op OOD-taken zonder enige overeenkomstige toename in onzekerheid.

Betekenis en Aanspraken
Het artikel beweert dat huidige LLM's een structureel veiligheidsgebrek bezitten: ze kunnen "maximaal zeker en maximaal verkeerd tegelijkertijd" zijn.

Veiligheidsimplicaties: Omdat entropie ontkoppeld is van nauwkeurigheid, kan token-niveau entropie niet dienen als een betrouwbaar zekerheidssignaal voor veiligheidsfilters. Systemen die vertrouwen op entropie om onbetrouwbare outputs te markeren, zijn "functioneel blind" voor het onderscheid tussen kennis en fictie.
Architecturale Beperking: Dit is geen kalibratieprobleem dat oplosbaar is door post-hoc correctie, fine-tuning of schaling. Het is een fundamenteel gevolg van inferentie met vaste gewichten waarbij het thermodynamische substraat onverschillig is voor epistemische fouten.
Toekomstige Richting: De auteurs suggereren dat het bereiken van "regulerende onzekerheid" thermodynamische koppeling vereist, waarbij de energiekost van een operatie schaalt met zijn epistemische fout. Zij stellen dat neuromorfe architecturen met intrinsieke kostmodules (waarbij voorspelfouten real-time gewichtsupdates aandrijven met energiekosten die afhankelijk zijn van de fout) deze kloof kunnen overbruggen, waardoor fictie fysiek duur wordt en de grondtoestand van het systeem wordt afgestemd op begrip.

Het artikel concludeert dat echte epistemische gronding een causale koppeling vereist tussen de toestand van het thermodynamische substraat en de kosten van informatieverwerking – een eigenschap die momenteel ontbreekt in alle ingezette LLM's.