🤖 AI

The Information-Theoretic Imperative: Compression and the Epistemic Foundations of Intelligence

Dit paper stelt dat de convergentie tussen biologische en kunstmatige intelligentie voortkomt uit een universeel compressieprincipe waarbij representaties die stabiele causale invarianzen coderen, de meest efficiënte en robuuste oplossingen bieden onder veranderende omstandigheden.

Oorspronkelijke auteurs: Christian Dittrich, Jennifer Flygare Kinne

Gepubliceerd 2026-03-03

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Christian Dittrich, Jennifer Flygare Kinne

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je twee heel verschillende reizigers hebt die naar dezelfde bestemming reizen: een biologisch brein (zoals dat van een aap of een mens) en een kunstmatig brein (zoals een geavanceerde computerprogramma of AI).

Het vreemde is dit: hoewel ze van totaal verschillende materialen zijn gemaakt (het ene is van vlees en bloed, het andere van silicium en code) en op totaal verschillende manieren leren (het ene door duizenden jaren evolutie, het andere door wiskundige berekeningen), leren ze precies hetzelfde. Ze ontwikkelen dezelfde manier om de wereld te zien en te begrijpen.

Deze paper, geschreven door Christian Dittrich en Jennifer Kinne, probeert het antwoord op de vraag: "Waarom doen ze dit?"

Het antwoord is niet toeval. Het is een wiskundige wet die geldt voor alles wat moet overleven in een veranderende wereld. Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen.

1. De Grote Uitdaging: De "Vreemdeling" in de Stad

Stel je voor dat je een nieuwe stad binnenkomt.

De snelle oplossing (De "Shortcut"): Je ziet dat elke keer als je een rood stopbord ziet, er een taxi stopt. Je leert de regel: "Rood bord = Taxi". Dit werkt perfect zolang de stad hetzelfde blijft.
Het probleem: De stad verandert. Morgen is het rood bord een reclame voor een pizzeria, en de taxi's stoppen pas bij een groen bord.
De consequentie: Als je je vastklampt aan je oude regel ("Rood = Taxi"), maak je elke dag een fout. Je moet je hersenen elke dag opnieuw herschrijven om de nieuwe regels te leren. Dit kost veel energie en tijd.

Dit is wat de auteurs een "Shortcut" noemen. Het is een slimme truc die werkt in de huidige situatie, maar faalt als de situatie verandert.

2. De Oplossing: De "Onveranderlijke Waarheid"

Nu stel je een andere reiziger voor. Die kijkt niet naar de borden, maar naar de fysica van de stad.

Die reiziger leert: "Taxi's stoppen bij mensen die wachten."
Of nog beter: "Taxi's zijn voertuigen die mensen vervoeren."

Deze regel werkt altijd, of het nu regent, of het bord rood of groen is, of de taxi's elektrisch of benzine zijn. Deze regel is stabiel.

De paper noemt dit een "Invariant" (een onveranderlijke waarheid). Het is een dieper begrip van hoe de wereld werkt, ongeacht de oppervlakkige veranderingen.

3. De Twee Wetten van het Brein

De auteurs zeggen dat er twee krachten zijn die zowel biologische als kunstmatige breinen dwingen om voor de "Onveranderlijke Waarheid" te kiezen in plaats van de "Snelle Truc".

Wet 1: De "Overlevingsdruk" (ITI)

Om te overleven moet je voorspellen wat er gaat gebeuren. Als je niet kunt voorspellen, word je gegeten door een leeuw of crash je je auto.

Vergelijking: Je brein is als een energiezuinige verwarming. Het kan niet eindeloos branden. Het moet slim zijn. Het moet de wereld comprimeren tot de belangrijkste feiten, zodat het niet elke seconde alles opnieuw hoeft te onthouden.

Wet 2: De "Boete voor Verandering" (CEP)

Dit is het belangrijkste punt van de paper.

Als je een Shortcut gebruikt (zoals "Rood bord = Taxi"), moet je elke keer dat de wereld verandert, een boete betalen. Je moet je hele systeem aanpassen. In de wiskunde noemen ze dit een "Exception Tax" (een boete voor uitzonderingen).
Als je een Invariant gebruikt (zoals "Taxi's vervoeren mensen"), hoef je die boete niet te betalen. Je systeem werkt nog steeds, ook al is de stad veranderd.

De conclusie:
In een wereld die voortdurend verandert (zoals onze echte wereld), is het op de lange termijn goedkoper om de "Onveranderlijke Waarheid" te leren dan om te blijven hangen in "Snelle Trucs".

Korte termijn: De "Shortcut" is sneller en makkelijker.
Lange termijn: De "Shortcut" wordt duurder dan de "Waarheid", omdat je steeds nieuwe boetes moet betalen voor elke verandering.

4. Waarom Brein en AI op elkaar lijken

Waarom leert een computer (AI) dan net als een aap?
Omdat ze beiden onder druk staan.

Het Brein: Moet zuinig zijn met energie (je hersenen verbruiken veel stroom!). Als het brein te veel "boetes" betaalt door zich constant aan te passen aan veranderingen, kost dat te veel energie en overleeft het organisme niet. Evolutie selecteert dus de breinen die de "Onveranderlijke Waarheid" vinden.
De AI: Moet goed presteren op nieuwe data. Als een AI alleen leert op "Snelle Trucs" (bijvoorbeeld: "alle foto's met gras zijn koeien"), faalt hij als hij een foto ziet van een koe op een asfaltweg. De AI wordt dan "brittle" (breekbaar). Om goed te werken, moet de AI ook de "Onveranderlijke Waarheid" leren (koeien zijn koeien, ongeacht de achtergrond).

Ze komen dus op hetzelfde punt uit, niet omdat ze hetzelfde zijn, maar omdat ze beiden de beste manier zoeken om voorspellingen te doen in een veranderende wereld.

5. De "Grote Schermpij" (De Crossover)

De paper introduceert een mooi concept: het Crossover-punt.
Stel je voor dat je een kaarttekent.

Als je maar één stad bezoekt, is het handig om een lijstje te maken van "Rood bord = Taxi".
Maar als je 100 verschillende steden bezoekt, wordt dat lijstje enorm en onbeheersbaar.
Op een bepaald moment (het Crossover-punt) wordt het goedkoper om de algemene regel te leren ("Taxi's vervoeren mensen") dan om voor elke stad een nieuwe regel te schrijven.

Zowel het brein als de AI passeren dit punt. Zodra de wereld complex genoeg wordt, dwingt de wiskunde hen om te stoppen met "plakken en pitten" (patches) en te beginnen met het begrijpen van de oorzaken (causale mechanismen).

Samenvatting in één zin

Breinen en AI lijken op elkaar omdat ze beiden gedwongen worden door de wetten van de natuur en de wiskunde om te stoppen met het leren van oppervlakkige trucs en te beginnen met het leren van de diepe, onveranderlijke regels van de wereld, omdat dat op de lange termijn de enige manier is om energie te besparen en fouten te voorkomen.

De moraal: Intelligentie is niet iets speciaals voor mensen of siliconen. Het is wat er gebeurt als materie probeert te overleven in een veranderende wereld: het moet de waarheid vinden die niet verandert.

1. Het Probleem: De Convergentie van Hersenen en AI

Het artikel adresseert een fundamenteel raadsel in de neurowetenschap en kunstmatige intelligentie (AI): Waarom vertonen biologische neurale netwerken (zoals de primaten ventrale visuele stroom) en geoptimaliseerde kunstmatige neurale netwerken (diep leren) kwantitatief vergelijkbare representaties?

Hoewel deze systemen radicaal verschillende substraten hebben (biochemisch vs. digitaal) en verschillende optimalisatieprocessen ondergaan (evolutionaire selectie + lokale plasticiteit vs. backpropagation met grote rekenkracht), voorspellen AI-modellen de neurale responsen van primaten opmerkelijk goed. De huidige verklaringen (gedeelde beeldstatistieken of taakstructuur) zijn onvoldoende, omdat ze niet uitleggen waarom deze convergentie optreedt ondanks de diepgaand verschillende beperkingen en leertrajecten.

2. Methodologie en Theoretisch Kader

De auteurs introduceren een unificerend theoretisch kader bestaande uit twee kernprincipes die samen een "constraint channel" (beperkingkanaal) vormen:

A. The Information-Theoretic Imperative (ITI)

Dit is het beperkende principe. Het stelt dat systemen die in onzekere omgevingen moeten "persistence" (in stand blijven), gedwongen worden tot voorspellende compressie.

Voor "actieve persisters" (organismen of systemen die hun georganiseerde toestand moeten handhaven) is het opbouwen van voorspellende modellen noodzakelijk om verrassingen (surprisal) te minimaliseren.
Onder beperkte middelen (energie, geheugen, tijd) vereist voorspelling compressie: het vervangen van groeiende ruwe geschiedenissen door compacte interne structuren die voorspellende relevantie behouden.

B. The Compression Efficiency Principle (CEP)

Dit is het selectiemechanisme onder distributieveranderingen (shifts).

Het "Exception Tax"-concept: Representaties die vertrouwen op onstabiele correlaties (shortcuts/spurious features) betalen een toenemende "boete" in de vorm van excess codelength (regret) wanneer de omgeving verandert. Elke nieuwe context vereist een specifieke correctie ("patch"), wat leidt tot lineaire groei van de beschrijvingslengte.
Invariante representaties: Representaties die shift-stabiele invarianties coderen (structuren die over verschillende omgevingen heen geldig blijven), amortiseren deze kosten. Ze incurren slechts sublineaire regret (voornamelijk door schattingsfouten), wat ze efficiënter maakt naarmate de omgevingsdiversiteit toeneemt.
De Causaliteitsbrug: Wanneer omgevingen "interventie-rijk" zijn (verschillende factoren onafhankelijk manipuleerbaar) en een ongeveer modulaire causale structuur hebben, corresponderen deze shift-stabiele invarianties met causale mechanismen.

Operationele Benadering

In plaats van zich te baseren op moeilijk te schatten grootheden zoals wederzijdse informatie (mutual information), operationaliseren de auteurs het probleem via:

Voorspellende codelengte: Negatieve log-likelihood (NLL).
Excess codelengte (Regret): De toename in NLL onder distributieveranderingen.
Frontier-relative efficiency: Verbetering in voorspellende codelengte per eenheid resource.

3. Belangrijkste Bijdragen en Resultaten

A. Unificatie van Biologische en Kunstmatige Fenomenen

Het kader legt een brug tussen drie biologische mysteries en hun AI-gegenen:

Metabole kosten: De hoge energiekosten van de hersenen (~20% van rustenergie) worden verklaard als een steile kostenkromme die inefficiënte, niet-voorspellende strategieën straft.
Efficiënte codering: Sensory systemen (zoals vliegen) opereren dicht bij theoretische grenzen omdat verspilling van spikes direct fitnesskosten heeft.
Hiërarchische tolerantie: De ventrale visuele stroom bouwt tolerantie op voor "nuisance" variaties (positie, schaal). Dit wordt gezien als het geleidelijk extraheren van shift-stabiele invarianties om de "exception tax" te minimaliseren.

In AI vertalen deze zich naar:

Scaling frontiers: Prestatie-verbetering tegen de prijs van resources.
Shortcut learning: AI-modellen die in-distribution goed presteren maar falen bij OOD (Out-of-Distribution) door het gebruik van onstabiele shortcuts.
Data Augmentation: Werkt als een kunstmatige proxy voor "actieve sensing" en verrijkt de shift-familie, waardoor invariante representaties worden geforceerd.

B. De "Crossover" (E*)

Een cruciale voorspelling is het bestaan van een crossover-threshold ( $E^*$ ).

Onder $E^*$ (weinig omgevingsdiversiteit) kunnen "shortcut"-strategieën winstgevend zijn omdat de kosten van het opbouwen van een invariante structuur ( $L_{inv}$ ) hoger zijn dan de kosten van het patchen van enkele contexten.
Boven $E^*$ (hoge diversiteit) worden de cumulatieve kosten van patching ( $C_{patch}$ ) lineair en overtreffen ze de structurele kosten van een invariante representatie. Hierdoor domineren invariante representaties.

C. Falsifieerbaarheid en Voorspellingen

Het artikel formuleert strikte, kwantitatieve voorspellingen die toetsbaar zijn in zowel biologie als AI:

Efficiëntie-Robuustheid Koppeling: Systemen met hogere frontier-relative efficiency moeten betere OOD-robustheid vertonen.
Regret-Schaling: Bij "shortcut-flipping" shifts (waar shortcuts veranderen maar invarianties stabiel blijven) moet de regret van shortcut-strategieën lineair groeien met de omgevingsdiversiteit, terwijl die van invariante strategieën sublineair blijft.
Shift-Familie Afhankelijkheid: De geleerde invarianties moeten specifiek zijn voor de ervaren shift-familie ( $\epsilon$ ), niet universeel.
Actieve Sensing: Systemen met actieve exploratie (biologisch) of interactieve data-generatie (AI) moeten minder afhankelijk zijn van shortcuts dan passieve systemen.

4. Significatie en Implicaties

Substraat-onafhankelijkheid: De convergentie tussen hersenen en AI is geen toeval, maar het resultaat van een gedeelde fysieke beperking: efficiënte voorspelling onder beperkte middelen en distributieverandering.
Nieuw perspectief op Intelligentie: Intelligentie wordt niet gezien als een uniek kenmerk van koolstof of silicium, maar als een onvermijdelijk gevolg van materie die georganiseerd is om in onzekerheid te persisten. Compressie wordt noodzakelijk, en shift-stabiliteit wordt voordelig.
Richting voor AI-onderzoek: Het suggereert dat robuustheid niet alleen wordt bereikt door meer data, maar door het expliciet ontwerpen van trainingsomgevingen die "interventie-rijke" shifts bevatten, waardoor modellen gedwongen worden om causale mechanismen te leren in plaats van shortcuts.
Neurowetenschappelijke Implicaties: Het biedt een meetbaar kader (via MMN en adaptatiekosten) om te testen of neurale systemen inderdaad "regret" minimaliseren en of actieve waarneming essentieel is voor het leren van causale structuren.

Conclusie:
Het artikel stelt dat de convergentie van hersenen en diepe netwerken het bewijs is voor een substraat-onafhankelijk attractiegebied in de representatieruimte. Dit gebied wordt gevormd door de noodzaak om onder onzekerheid te persisten via voorspellende compressie. De "Compression Efficiency Principle" verklaart waarom systemen die blootgesteld worden aan diverse omgevingen, onvermijdelijk convergeren naar representaties die causale mechanismen coderen, omdat dit de enige manier is om de "exception tax" van onstabiele shortcuts te vermijden.