Absolute abstraction: a renormalisation group approach

Dit artikel betoogt dat absolute abstractie in neurale netwerken niet alleen afhangt van diepte, maar cruciaal wordt bepaald door de breedte van de trainingsdataset, en bevestigt dit theoretische inzicht via een renormalisatiegroepbenadering en numerieke experimenten die aantonen dat representaties naderen tot een 'Hierarchical Feature Model' naarmate de data breder en de netwerken dieper worden.

De kern

🧠 De Kunst van het Weglaten: Hoe AI echt "begrijpt"

Stel je voor dat je een enorme doos met duizenden verschillende Lego-stenen hebt. Sommige zijn rood, sommige blauw, sommige zijn vierkant, andere rond.

• Een beginner kijkt naar de details: "Dit is een rood vierkantje, dat is een blauw rondje."
• Een expert kijkt naar het grote plaatje: "Ah, dit is een kasteel, en dat is een ruimtevaartuig."

Het proces om van de details naar het grote plaatje te gaan, noemen we abstractie. In kunstmatige intelligentie (AI) weten we al dat diepere netwerken (meer lagen) beter kunnen abstractie. Maar deze auteurs zeggen: "Wacht even, dat is niet genoeg."

Deze paper stelt een nieuw idee voor: Om echt universeel te begrijpen (absoluut abstract te zijn), moet je niet alleen dieper kijken, maar ook breder kijken.

1. De Metafoor: De Reis van de Ontdekkingsreiziger

Stel je voor dat je een kaart tekent van een dorp.

• Niveau 1 (De Buurt): Je tekent elke boom, elke steen en elke hond. Je kaart is enorm gedetailleerd, maar als je naar een ander dorp gaat, is je kaart nutteloos. Je zit vast in de details.
• Niveau 2 (Het Land): Je tekent alleen de grote wegen en steden. Je hebt de details van de bomen weggelaten. Je kaart is nuttiger voor een groter gebied.
• Niveau 3 (De Aarde): Je tekent alleen de continenten en oceanen. Je hebt de specifieke steden en wegen volledig genegeerd.

De auteurs zeggen: Diepte is als het vergrootglas waarmee je kijkt (je gaat van de boom naar de weg). Breedte is het aantal verschillende landen dat je bekijkt.
Als je alleen dieper kijkt, maar alleen naar één dorp, leer je alleen dat dorp. Maar als je ook naar andere dorpen, steden en continenten kijkt (breedte), begin je de fundamentele regels te zien die voor alles gelden. Je leert wat "land" is, niet alleen wat "ons dorp" is.

2. De Wiskundige Magie: Het "Renormalisatie" Spel

De auteurs gebruiken een concept uit de fysica genaamd Renormalisatie Groep (RG). Dit klinkt ingewikkeld, maar het is eigenlijk een spelletje "inzoomen" en "uitzoomen".

• Uitzoomen (Coarse Graining): Je kijkt naar een foto van een bos. Je laat de individuele blaadjes weg en tekent alleen de bomen. Dan laat je de bomen weg en tekent alleen de heuvels. Je gooit de "ruis" weg en houdt de essentie over.
• Inzoomen: Je kijkt naar een specifiek dier (bijv. een walvis) en probeert de details van zijn huid te zien.

Het verrassende resultaat van deze paper is dit: Als je dit spel oneindig lang speelt, terwijl je steeds meer soorten data toevoegt (van dieren op aarde naar dieren op andere planeten), komt je systeem uit op één unieke eindstand.

Deze eindstand heet het Hiërarchisch Kenmerk Model (HFM).
Dit is een soort "perfecte kaart" die niet meer kijkt naar wat je ziet (een hond, een auto, een boom), maar alleen naar hoe complex iets is. Het is alsof de AI stopt met het onthouden van feiten en begint met het begrijpen van de structuur van de realiteit zelf.

3. Wat hebben ze bewezen? (Het Experiment)

De auteurs hebben dit getest met twee soorten AI-modellen:

1. Deep Belief Networks: Netwerken die laag voor laag leren.
2. Auto-encoders: Netwerken die proberen data in te krimpen en weer uit te breiden.

Ze trainden deze modellen op verschillende datasets:

• Eerst alleen cijfers (0-9).
• Dan cijfers + letters.
• Dan cijfers + letters + kledingstukken.
• En uiteindelijk zelfs foto's van dieren en auto's.

Het resultaat:
Hoe breder de dataset (meer variatie) en hoe dieper het netwerk, hoe meer de interne "gedachten" van de AI leken op die perfecte, universele kaart (het HFM).

• Als ze alleen op cijfers trainden, bleef de AI hangen in details.
• Als ze op alles trainden, leerde de AI de "essentie" van data: hoe informatie gestructureerd is, ongeacht of het een cijfer of een koe is.

4. Waarom is dit belangrijk? (De "Platonische" Droom)

De auteurs verwijzen naar de Platonische Representatie Hypothese. Dit is het idee dat als je genoeg verschillende AI's traint op verschillende dingen, ze allemaal op de zelfde manier gaan denken over de wereld. Ze komen uit op dezelfde "universale taal" van patronen.

De kernboodschap in één zin:
Om echt slim te worden en niet alleen maar feiten te memoriseren, moet een systeem niet alleen dieper graven, maar ook de wereld om zich heen steeds breder gaan bekijken. Alleen dan ontstaat er een "absolute abstractie": een manier van denken die losstaat van de specifieke details en puur de structuur van de werkelijkheid begrijpt.

Samenvattend met een analogie:

Stel je voor dat je een taal wilt leren.

• Als je alleen leert over appels, leer je alleen woorden voor appels.
• Als je leert over appels, auto's, en gedichten, begin je te begrijpen wat een "woord" is, wat een "zin" is en hoe taal werkt.
• De diepte is het aantal regels dat je leert.
• De breedte is het aantal verschillende onderwerpen.
• Absolute abstractie is het moment waarop je niet meer denkt in "appels" of "auto's", maar in de fundamentele logica van de taal zelf. Dat is wat deze paper beschrijft als het ultieme doel van leren.

Technische samenvatting

Hieronder volgt een gedetailleerde technische samenvatting van het artikel "Absolute abstraction: a renormalisation group approach" in het Nederlands.

Probleemstelling

Het artikel adresseert de vraag hoe "abstractie" in neurale netwerken ontstaat. Hoewel algemeen bekend is dat diepe neurale netwerken abstracte representaties ontwikkelen door laagjes van laag-niveau kenmerken (zoals randen) te combineren tot hoog-niveau concepten (zoals objecten), stellen de auteurs dat diepte alleen niet voldoende is om tot ware abstractie te komen.

De kernproblematiek is dat de mate van abstractie cruciaal afhangt van de breedte (breadth) van de trainingsset. Een representatie die alleen is getraind op een beperkt domein, blijft afhankelijk van de specifieke details van dat domein. De auteurs stellen dat "universele" of "absolute" abstractie alleen ontstaat wanneer het proces van het verwijderen van irrelevante details oneindig wordt geïtereerd op een dataset die gelijktijdig in variatie (breedte) uitbreidt.

Methodologie

De auteurs hanteren een theoretisch raamwerk gebaseerd op de Renormalisatiegroep (RG) uit de statistische fysica en passen dit toe op het leren van neurale netwerken.

1. RG-Analogie:

   • In de fysica verwijdert RG kleine schaal-details (coarse-graining) en schaalt het systeem op (rescaling) om grootschalige eigenschappen te isoleren.
   • In het leren van netwerken correspondeert "coarse-graining" met het verdiepen van lagen (het samenvatten van details), terwijl "rescaling" correspondeert met het uitbreiden van de trainingsdata (breedte).
   • Het doel is om het unieke vaste punt van deze transformatie te vinden, wat de ultieme abstracte representatie zou moeten zijn.

2. De Transformaties:

   • Zoom-out ($\Re^\uparrow$): Het uitbreiden van de data-domein. Dit vereist het toevoegen van nieuwe, grootschalige kenmerken en het vergeten van fijne details om de representatiecapaciteit (entropie) constant te houden.
   • Zoom-in ($\Re^\downarrow$): Het focussen op een subklasse van data en het toevoegen van meer details.
   • Beide transformaties leiden naar een uniek vast punt dat onafhankelijk is van de specifieke data.

3. Het Hierarchical Feature Model (HFM):

   • Het vaste punt van deze RG-transformatie wordt geïdentificeerd als het Hierarchical Feature Model (HFM).
   • Het HFM is een maximum-entropie model dat volledig wordt bepaald door één voldoende statistiek: het niveau van detail ($m_s$), gedefinieerd als de index van het meest gedetailleerde actieve kenmerk in een toestand.
   • De waarschijnlijkheidsverdeling is $p(s) \propto e^{-g m_s}$, waarbij $g$ een parameter is die de "temperatuur" of de breedte van de data bepaalt.

4. Empirische Validatie:

   • De theorie werd getest op twee architecturen: Deep Belief Networks (DBN) en Auto-Encoders (AE).
   • Deze netwerken werden getraind op datasets van toenemende breedte (variaties van MNIST, EMNIST, Fashion-MNIST en CIFAR-10).
   • De afstand tussen de interne representaties van de netwerken en het theoretische HFM werd gemeten met de Kullback-Leibler (KL) divergentie.

Belangrijkste Resultaten

1. Convergentie naar HFM: Numerieke experimenten tonen aan dat de interne representaties in diepe lagen van neurale netwerken convergeren naar de verdeling van het HFM naarmate zowel de diepte van het netwerk als de breedte van de trainingsdata toenemen.
2. Rol van Breedte en Diepte:
   • Bij een vaste diepte benadert de representatie het HFM als de data-breedte toeneemt, maar divergeert vervolgens als de breedte te groot wordt zonder extra diepte (door capaciteitsbeperkingen).
   • Dit bevestigt dat zowel diepte als breedte noodzakelijk zijn voor het ontstaan van absolute abstractie.
3. Parameter $g$ en Kritisch Punt: De gefitte parameter $g$ van het HFM neemt af naarmate de data-breedte toeneemt. De verdeling nadert een kritisch punt ($g_c = \log 2$), wat overeenkomt met een uniforme verdeling van de coderingskosten. Dit suggereert dat abstracte representaties de coderingskosten maximaliseren (principe van maximale relevantie).
4. Data-onafhankelijkheid: De interne representatie $p(s)$ wordt data-onafhankelijk; de specifieke informatie over de data wordt opgeslagen in de parameters die de overgang van de interne staat naar de zichtbare laag regelen, niet in de verdeling van de interne staat zelf.

Bijdragen

• Theoretisch Kader: De paper introduceert een RG-benadering om abstractie te definiëren als een vast punt van een transformatie die diepte en breedte combineert. Dit biedt een wiskundige basis voor "absolute abstractie".
• Identificatie van het Vaste Punt: Het vaststellen dat het HFM het unieke vaste punt is van deze transformatie, wat betekent dat de meest abstracte representatie een hiërarchische structuur van kenmerken volgt die wordt bepaald door het niveau van detail.
• Empirisch Bewijs: Het leveren van sterke numerieke bewijzen dat bestaande neurale netwerken (DBN en AE) zich gedragen zoals voorspeld door de theorie wanneer ze worden blootgesteld aan heterogene, brede datasets.
• Verbinding met Bestaande Hypotheses: De resultaten ondersteunen de "Platonic Representation Hypothesis", die stelt dat netwerken getraind op verschillende data convergeren naar een gedeelde statistische model van de werkelijkheid.

Significantie

Deze paper heeft belangrijke implicaties voor zowel machine learning als neurowetenschappen:

• Definitie van Intelligente Representatie: Het suggereert dat echte intelligentie en abstractie niet alleen voortkomen uit diepe architecturen, maar uit de integratie van ervaringen uit een breed scala aan domeinen.
• Understanding vs. Fitting: Het onderscheidt "fitting" (het reproduceren van data) van "leren" (het begrijpen van de variatie). Een abstracte representatie is universeel omdat het de oplossing is van een informatie-theoretisch optimalisatieprincipe (maximale relevantie), ongeacht de specifieke data.
• Taal en Cognitie: De auteurs trekken een parallel met Chomsky's "diepe structuur" in taal. Ze speculeren dat universele grammatica's of abstracte concepten kunnen ontstaan als vaste punten van een RG-transformatie in de diepe cortex, gedreven door de integratie van inputs uit alle zintuiglijke modaliteiten.
• Toekomstig Onderzoek: Het biedt een nieuwe methode om de kwaliteit van representaties te meten (via KL-divergentie met HFM) en suggereert dat het uitbreiden van de trainingsbreedte cruciaal is voor het ontwikkelen van robuuste, generaliseerbare AI-systemen.

Kortom, het artikel positioneert abstractie niet als een lokaal kenmerk van een netwerklaag, maar als een universeel, data-onafhankelijk statistisch fenomeen dat ontstaat onder de ideale condities van oneindige diepte en oneindige breedte.