On the Equivalence of Random Network Distillation, Deep Ensembles, and Bayesian Inference

Deze paper toont aan dat Random Network Distillation (RND) in de limiet van oneindige netwerkbreedte theoretisch equivalent is aan diepe ensemble's en Bayesiaanse inferentie, waardoor een nieuwe, efficiënte methode voor Bayesiaanse posterior-sampling mogelijk wordt gemaakt.

De kern

De Grote Ontdekking: Waarom "Gokken" met AI werkt

Stel je voor dat je een kunstenaar bent die een schilderij moet maken. Je wilt niet alleen weten hoe het schilderij eruitziet, maar ook hoe zeker je bent dat het goed is. In de wereld van kunstmatige intelligentie (AI) noemen we dit "onzekerheid meten". Als een AI zegt: "Ik ben 99% zeker dat dit een kat is", maar het is eigenlijk een hond, dan kan dat gevaarlijk zijn (bijvoorbeeld bij een zelfrijdende auto).

Dit paper onderzoekt drie verschillende manieren om die zekerheid te meten en ontdekt iets verrassends: Ze zijn eigenlijk allemaal hetzelfde, maar dan in een andere verpakking.

Laten we de drie methoden bekijken met een verhaal:

1. De Drie Methoden

• De Diepe Ensembles (De "Meesterklas"):
  Stel je voor dat je 100 verschillende kunstenaars vraagt om hetzelfde schilderij te maken. Als ze allemaal een heel vergelijkbaar schilderij maken, ben je zeker. Maken ze heel verschillende schilderijen? Dan ben je onzeker.

  • Nadeel: Dit is duur en tijdrovend. Je moet 100 keer dezelfde training doen.

• Bayesiaanse Inference (De "Wiskundige Prof"):
  Dit is de "gouden standaard". Het is alsof je één kunstenaar hebt die niet alleen schildert, maar ook elke mogelijke variatie in zijn hoofd heeft en daar een wiskundige verdeling van maakt. Het is extreem nauwkeurig, maar in de praktijk bijna onmogelijk te berekenen voor grote AI-modellen. Het is alsof je probeert elke mogelijke toekomst te simuleren.

• Random Network Distillation - RND (De "Gokker"):
  Dit is de methode die de auteurs onderzoeken. Het is heel simpel en goedkoop. Je hebt een AI die probeert een vast, willekeurig doelwit na te bootsen.

  • Hoe werkt het? Je hebt een "gokker" (de AI) en een "doelwit" (een willekeurig, statisch netwerk dat nooit verandert). De gokker probeert het doelwit te voorspellen.
  • De truc: Als de AI een situatie ziet die ze niet kent (bijvoorbeeld een nieuwe omgeving), zal ze het doelwit niet goed kunnen voorspellen. De fout die ze maakt, is groot. Die grote fout is hun signaal voor: "Hé, ik weet hier niets van!"
  • Voordeel: Het is snel en goedkoop. Maar tot nu toe wisten wetenschappers niet precies waarom het werkte of wat die fout precies betekende.

2. De Grote Ontdekking: De "Oneindige" Spiegel

De auteurs van dit paper hebben een wiskundige bril opgezet (de "Neural Tangent Kernel" theorie) en gekeken naar wat er gebeurt als je AI-modellen oneindig groot maakt. In dit oneindige universum ontdekten ze twee prachtige waarheden:

Vinding 1: De Gokker is de Meesterklas
Ze bewezen dat de fout die de "Gokker" (RND) maakt, exact hetzelfde is als de variatie die je krijgt als je 100 kunstenaars (Deep Ensembles) zou laten werken.

• De Analogie: Het is alsof je één kunstenaar hebt die een willekeurig doelwit probeert te raden. Als je die ene kunstenaar genoeg kansen geeft (in een oneindig groot model), levert die ene poging precies dezelfde onzekerheidsinformatie op als 100 verschillende kunstenaars die samenwerken. Je hoeft dus niet 100 modellen te trainen; één goed getrainde "gokker" volstaat!

Vinding 2: De Gokker kan een "Profeet" worden
Dit is het meest spannende deel. Normaal gesproken is de RND-fout gewoon een maat voor "hoe nieuw dit is". Maar de auteurs hebben een speciale truc bedacht. Ze hebben het "doelwit" dat de AI moet nabootsen, op een heel slimme manier aangepast.

• De Analogie: Stel je voor dat je de "gokker" niet meer laat raden naar een willekeurig doel, maar naar een doel dat is ontworpen door een wiskundige profeet. Als je dit doet, wordt de fout die de AI maakt niet langer een gok, maar wordt het een exacte afspiegeling van wat de "Profeet" (Bayesiaanse Inference) zou zeggen.
• Het resultaat: Met deze aangepaste versie (die ze "Bayesian RND" noemen) kun je niet alleen zeggen "ik ben onzeker", maar kun je ook exacte voorbeelden genereren van hoe die onzekerheid eruit ziet. Het is alsof je uit één model direct 100 verschillende mogelijke toekomstbeelden kunt halen, zonder dat je 100 modellen hoeft te draaien.

3. Waarom is dit belangrijk?

Tot nu toe was RND een beetje een "magische" truc die werkte, maar niemand wist precies waarom. Dit paper legt de brug tussen de snelle, goedkope methode (RND) en de dure, nauwkeurige methoden (Ensembles en Bayesiaanse Inference).

• Voor de praktijk: Het betekent dat we in de toekomst misschien niet meer die zware, dure berekeningen nodig hebben om AI veilig te maken. We kunnen slimme, lichte versies gebruiken die wiskundig bewezen even goed werken als de zware methoden (in theorie).
• Voor de toekomst: Het opent de deur naar AI-systemen die niet alleen slim zijn, maar ook weten wat ze niet weten, en dat op een manier die we volledig kunnen begrijpen en vertrouwen.

Kortom:
De auteurs hebben ontdekt dat een simpele "gokker" (RND) in een oneindig groot universum precies hetzelfde doet als een hele klas van experts (Ensembles) en zelfs de rol van een wiskundige profeet (Bayesiaanse Inference) kan spelen, als je hem maar het juiste doelwit geeft. Het is een enorme stap om AI veiliger en efficiënter te maken.

Technische samenvatting

Probleemstelling

Onzekerheidskwantificatie (uncertainty quantification) is essentieel voor de veilige en efficiënte inzet van diepe leermodellen, bijvoorbeeld in robotica en autonome systemen. Hoewel Bayesiaanse inferentie als de theoretische "gouden standaard" wordt beschouwd, is deze in de praktijk vaak onhandelbaar voor neurale netwerken vanwege de hoge rekenkosten en de noodzaak tot complexe benaderingen (zoals variatiele inferentie of MCMC).

Een populair, maar theoretisch minder onderbouwd alternatief is Random Network Distillation (RND). RND is een lichtgewicht techniek die een "novelty"-signaal genereert door een voorspellend netwerk te trainen om de output van een vast, willekeurig geïnitieerd doelpunt-netwerk na te bootsen. De onzekerheid wordt gemeten via de kwadratische voorspellingsfout. Hoewel RND empirisch succesvol is (bijv. in exploratie en out-of-distribution detectie), is het theoretisch onduidelijk:

1. Wat voor soort onzekerheid meet RND precies?
2. Hoe verhoudt deze schatting zich tot gevestigde methoden zoals diepe ensembles (deep ensembles) of Bayesiaanse inferentie?

Methodologie

De auteurs analyseren RND binnen het theoretische kader van Neural Tangent Kernels (NTK) in de limiet van oneindige netwerkbreedte (infinite width limit). In dit regime gedragen zich neurale netwerken als lineaire modellen en kunnen hun dynamiek worden beschreven met behulp van Gaussische Processen (GP).

De analyse volgt drie hoofdstappen:

1. Formulering van RND: Het trainen van een predictor $u$ om een vast doel $g$ na te bootsen, waarbij de fout $\epsilon = u - g$ wordt geanalyseerd.
2. NTK-analyse: Het gebruik van de theorie dat bij oneindige breedte de NTK (de gradiënt-gebaseerde kernel) deterministisch en stationair wordt. Hierdoor kunnen de trainingsdynamica en de verdeling van de functies analytisch worden opgelost.
3. Constructie van een "Bayesian RND": De auteurs ontwerpen een specifieke variant van de RND-doelfunctie. In plaats van een willekeurig geïnitieerd netwerk, wordt het doelnetwerk $\tilde{g}$ zo geconstrueerd dat de initiële foutverdeling precies overeenkomt met de prior-kernel van de NTK. Dit vereist het manipuleren van de parameters van het doelnetwerk (specifiek het instellen van de laatste laag op nul en het gebruik van gradiënten van de eerdere lagen).

Belangrijkste Bijdragen

1. Equivalentie met Deep Ensembles (Standaard RND)
De auteurs bewijzen dat in de oneindige breedte-limiet de verwachte kwadratische fout van standaard RND exact overeenkomt met de voorspellende variantie van een diep ensemble.

• Resultaat: De verdeling van de RND-fouten is statistisch gelijk aan de verdeling van de variantie van een ensemble van $K+1$ onafhankelijk geïnitieerde netwerken.
• Betekenis: Dit geeft een theoretische rechtvaardiging voor het empirische succes van RND als onzekerheidsmeting; het is in de limiet een efficiënte proxy voor een ensemble.

2. Equivalentie met Bayesiaanse Posteriors (Bayesian RND)
Door de doelfunctie van RND bewust te ontwerpen (de "Bayesian RND" variant), kunnen de auteurs de foutverdeling laten overeenkomen met de centrale Bayesiaanse posterior predictieve verdeling van een oneindig breed netwerk.

• Methode: Ze construeren een doelnetwerk $\tilde{g}$ waarbij de prior-kernel van de initiële fouten ($\kappa_{\epsilon}$) gelijk wordt gemaakt aan de NTK-kernel ($\Theta$).
• Resultaat: De fout $\epsilon^b = u - \tilde{g}$ is niet langer slechts een maat voor ensemble-variantie, maar een directe steekproef uit de exacte Bayesiaanse posterior predictieve verdeling.

3. Posterior Sampling Algorithm
Gebaseerd op de Bayesian RND-variant, ontwikkelen de auteurs een algoritme voor posterior sampling.

• Methode: Door gebruik te maken van een multi-headed architectuur (waarbij elke head een onafhankelijke steekproef genereert), kunnen ze i.i.d. (independent and identically distributed) samples genereren uit de exacte Bayesiaanse posterior.
• Voordeel: Dit vereist slechts één model (in plaats van het trainen van honderden ensemble-leden) en biedt een computatie-efficiënte manier om exacte Bayesiaanse inferentie uit te voeren in de NTK-limiet.

Resultaten

• Theoretisch: De paper levert een unificerend perspectief dat RND, deep ensembles en Bayesiaanse inferentie onder één theoretisch paraplu plaatst in de oneindige breedte-limiet.
• Empirisch: Numerieke experimenten op synthetische data tonen aan dat naarmate de netwerkbreedte toeneemt (van 64 tot 8192 eenheden), de discrepantie tussen de voorspellende variantie van ensembles en de RND-fouten verdwijnt. De correlatie wordt perfect en de schaling is correct, wat de theoretische afleidingen bevestigt.
• Bayesian RND: De experimenten tonen aan dat de aangepaste Bayesian RND methode inderdaad samples genereert die overeenkomen met de theoretische Bayesiaanse posterior, zelfs bij praktische netwerkbreedtes.

Significantie en Toekomstperspectief

Deze studie is significant omdat het een lange ontbrekende theoretische schakel legt tussen een populaire, computatie-efficiënte heuristiek (RND) en rigoureuze Bayesiaanse methoden.

• Efficiëntie: Het biedt een weg naar Bayesiaanse inferentie met minimale rekenkosten, wat cruciaal is voor toepassingen zoals versterkingsleren (RL) waar RND oorspronkelijk vandaan komt.
• Target Engineering: Het introduceert het concept van "target engineering" als een goedkope manier om priors voor Bayesiaanse deep learning te bestuderen en te manipuleren.
• Beperkingen: De resultaten gelden strikt genomen in de "lazy training" regime van oneindige breedte (NTK-regime), waar netwerken geen features leren (feature learning). De auteurs erkennen dat het begrijpen van de afwijkingen in eindige breedte-netwerken (waar features wel worden geleerd) een belangrijke open vraag blijft voor toekomstig onderzoek.

Kortom, het artikel transformeert RND van een "black-box" heuristiek naar een methodologie met een stevige theoretische basis, die zowel als ensemble-variantie als exacte Bayesiaanse inferentie kan fungeren afhankelijk van de configuratie van het doelpunt-netwerk.