K-Way Energy Probes for Metacognition Reduce to Softmax in Discriminative Predictive Coding Networks

Dit artikel toont aan dat K-weg energieprobes voor metacognitie in discriminatieve voorspellende coderingsnetwerken in feite reduceren tot een monotoon verband met softmax, waardoor ze geen rijkere signaalbron bieden dan de standaard softmax-uitvoer.

De kern

De Kernvraag: Kan een AI beter "weten" dat ze het goed heeft?

Stel je voor dat een kunstmatige intelligentie (AI) een quiz moet doen.

• De gewone manier: De AI geeft een antwoord en zegt: "Ik ben 90% zeker." Dit is gebaseerd op een simpele berekening aan het einde van haar denkproces (de "softmax").
• Het probleem: Soms is die AI heel zelfverzekerd, maar heeft ze het helemaal fout. Ze is een "overmoedige leugenaar".
• De nieuwe idee: Wetenschappers dachten: "Misschien kunnen we kijken naar het hele denkproces van de AI, niet alleen het eindantwoord. Als we kijken naar hoe de AI haar eigen ideeën 'opbouwt' (een proces dat 'Predictive Coding' heet), kunnen we dan een betere 'zekerheidsmeter' vinden?"

Ze noemden deze nieuwe meter de "K-Way Energy Probe". Het idee was: "Laten we voor elk mogelijk antwoord de 'energie' van het hele denkproces meten. De optie met de laagste energie is het beste antwoord, en het verschil in energie tussen de beste en de tweede beste optie zou moeten laten zien hoe zeker de AI is."

Het Verdict: Het was een misleidend mooie droom

Het paper komt met een negatief resultaat. De auteurs zeggen: "Helaas, deze nieuwe meter werkt niet beter dan de oude simpele meter."

In feite is de nieuwe meter precies hetzelfde als de oude, maar dan met wat extra ruis erbij.

De Analogie: De Bergtop en de Spiegel

Stel je voor dat de AI een berg beklimt om de hoogste punt te vinden (het juiste antwoord).

1. De oude meter (Softmax): Kijkt alleen naar het uitzicht vanaf de top. "Ik zie de zon, dus ik ben zeker."
2. De nieuwe meter (K-Way Energy): Kijkt naar de hele bergwand, de rotsen, de wind en de klimroute. Het idee was: "Als we de hele route analyseren, zien we misschien dingen die de top alleen niet laat zien."

Wat het paper ontdekte:
Bij de specifieke manier waarop deze AI's zijn gebouwd (de "discriminative PC" stijl), is de klimroute eigenlijk een spiegel van het uitzicht vanaf de top.

• De AI is zo getraind dat de route naar de top perfect overeenkomt met het uitzicht.
• De "nieuwe meter" kijkt dus naar de route, maar omdat de route een spiegelbeeld is van het uitzicht, zegt hij precies hetzelfde als de oude meter.
• Het enige verschil is dat de nieuwe meter een beetje trilt (ruis) door de beweging van de klimmers. Deze trilling maakt de meting zelfs iets onbetrouwbaarder, niet beter.

Waarom werkt het niet? (De "Korte Weg")

De auteurs leggen uit dat bij deze specifieke AI-architectuur de "iteratieve" (stap-voor-stap) berekening tijdens het testen eigenlijk een schijnbeweging is.

• Het lijkt alsof de AI langzaam nadenkt en haar gedachten aanpast.
• In werkelijkheid is het antwoord al bijna klaar voordat ze begint met "nadenken". De stap-voor-stap aanpassingen zijn zo klein (zoals een ruisje op een radio) dat ze geen nieuwe informatie toevoegen.
• Omdat de "nieuwe meter" probeert iets te meten dat er nauwelijks is, haalt hij alleen maar de oude, simpele meting op, verstoord door wat ruis.

De Experimenten: 6 Manieren om het te testen

De auteurs waren voorzichtig en testten hun theorie op zes verschillende manieren, zoals een detective die een zaak van alle kanten bekijkt:

1. Normaal trainen: De nieuwe meter bleef altijd onder de oude meter.
2. Kijken naar beweging: Ze maten hoeveel de AI haar gedachten aanpaste. Het bleek dat ze bijna niets bewogen (een "no-op" of nietsdoend proces).
3. Spiegel-constructie: Ze bouwden een simpele AI met een spiegel erachter. De nieuwe meter op deze simpele constructie gaf exact hetzelfde resultaat als de oude meter.
4. Vergelijking: Ze vergeleken de AI met een andere soort AI (Backpropagation). De nieuwe meter deed het niet beter dan de oude, zelfs niet bij de andere AI.
5. Ruis toevoegen: Ze voegden "ruis" toe aan het denkproces (alsof de AI een beetje dronken is). De nieuwe meter werd er slechter van, wat bewijst dat de ruis het signaal verstoort.
6. Andere trainingsmethode: Ze veranderden hoe de AI leerde. Het resultaat bleef hetzelfde: de nieuwe meter deed het niet beter.

Wat betekent dit voor de toekomst?

Dit paper is een belangrijke "stop" voor een specifieke richting in het onderzoek, maar het is geen doodvonnis voor alles.

• De les: Als je een complexe nieuwe manier bedenkt om het vertrouwen van een AI te meten, moet je eerst controleren of die manier niet gewoon een ingewikkeld vermomde versie is van de simpele oude manier. Soms is "complexer" niet "beter", maar gewoon "verwarrender".
• Waar het wél kan werken: De auteurs zeggen dat dit resultaat alleen geldt voor deze specifieke soort AI's. Als je AI's bouwt die echt anders nadenken (bijvoorbeeld AI's die creatief zijn of echt generatieve modellen zijn, in plaats van alleen classificeren), dan zou de nieuwe meter misschien wel werken.

Samenvatting in één zin

De auteurs ontdekten dat hun nieuwe, complexe "zekerheidsmeter" voor AI's in feite gewoon de oude, simpele meter was met wat extra ruis erbij, en dat het daarom geen betere voorspellingen gaf over of de AI het goed had.

Technische samenvatting

1. Probleemstelling

Het paper adresseert het probleem van metacognitie in neurale netwerken: de capaciteit van een model om de waarschijnlijkheid van zijn eigen correctheid te schatten. Bestaande methoden voor het meten van vertrouwen (zoals softmax-marges, geleerde lineaire lezers en post-hoc kalibratie) vertonen in recente studies (vooral bij transformer-modellen) falen. Deze signalen zijn vaak niet-informatief of zelfs anti-informatief voor Type-2 discriminatie (het onderscheiden van correcte van incorrecte antwoorden).

Een mogelijke oplossing zou zijn om te kijken naar structurele probes in Predictive Coding Networks (PCN's). In tegenstelling tot standaard netwerken die vertrouwen aflezen van de output-laag, gebruiken PCN's een energie-benadering waarbij elke laag voorspellingsfouten minimaliseert. De hypothese was dat een K-weg energie-probe (waarbij voor elke klasse $k$ de output latent wordt vastgezet, inferentie wordt uitgevoerd tot stabilisatie, en de totale energie $E_k$ wordt gemeten) een rijker signaal zou kunnen bieden dat minder vatbaar is voor pathologieën in de output-laag (zoals die veroorzaakt door RLHF).

De centrale vraag van dit paper is: Levert de K-weg energie-probe in standaard discriminatieve PCN's daadwerkelijk meer metacognitief signaal op dan de standaard softmax op hetzelfde netwerk, of is de schijn van rijkheid illusoir?

2. Methodologie

De auteurs hanteren een combinatie van theoretische analyse en empirische verificatie.

Theoretische Analyse: De Energie-Marge Reductie

De kern van de theoretische bijdrage is een benaderde decompositie van de K-weg energie-marge. Onder standaard aannamen voor discriminatieve PCN's (Pinchetti-stijl implementatie) met cross-entropy (CE) energie en doel-geclamped training, wordt aangetoond dat de energie $E_k$ voor een hypothese $k$ als volgt kan worden opgesplitst:

$$E_k(x) \approx -\log(\text{softmax}(z_{ff}^L)_k) + R_k(x) + C(x)$$

Waarbij:

• $-\log(\text{softmax}(z_{ff}^L)_k)$ de negatieve log-softmax waarschijnlijkheid is van de feedforward output.
• $R_k(x)$ een residu is dat ontstaat door de propagatie van de vastgezet (geclamped) doel-klasse door de generatieve keten.
• $C(x)$ een constante is die onafhankelijk is van $k$.

Belangrijke conclusie van de theorie:
De structuur van de PCN zorgt ervoor dat de "energie" die de probe leest, in feite gedomineerd wordt door de log-softmax marge van de feedforward output. Het residu $R_k(x)$ is niet getraind om te correleren met correctheid. Omdat AUROC (Area Under the Receiver Operating Characteristic) invariant is onder monotoone transformaties, betekent dit dat de K-weg energie-probe de signalen van softmax erft, maar daar een ruiscomponent aan toevoegt die niet helpt bij het onderscheiden van correcte van incorrecte antwoorden. De theorie voorspelt dus dat de probe onder de softmax presteert, niet erboven.

Empirische Verificatie

De auteurs testen deze voorspelling op het CIFAR-10 dataset met een TinyConvPCN (~2,1 miljoen parameters). Ze evalueren zes verschillende condities om de robuustheid van de bevindingen te testen:

1. Standaard deterministische training: Uitgebreid tot 25 epochs.
2. Directe meting van latente beweging: Om te verifiëren of inferentie effectief een "no-op" is (feedforward).
3. Backpropagation (BP) + Post-hoc decoder: Een BP-netwerk met een nagebootste generatieve keten om te zien of de reductie ook hier geldt.
4. PC vs. BP vergelijking: Met een gelijk trainingsbudget om te controleren of het verschil in prestatie komt door de trainingsmethode of de structuur.
5. Test-tijd Langevin-inferentie: Het toevoegen van ruis aan de inferentie-stappen om te zien of stochasticiteit het signaal verbetert.
6. Traject-integreerde MCPC training: Een geavanceerde trainingsmethode (Oliviers et al.) waarbij gradients over meerdere steekproeven worden gemiddeld.

3. Belangrijkste Resultaten

In alle zes condities bleek de K-weg energie-probe consequent onder de softmax-baseline te presteren op hetzelfde netwerk.

• AUROC2 Gap: De structuur-probe had een lagere AUROC2 dan softmax. De kloof varieerde maar bleef stabiel (bijv. 0,066 tot 0,155 lager bij standaard training).
• Geen convergentie: De kloof sluit niet naarmate het netwerk langer wordt getraind; de softmax blijft verbeteren terwijl de structuur-probe plateauert of zelfs achteruitgaat.
• Inferentie is een "no-op": De meting van latente beweging toonde aan dat tijdens inferentie de veranderingen in de latente lagen verwaarloosbaar klein zijn ($\sim 10^{-4}$), wat de aanname bevestigt dat de inferentie effectief feedforward is.
• BP + Decoder: Zelfs bij een BP-netwerk met een expliciet getrainde decoder (die de structuur van een PCN nabootst) bleek de energie-probe binnen 0,009 AUROC2 van de standaard softmax te liggen.
• Ruis en Training: Het toevoegen van ruis (Langevin) of het gebruik van geavanceerde trainingsmethoden (MCPC) verbeterde de probe niet. Sterker nog, ruis degradeerde de prestaties, wat bevestigt dat de "dynamiek" geen extra waardevol signaal bevatte.

4. Kernbijdragen

1. Theoretische Decompositie: Het paper presenteert een wiskundige afleiding die aantoont dat de K-weg energie-probe in standaard discriminatieve PCN's wiskundig reduceert tot een monotoone functie van de log-softmax marge plus een niet-geoptimaliseerd residu.
2. Empirisch Bewijs: Het levert robuust empirisch bewijs dat deze theoretische voorspelling klopt over diverse trainingsregimes en inferentie-protocollen.
3. Methodologische Waarschuwing: Het paper waarschuwt dat "structurele complexiteit" in een probe niet automatisch leidt tot "signaalcomplexiteit". Als de structuur van het netwerk en de trainingsdoelstellingen (zoals CE-energie met doel-clamping) de informatie terugbrengen tot een standaard output, dan is de extra complexiteit van de probe illusoir.

5. Betekenis en Implicaties

• Niet voor alle PCN's: De conclusie is specifiek voor standaard discriminatieve PCN's met cross-entropy en doel-clamping. Het geldt niet voor bidirectionele PCN's, generatieve PCN's zonder doel-clamping, of netwerken met skip-connections die de generatieve keten doorbreken.
• Leerpunt voor Metacognitie: Het suggereert dat het zoeken naar betere vertrouwenssignalen niet noodzakelijk leidt tot het veranderen van de architectuur naar een energie-model, tenzij de trainingsdoelstellingen en inferentie-dynamiek fundamenteel anders zijn ingericht om informatie te coderen die niet in de feedforward output zit.
• Toekomstig Onderzoek: Het paper opent de deur voor productieve structurele probing in scenarios waar de inferentie-dynamiek wel significant afwijkt van de feedforward initialisatie (bijv. bij prospectieve configuratie of bidirectionele inferentie), of waar generatieve en discriminatieve doelen gezamenlijk worden getraind om het residu $R_k$ wel relevant te maken voor correctheid.

Kortom, het paper weerlegt de hypothese dat de K-weg energie-probe in huidige standaard PCN-implementaties een superieur metacognitief signaal biedt ten opzichte van de simpele softmax, en biedt een mechanistische verklaring waarom dit zo is.