Cross-Entropy Is Load-Bearing: A Pre-Registered Scope Test of the K-Way Energy Probe on Bidirectional Predictive Coding

Probleemstelling

Het onderzoek bouwt voort op eerdere bevindingen (Cacioli, 2026) die aantoonden dat de K-weg energie-probe (een structuurproef die de betrouwbaarheid van voorspellingen meet op basis van de energie-landschap van een netwerk) op standaard discriminatieve Predictive Coding (PC) netwerken systematisch onderpresteert ten opzichte van een softmax-baseline.

De theoretische decompositie die deze onderprestatie verklaart, rust op vijf aannames, waarvan twee cruciaal zijn voor deze studie:

1. A1: Het gebruik van Cross-Entropy (CE) als verliesfunctie aan de uitgang.
2. A3: Effectief feedforward inferentiedynamica (in plaats van iteratief bidirectioneel).

De vraag die deze studie beantwoordt, is of Cross-Entropy een "load-bearing" (dragerende) component is van deze decompositie. Met andere woorden: Is de onderprestatie van de energie-probe een fundamenteel gebrek aan de structuurproef, of is het een artefact van hoe het netwerk is getraind (via CE)?

Methodologie

De studie is een vooraf geregistreerde scope-test uitgevoerd op het CIFAR-10-dataset met een identieke backbone-architectuur (TinyConv, ~2,1 miljoen parameters) voor drie experimentele condities:

1. Conditie A (StdPC-CE): Standaard discriminatieve PC getraind met Cross-Entropy (de baseline uit eerdere werk).
2. Condities B (StdPC-MSE): Standaard discriminatieve PC getraind met MSE (Mean Squared Error) in plaats van CE. Hierdoor wordt alleen A1 geschonden, terwijl de dynamica (A3) behouden blijft.
3. Condities C (bPC): Bidirectionele Predictive Coding (volgens Oliviers et al., 2025). Dit gebruikt een bidirectionele MSE-energie zonder CE-term. Hierdoor worden zowel A1 (geen CE) als A3 (echte iteratieve bidirectionele dynamica) geschonden.

Evaluatiemetingen:

• Type-2 AUROC: De prestatie van de probe en de softmax wordt gemeten via de Area Under the ROC Curve voor het onderscheiden van correcte versus incorrecte Type-1 voorspellingen (meting van "metacognitie").
• Hoofduitkomst ($\Delta$): Het verschil in AUROC tussen de energie-probe en de softmax-baseline ($\Delta = \text{AUROC}_{\text{probe}} - \text{AUROC}_{\text{softmax}}$).
• Manipulatiecheck: Er werd gecontroleerd of bPC daadwerkelijk leidt tot significante latente beweging (iteratieve dynamica) vergeleken met standaard PC.
• Post-hoc analyse: Temperatuurschaling (temperature scaling) op CE-getrainde modellen om het effect van logit-schaal te isoleren.

Belangrijkste Resultaten

1. Replicatie van de negatieve uitkomst bij standaard PC
Bij standaard PC met CE (Conditie A) werd de negatieve uitkomst bevestigd: de energie-probe presteerde significant slechter dan softmax ($\Delta = -0.082, p < 10^{-6}$). Dit bevestigt dat de decompositie geldig is voor CE-getrainde netwerken.

2. De rol van Cross-Entropy (A1)
Het vervangen van CE door MSE (Condities B) halveerde de kloof tussen probe en softmax aanzienlijk ($\Delta$ verbeterde van -0.082 naar -0.037). Dit suggereert dat CE een grote, empirisch dragende component is van de oorspronkelijke onderprestatie.

3. Bidirectionele Dynamica (A3) faalt als verklaring
De vooraf geregistreerde manipulatiecheck (H3) slaagde niet. bPC produceerde geen substantieel grotere latente beweging dan standaard PC (ratio 1.6 vs. vereiste drempel van 10). De generatieve keten droeg minder dan 1% bij aan de totale energie.

• Conclusie: Hoewel bPC wel een kleine positieve $\Delta$ liet zien (+0.008), kan dit niet worden toegeschreven aan de bidirectionele dynamica, maar eerder aan het verwijderen van de CE-term.

4. Het mechanisme: Logit-schaal en rangschikking
Een cruciale bevinding is dat CE-training leidt tot uitgangslogits met een norm die ongeveer 15x groter is dan bij MSE of bPC training.

• Temperatuurschaling: Door de logits van CE-modellen post-hoc te schalen (temperatuur $T \approx 15$) om de norm te matchen met MSE-modellen, nam de kloof ($\Delta$) met 66% af.
• Overblijvend effect: Er bleef een kloof van ongeveer 34% over. Dit suggereert dat CE niet alleen de schaal van de logits inflatieert, maar ook een rangschikking-voordeel (ranking advantage) creëert dat schaal-invariant is. CE fungeert als een strikt juiste scoringsregel die de logit-rangschikking beter correleert met correctheid dan de energie-probe.

Belangrijke Bijdragen

1. Isolatie van CE als kritieke factor: Het onderzoek toont aan dat de vermeende onderprestatie van structurele energie-probes grotendeels een artefact is van de gebruikte verliesfunctie (Cross-Entropy) en niet een fundamenteel gebrek aan de probe zelf.
2. Decompositie van de kloof: De kloof tussen probe en softmax wordt opgesplitst in twee componenten:
   • ~66% Schaal-afhankelijk: Verwijderbaar door temperatuurschaling (logit-norm inflatie door CE).
   • ~34% Schaal-invariant: Een echt rangschikking-voordeel van CE-getrainde representaties.
3. Validatie van de scope: De studie bevestigt dat de negatieve resultaten uit eerdere werken specifiek gelden voor CE-getrainde discriminatieve PC en niet als een universele beperking voor structurele probes moeten worden gezien.
4. Methodologische correctie: Het toont aan dat bij het vergelijken van confidence-metingen op CE-getrainde netwerken, een temperatuur-geschaalde softmax een eerlijkere baseline is dan de ruwe softmax.

Significantie en Implicaties

De titel "Cross-Entropy Is Load-Bearing" vat de kern samen: als je de Cross-Entropy-term verwijdert, stort de theoretische constructie die de onderprestatie van de probe verklaart in.

• Voor onderzoek naar metacognitie: Het suggereert dat hoe een netwerk wordt getraind om vertrouwen te uiten (via CE), minstens zo belangrijk is als de architectuur zelf. De "zwakte" van de energie-probe is dus grotendeels een trainingsartefact.
• Voor Predictive Coding: De studie toont aan dat bij de huidige schaal (TinyConv) de bidirectionele dynamica (bPC) functioneel niet significant verschilt van feedforward inferentie in termen van latente beweging. De voordelen van bPC in eerdere werken lijken meer gerelateerd aan multimodale taken of ontbrekende input, niet aan de pure classificatie-inferentie die hier werd getest.
• Toekomstige richtingen: Vergelijkingen van confidence-probes moeten rekening houden met logit-schaling. Het gebruik van temperatuur-geschaalde baselines kan leiden tot eerlijkere evaluaties van structurele probes tegenover traditionele softmax-metingen.

Kortom, de studie verschaft een mechanistisch inzicht in waarom energie-probes in bepaalde settings onderpresteren en corrigeert de interpretatie van eerdere negatieve resultaten door de rol van de verliesfunctie (CE) centraal te stellen.