Cross-Entropy Is Load-Bearing: A Pre-Registered Scope Test of the K-Way Energy Probe on Bidirectional Predictive Coding

1. Il Problema e il Contesto

Il paper si inserisce nel dibattito sulla misurazione della "metacognizione" (la capacità di un modello di discriminare la propria correttezza) nelle reti neurali. Un lavoro precedente di Cacioli [2026] aveva proposto una decomposizione teorica della sonda energetica K-way (un metodo strutturale per valutare la confidenza basato sull'energia di un modello di Predictive Coding - PC) rispetto alla linea di base standard (la probabilità softmax).

La decomposizione teorica prevedeva che, sotto cinque assunzioni specifiche, la sonda energetica dovesse approssimarsi a una funzione monotona del margine log-softmax, posizionandosi sotto la curva softmax (ovvero, la sonda avrebbe un'AUROC2 inferiore). Tuttavia, questa decomposizione si basava su assunzioni forti, tra cui l'uso della Cross-Entropy (CE) come funzione di perdita all'output e dinamiche di inferenza essenzialmente feedforward.

Il problema centrale di questo studio è determinare se l'assunzione della Cross-Entropy (A1) sia un componente "portante" (load-bearing) necessario per il fallimento della sonda rispetto alla softmax, o se il fenomeno dipenda dalle dinamiche di inferenza (A3) o da altre formulazioni energetiche.

2. Metodologia

Lo studio è un test di portata (scope test) preregistrato su Open Science Framework, condotto su CIFAR-10 con un backbone architetturale identico per tutte le condizioni (TinyConv, ~2.1M parametri). Sono stati testati 10 semi (seed) diversi per garantire la robustezza statistica.

Le tre condizioni sperimentali confrontate sono:

1. stdPC-CE (Baseline): Predictive Coding discriminativo standard con perdita Cross-Entropy all'output. Riproduce le condizioni del lavoro precedente.
2. stdPC-MSE: Predictive Coding standard con perdita Mean Squared Error (MSE) al posto della CE. Questa condizione isola l'assunzione A1 (rimozione della CE) mantenendo le dinamiche feedforward (A3).
3. bPC (Bidirectional PC): Implementazione di Bidirectional Predictive Coding (Oliviers et al., 2025) che utilizza una formulazione energetica MSE bidirezionale senza CE. Questa condizione viola sia A1 (nessuna CE) che A3 (dinamiche bidirezionali iterative).

Metriche di Valutazione:

• Sonda Energetica K-way: Clampa ogni classe candidata, esegue l'inferenza fino alla stabilizzazione e calcola l'energia totale. La confidenza è data dal margine tra la seconda e la prima energia minima.
• Baseline Softmax: Legge i logit feedforward senza ciclo di inferenza.
• Outcome Primario ($\Delta$): Differenza tra l'AUROC2 di Tipo-2 della sonda e quello della softmax ($\Delta = \text{AUROC}_{\text{probe}} - \text{AUROC}_{\text{softmax}}$). Un $\Delta < 0$ indica che la sonda è inferiore alla softmax.

Check di Manipolazione (H3): Prima di interpretare i risultati, si è verificato se il bPC producesse un movimento latente significativamente maggiore (almeno 10x) rispetto al PC standard, per confermare che le dinamiche bidirezionali fossero attive.

3. Risultati Chiave

A. Fallimento del Check di Manipolazione (Dinamiche)

Il bPC non ha prodotto un movimento latente significativamente maggiore rispetto al PC standard (rapporto ~1.6x, molto inferiore alla soglia preregistrata di 10x). Di conseguenza, il contributo della catena generativa all'energia totale è stato inferiore all'1%. Questo implica che i risultati del bPC non possono essere attribuiti a dinamiche di inferenza iterative avanzate, ma piuttosto alla rimozione della CE.

B. Riproduzione del Risultato Negativo (stdPC-CE)

Sulla condizione standard con CE, la sonda si è posizionata significativamente sotto la softmax ($\Delta = -0.082, p < 10^{-6}$), replicando i risultati precedenti di Cacioli [2026].

C. Effetto della Rimozione della CE (stdPC-MSE e bPC)

• Rimozione parziale (MSE): Sostituendo la CE con la MSE mantenendo l'architettura feedforward, il divario sonda-softmax si è ridotto del 54% ($\Delta = -0.037$).
• Rimozione completa (bPC): Nella condizione bPC (senza CE), la sonda ha superato la softmax su tutti i 10 semi ($\Delta = +0.008, p = 0.000027$).

Poiché il bPC non ha mostrato dinamiche superiori, il miglioramento è attribuibile alla rimozione della Cross-Entropy, non all'architettura bidirezionale.

D. Il Ruolo della Scala dei Logit (Ablazione)

L'analisi ha rivelato una differenza cruciale:

• I modelli addestrati con CE producono norme dei logit di output circa 15 volte più grandi (11.5) rispetto ai modelli MSE o bPC (0.78).
• Le grandi norme dei logit "affilano" la distribuzione softmax, aumentando artificialmente l'AUROC2 della baseline.
• Ablazione con Temperature Scaling: Applicando un scaling termico (T $\approx$ 15) ai modelli CE per ridurre le norme dei logit a livelli comparabili con MSE, il divario sonda-softmax si è ridotto del 66% (da -0.080 a -0.027).
• Il restante 34% del divario è attribuibile a un vantaggio di ranking intrinseco delle rappresentazioni addestrate con CE (che agiscono come regole di scoring corrette), indipendente dalla scala.

4. Contributi Principali

1. Identificazione del "Load-Bearing": Dimostra che la Cross-Entropy all'output è il componente empirico principale che causa la sonda energetica a performare peggio della softmax nelle reti PC standard. Senza CE, la sonda non è più svantaggiata.
2. Decomposizione del Divario: Scompone il divario di performance in due componenti:
   • 66% Effetto Scala: Dovuto all'inflazione dei logit indotta dalla CE, che favorisce la softmax. Questo è correggibile con il temperature scaling.
   • 34% Effetto Ranking: Un vantaggio reale delle rappresentazioni addestrate con CE nel correlare i logit con la correttezza, indipendente dalla scala.
3. Validazione dei Limiti Teorici: Conferma che la decomposizione teorica di Cacioli [2026] non si applica quando la CE viene rimossa, poiché il legame monotono tra energia e log-softmax si rompe.
4. Implicazioni per la Metacognizione: Suggerisce che quando si confrontano sonde strutturali con baseline softmax su modelli addestrati con CE, la softmax grezza non è un riferimento equo a causa dell'inflazione dei logit. Una softmax scalata per temperatura potrebbe essere un baseline più equo.

5. Significato e Conclusioni

Il paper conclude che il risultato negativo osservato nelle reti PC standard non è una limitazione fondamentale delle sonde strutturali di energia, ma un artefatto specifico dell'addestramento con Cross-Entropy.

• La rimozione della CE permette alla sonda energetica di eguagliare o superare la softmax.
• Le dinamiche bidirezionali (bPC), in questa scala e configurazione, non hanno contribuito in modo significativo al miglioramento; il fattore critico è stato l'assenza della CE.
• Per la valutazione della metacognizione, è necessario considerare come il modello viene addestrato per esprimere la confidenza (tramite CE o MSE) tanto quanto la sua architettura strutturale.

In sintesi, la Cross-Entropy è "load-bearing" per la decomposizione: rimuovendola, il comportamento della sonda energetica cambia radicalmente, rivelando che il suo apparente fallimento rispetto alla softmax è in gran parte dovuto a come la CE distorce la scala dei logit di output.