Cross-Entropy Is Load-Bearing: A Pre-Registered Scope Test of the K-Way Energy Probe on Bidirectional Predictive Coding

1. El Problema

El estudio aborda la validez de una descomposición teórica propuesta previamente por Cacioli [2026] sobre la sonda de energía K-way en redes de codificación predictiva (PC) discriminativas.

• La hipótesis original: Bajo cinco supuestos (incluyendo el uso de Entropía Cruzada (CE) en la salida y dinámicas de inferencia efectivamente feedforward), la sonda de energía debería comportarse aproximadamente como una función monótona del margen de log-softmax, situándose sistemáticamente por debajo del rendimiento de la línea base de softmax.
• La incógnita: No estaba claro si este comportamiento (la sonda rindiendo peor que el softmax) era una limitación inherente de las sondas estructurales o si dependía críticamente de la función de pérdida utilizada durante el entrenamiento (CE).
• Objetivo: Determinar si la eliminación de la Entropía Cruzada (CE) y/o la introducción de dinámicas bidireccionales (como en la Codificación Predictiva Bidireccional o bPC) alteran esta relación, permitiendo que la sonda de energía supere o iguale al softmax.

2. Metodología

El estudio es una prueba de alcance pre-registrada en el Open Science Framework, realizada sobre el conjunto de datos CIFAR-10 con un backbone de TinyConv (2.1 millones de parámetros). Se compararon tres condiciones experimentales con 10 semillas (seeds) cada una:

1. Condición A (stdPC-CE): Codificación Predictiva Estándar con Entropía Cruzada en la salida (réplica de la línea base).
2. Condición B (stdPC-MSE): Codificación Predictiva Estándar con Error Cuadrático Medio (MSE) en lugar de CE. Esto aísla el efecto de la formulación de energía (Supuesto A1) manteniendo las dinámicas feedforward.
3. Condición C (bPC): Codificación Predictiva Bidireccional (Oliviers et al., 2025) con energía MSE bidireccional y sin CE. Esto viola los supuestos de dinámica (A3) y formulación de energía (A1).

Métricas de Evaluación:

• Sonda de Energía K-way: Clampa cada clase candidata, ejecuta inferencia hasta la convergencia y mide la energía total. La confianza se define como la diferencia entre la energía de la segunda y primera hipótesis.
• Línea Base Softmax: Lee los logits de salida feedforward sin bucle de inferencia.
• Métrica Principal ($\Delta$): Diferencia entre el AUROC de Tipo-2 (capacidad de discriminar predicciones correctas de incorrectas) de la sonda y el del softmax ($\Delta = \text{AUROC}_{\text{probe}} - \text{AUROC}_{\text{softmax}}$).
• Análisis Post-hoc: Se aplicó escalado de temperatura a los modelos entrenados con CE para aislar el efecto de la magnitud de los logits.

3. Contribuciones Clave

1. Identificación de la "Carga Estructural" de la CE: Demostración empírica de que la Entropía Cruzada es el componente principal que hace que la sonda de energía rinda peor que el softmax en redes discriminativas estándar.
2. Descomposición del Déficit: Separación del rendimiento inferior de la sonda en dos componentes:
   • Efecto de escala (66%): Causado por la inflación de la norma de los logits inducida por la CE.
   • Ventaja de ranking invariante a escala (34%): Una ventaja inherente del softmax entrenado con CE sobre la sonda, independiente de la magnitud.
3. Refutación de la Dinámica como Causa Principal: Demostración de que, a esta escala, las dinámicas bidireccionales (bPC) no generan un movimiento latente significativo ni mejoran la discriminación de hipótesis por sí mismas; el cambio de rendimiento se debe principalmente a la eliminación de la CE.

4. Resultados Principales

• Replicación del Resultado Negativo (stdPC-CE): En la condición estándar con CE, la sonda rinde consistentemente por debajo del softmax ($\Delta = -0.082$, $p < 10^{-6}$), replicando el hallazgo anterior.
• Eliminación de CE (stdPC-MSE): Al reemplazar CE por MSE, la brecha se reduce a la mitad ($\Delta = -0.037$). Esto indica que la formulación de energía es parcialmente responsable del déficit.
• Codificación Bidireccional (bPC): En la condición bPC, la sonda supera al softmax en todas las semillas ($\Delta = +0.008$, $p = 0.000027$).
  • Limitación importante: La comprobación de manipulación (H3) falló; bPC no produjo un movimiento latente 10 veces mayor que el estándar (solo 1.6x). Por lo tanto, la mejora no se debe a la dinámica iterativa, sino a la ausencia de CE.
• Análisis de Escala de Logits:
  • Los modelos entrenados con CE producen normas de logits 15 veces mayores (11.5) que los modelos con MSE o bPC (0.78).
  • La CE infla los logits, lo que afila la distribución de softmax y aumenta artificialmente su AUROC de Tipo-2.
• Ablación de Temperatura: Al escalar la temperatura en los modelos CE para igualar la norma de los logits de los modelos MSE:
  • La brecha se redujo un 66%.
  • Permaneció un 34% de brecha, atribuido a que la CE optimiza directamente la probabilidad logarítmica correcta, creando un ordenamiento de logits intrínsecamente mejor correlacionado con la corrección que la sonda de energía.

5. Significado e Implicaciones

• Reinterpretación de las Sondas Estructurales: El resultado negativo de Cacioli [2026] no es una limitación fundamental de las sondas de energía estructural, sino un artefacto específico de las redes entrenadas con Entropía Cruzada. Una vez eliminada la CE, la sonda puede igualar o superar al softmax.
• La CE como Sesgo de Línea Base: El softmax en redes entrenadas con CE no es una línea base neutral. Su ventaja se debe en gran medida a la inflación de la escala de los logits. Para comparaciones justas entre sondas estructurales y softmax, se debería utilizar un softmax escalado por temperatura.
• Dinámica vs. Objetivo de Entrenamiento: A la escala probada (TinyConv), la complejidad de las dinámicas bidireccionales (bPC) no es el factor determinante para mejorar la metacognición; el cambio en el objetivo de pérdida (eliminar CE) es lo que permite que la sonda de energía funcione mejor.
• Metacognición en Redes Neuronales: El estudio sugiere que cómo una red se entrena para expresar confianza (el objetivo de pérdida) es tan crítico como su arquitectura para la medición metacognitiva (discriminación de Tipo-2).

En conclusión, la Entropía Cruzada es un componente "cargado" (load-bearing) en la descomposición teórica de la sonda de energía. Su eliminación revela que las sondas estructurales tienen un potencial de rendimiento comparable al softmax, desafiando la noción de que son inherentemente inferiores en redes de codificación predictiva.