Cross-Entropy Is Load-Bearing: A Pre-Registered Scope Test of the K-Way Energy Probe on Bidirectional Predictive Coding

Título: A Entropia Cruzada é um Componente Estrutural: Um Teste de Escopo Pré-registrado da Sonda de Energia K-Way em Codificação Preditiva Bidirecional

1. Problema e Contexto

O estudo investiga a validade de uma decomposição teórica proposta por Cacioli [2026], que sugere que uma "sonda de energia K-way" (uma métrica de confiança estrutural baseada em erros de predição em redes de codificação preditiva) deve rastrear a margem de log-softmax de baixo para cima.

A decomposição original baseia-se em cinco pressupostos, sendo os mais críticos:

1. A1: Uso de Entropia Cruzada (CE) na saída.
2. A3: Dinâmicas de inferência essencialmente feedforward (unidirecionais).

O problema central é determinar se o desempenho inferior da sonda de energia em relação ao softmax (observado em redes padrão) é uma limitação fundamental da sonda ou se é um artefato dependente do uso da Entropia Cruzada e das dinâmicas de inferência específicas. O estudo busca testar a sensibilidade dessa decomposição à remoção da CE e à introdução de dinâmicas bidirecionais.

2. Metodologia

O estudo foi pré-registrado no Open Science Framework (OSF) antes da coleta de dados, garantindo rigor estatístico e evitando p-hacking.

• Arquitetura: Todos os experimentos utilizaram a mesma rede "TinyConv" (2,1 milhões de parâmetros) no dataset CIFAR-10.
• Condições Experimentais (3 grupos):
  1. stdPC-CE (Baseline): Codificação Preditiva Discriminativa padrão com Entropia Cruzada na saída (replicação da condição original).
  2. stdPC-MSE: Codificação Preditiva Discriminativa padrão, mas substituindo a CE por Erro Quadrático Médio (MSE) na saída. Isso isola o efeito da perda (A1) mantendo as dinâmicas feedforward.
  3. bPC (Bidirectional PC): Codificação Preditiva Bidirecional (Oliviers et al., 2025), que utiliza uma formulação de energia bidirecional baseada em MSE, sem CE, e com dinâmicas iterativas reais (viola A1 e A3).
• Métricas Principais:
  • AUROC2 (Tipo-2): Capacidade de discriminar entre predições corretas e incorretas (confiança metacognitiva).
  • $\Delta$: Diferença entre a AUROC2 da Sonda de Energia e a AUROC2 do Softmax ($\Delta = \text{AUROC2}_{\text{probe}} - \text{AUROC2}_{\text{softmax}}$).
  • Teste de Manipulação (H3): Verificar se a dinâmica bidirecional gera movimento latente significativamente maior (alvo: 10x) em comparação ao padrão.
• Análise Adicional (Pós-hoc): Ablação de escala de temperatura (temperature scaling) para decompor o gap entre a sonda e o softmax.

3. Resultados Principais

A. Replicação e Falha do Teste de Manipulação (H3)

• A replicação da condição padrão (stdPC-CE) confirmou o resultado negativo anterior: a sonda de energia fica abaixo do softmax ($\Delta = -0.082$, $p < 10^{-6}$).
• Falha da Dinâmica: O teste de manipulação para a condição bPC falhou. O movimento latente na rede bidirecional foi apenas 1,6x maior que no padrão, muito abaixo do limiar pré-registrado de 10x. A cadeia generativa contribuiu com menos de 1% da energia total. Portanto, os resultados não podem ser atribuídos a dinâmicas iterativas complexas, mas sim à formulação de energia.

B. O Efeito da Remoção da Entropia Cruzada (H1 e H4)

• stdPC-MSE (Apenas remoção de CE): Ao substituir CE por MSE, o gap entre a sonda e o softmax reduziu pela metade ($\Delta$ passou de -0,082 para -0,037). Isso indica que a formulação de energia (A1) é um componente "load-bearing" (estruturalmente importante) da decomposição.
• bPC (Remoção de CE + MSE Bidirecional): A sonda superou o softmax em todas as 10 sementes ($\Delta = +0.008$, $p = 0.000027$).
• Conclusão Parcial: A remoção da CE é o fator determinante. A vantagem da sonda no modelo bPC é melhor explicada pela ausência da inflação de logits causada pela CE, e não pela arquitetura bidirecional em si.

C. Mecanismo de Escala de Logits (Análise de Temperatura)
Uma análise post-hoc revelou que o treinamento com CE produz normas de logits na saída 15 vezes maiores (11,5) do que o treinamento com MSE ou bPC (0,78).

• Efeito na AUROC2: Logits grandes tornam a distribuição softmax mais "afiada" (próxima de 1,0), o que artificialmente infla a AUROC2 do softmax em relação à sonda.
• Ablação de Temperatura: Ao aplicar escala de temperatura ($T \approx 15$) para reduzir a norma dos logits dos modelos CE para o nível dos modelos MSE:
  • O gap foi reduzido em 66%.
  • Restou um gap de 34% (ainda favorável ao softmax), atribuído a uma vantagem de ordenação (ranking) intrínseca das representações treinadas com CE, que é uma regra de pontuação estritamente própria (proper scoring rule).

4. Contribuições Chave

1. Identificação do "Load-Bearing": Demonstra que a Entropia Cruzada na saída é o componente crítico que faz a decomposição teórica falhar (mantendo a sonda abaixo do softmax). Sem a CE, a sonda de energia pode igualar ou superar o softmax.
2. Decomposição do Gap: Quantifica que o desvantagem da sonda em redes CE é composta por:
   • 66%: Efeito de escala de logits (removível por reescalonamento de temperatura).
   • 34%: Vantagem de ordenação de ranking (inerente à otimização da CE).
3. Validação de Escopo: Confirma que a conclusão negativa de Cacioli [2026] é válida especificamente para redes discriminativas treinadas com CE, e não deve ser generalizada como uma limitação fundamental de todas as sondas estruturais ou redes preditivas.
4. Metodologia Rigorosa: Um estudo pré-registrado que falhou em seu teste de manipulação de dinâmica (H3), mas usou essa falha para isolar corretamente o efeito da função de perda (A1), demonstrando transparência científica.

5. Significado e Implicações

• Para Medição Metacognitiva: A comparação entre sondas estruturais (como a de energia) e o softmax padrão deve ser feita com cautela. O softmax em redes treinadas com CE não é uma linha de base neutra; ele é favorecido pela inflação de logits. O uso de softmax com escala de temperatura pode ser uma linha de base mais justa para comparações.
• Para Arquiteturas de IA: Sugere que a forma como uma rede é treinada para expressar confiança (via função de perda) é tão importante quanto sua estrutura arquitetural para a qualidade das métricas de confiança.
• Limitações: O estudo foi realizado em uma arquitetura rasa (TinyConv) e o teste de dinâmicas bidirecionais não produziu o movimento latente esperado. Resultados podem diferir em arquiteturas mais profundas ou com parâmetros de acoplamento bidirecional mais altos.

Em suma, o artigo conclui que a Entropia Cruzada é o fator estrutural dominante que suprime o desempenho relativo da sonda de energia em relação ao softmax. Removê-la permite que a sonda estrutural realize seu potencial preditivo, desafiando a ideia de que sondas estruturais são inerentemente inferiores a métodos baseados em softmax.