The SIGReg Objective as Variational Free Energy: A Theoretical Active-Inference Account of JEPA World Models

Resumo Técnico: O Objetivo SIGReg como Energia Livre Variacional

Problema
As Arquiteturas de Predição de Incorporação Conjunta (JEPA) emergiram como o design dominante para modelos de mundo latentes, mas seus objetivos de treinamento são tipicamente justificados pelo desempenho empírico em vez de princípios normativos. Existe uma lacuna teórica crítica ao compreender como os regularizadores não-contrastivos usados para prevenir o colapso representacional (ex: VICReg) se relacionam com a energia livre variacional da Inferência Ativa (AIF).

O problema central é que os objetivos padrão de JEPA aproximam o termo de informação mútua (informatividade) da energia livre de AIF usando regularizadores não-contrastivos. Sob o modelo padrão de codificador de ruído constante, maximizar a informatividade é equivalente a maximizar a entropia diferencial marginal dos embeddings, $h(Z)$. No entanto, estimadores como o VICReg aproximam essa entropia através dos dois primeiros momentos (variância e covariância). O artigo argumenta que essa aproximação introduz um "gap de má calibração do prior". Crucialmente, como o VICReg atua como um limite superior (upper bound) "inseguro" sobre a verdadeira entropia (via desigualdade de Hadamard e o teorema da máxima entropia), maximizá-lo não garante um aumento na verdadeira entropia. Esse limite superior "inseguro" significa que o objetivo resultante pode não preservar o limite de surpresa de AIF ($F \ge -\ln p(x)$), minando a validade normativa do JEPA como um agente de AIF.

Metodologia
Os autores desenvolvem um framework teórico para analisar a relação entre os regularizadores de JEPA e a energia livre de AIF através de três etapas principais:

1. Hierarquia de Estimadores de Entropia: O artigo categoriza quatro regularizadores não-contrastivos (VICReg, LogDet, PairDist e SIGReg) com base em uma "decomposição de três fontes de gap". Esta decomposição divide o erro entre a verdadeira entropia $h(Z)$ e seu proxy $\hat{H}(Z)$ em:

   • Gap I (Não-Gaussianidade): A diferença entre a distribuição real e uma referência Gaussiana.
   • Gap II (Covariância Fora da Diagonal): O erro introduzido ao assumir uma matriz de covariância diagonal (ignorando correlações).
   • Gap III (Erro de Estimativa): O erro residual do próprio estimador.
     A hierarquia ordena os regularizadores pelo fato de incorrerem nesses gaps e se atuam como limites inferiores seguros ou limites superiores inseguros.

2. A Correspondência SIGReg–AIF: Os autores introduzem o SIGReg (Regularização Gaussiana Isotrópica Esboçada), que impõe uma distribuição Gaussiana isotrópica nos embeddings via testes de gaussianidade por projeção aleatória. Eles provam que, sob o sucesso da aplicação do SIGReg, o gap de má calibração do prior desaparece ($\Delta = 0$).

3. Provas Teóricas e Extensões:

   • Passo Único: Eles provam que, com o SIGReg, o objetivo de JEPA torna-se uma decomposição exata de Gargalo de Informação (IB) e uma energia livre de AIF válida, preservando o limite de surpresa.
   • Múltiplos Passos e Planejamento: A correspondência é estendida para a energia livre esperada (EFE) de múltiplos passos, mostrando que o termo de complexidade se compõe exatamente sob regimes de implantação específicos (ex: controle preditivo baseado em modelo com replanejamento).
   • Regime de Política: O artigo analisa políticas aprendidas, mostrando que, sob o SIGReg, o objetivo da política corresponde exatamente à distribuição de Boltzmann sobre a energia livre esperada.

Contribuições Principais

1. Hierarquia de Estimadores de Entropia: O artigo estabelece uma hierarquia formal de regularizadores não-contrastivos. Demonstra que o VICReg e o LogDet são limites superiores "inseguros" que não garantem a preservação do limite de surpresa de AIF, enquanto o PairDist é um limite inferior "seguro". O SIGReg é identificado como o primeiro estimador que é simultaneamente seguro (sem risco de limite superior) e exato (elimina todas as três fontes de gap ao impor gaussianidade isotrópica).

2. O Teorema da Correspondência (Teorema 1): Os autores provam que substituir o VICReg pelo SIGReg eleva a correspondência de AIF de aproximada para exata. Sob o modelo de ruído constante e aplicação bem-sucedida do SIGReg:

   • O gap de entropia desaparece.
   • O objetivo admite uma decomposição IB exata.
   • O limite de surpresa de AIF é preservado.
   • O custo de meta latente torna-se um proxy exato para o valor pragmático de AIF (ao contrário do VICReg, que deixa um termo de anisotropia irredutível de $O(\delta^2)$).

3. Identificação do Gap "Estado-Epistêmico": O artigo identifica um termo específico na energia livre esperada de AIF — o valor estado-epistêmico (um sinal de cobertura de estados futuros que impulsiona a exploração) — que está ausente em todos os modelos de mundo JEPA atuais. Embora proxies de variância de ensemble parametrizem o ganho de informação, nenhum JEPA atual computa a entropia marginal de estados futuros condicionados a uma política.

4. Provas Verificadas por Máquina: O núcleo algébrico dos resultados, incluindo a decomposição de gap e os teoremas de correspondência, é verificado por máquina em Lean 4, garantando a consistência lógica das derivações.

Resultados e Previsões
O artigo deriva várias consequências teóricas que diferem qualitativamente (por tipo, não por grau) entre SIGReg e VICReg:

• Preservação de Limite: Apenas o SIGReg garante a preservação do limite de surpresa de AIF; o VICReg não garante.
• Isotropia: O SIGReg leva o número de condição $\kappa$ dos embeddings a 1 (isotropia perfeita), enquanto o VICReg deixa um termo de anisotropia irredutível.
• Fidelidade de Planejamento: Sob o SIGReg, o custo de planejamento é um proxy exato para a energia livre esperada. Sob o VICReg, o valor pragmático e os termos de risco carregam distorção.
• Previsões Testáveis: O artigo lista cinco previsões para validação empírica (ex: embeddings de SIGReg devem ter $\kappa \approx 1$ e maior correlação de Spearman entre custo de planejamento e sucesso na tarefa comparado ao VICReg). Estas são apresentadas como consequências teóricas a serem testadas em trabalhos separados.

Significância e Alegações
O artigo afirma que o regularizador de anti-colapso não é meramente um detalhe de implementação, mas o componente que determina se o modelo de mundo JEPA é um valor de energia livre de Inferência Ativa válido.

• Critério de Validade: O trabalho fornece um critério formal de validade de objetivo: o limite de surpresa de AIF sobrevive se, e somente se, o estimador de entropia for um limite inferior seguro ou um par exato (como o SIGReg), não um limite superior inseguro.
• Unificação: Unifica o ecossistema de JEPA não-contrastivo implantado com a inferência ativa profunda, permitindo que ferramentas de um campo informem o outro.
• Exploração Principiada: Transforma o heurístico "adicionar um bônus de exploração" em uma prescrição específica e assinada: o termo de valor estado-epistêmico ausente.
• Modéstia: Os autores afirmam explicitamente que a correspondência ocorre exatamente sob suposições idealizantes (modelo de ruído constante, limites de população). Eles reconhecem que o gap "estado-epistêmico" é um achado estrutural do cenário atual de JEPA, não um defeito da teoria, e que a identificabilidade linear de latentes em regimes sobrecompletos permanece uma questão empírica aberta. O artigo não pretende ter resolvido esses problemas empíricos, mas sim estabelecido as condições teóricas sob as quais eles seriam solucionáveis.