Resumo Técnico: Formulação Maxitiva de Donsker-Varadhan para Inferência Variacional Possibilística

1. Declaração do Problema

A Inferência Variacional (IV) é uma pedra angular da aprendizagem bayesiana moderna, permitindo inferência aproximada em modelos complexos ao maximizar o Limite Inferior da Evidência (ELBO). No entanto, a IV padrão baseia-se em expectativas e divergências (como a divergência de Kullback-Leibler) definidas através de integrais de alta dimensão, o que pressupõe medidas de probabilidade aditivas. Essa dependência torna o tratamento analítico difícil e exige aproximações pesadas.

Em contraste, a Teoria da Possibilidade oferece um quadro de probabilidade imprecisa para modelar incerteza epistêmica sem exigir aditividade. Em vez de somas, ela utiliza operadores max/min, permitindo a modelagem direta de incerteza sob informações esparsas ou imprecisas. Embora a Teoria da Possibilidade ofereça robustez e interpretabilidade, adaptar a IV a esse cenário não é trivial. Objetivos padrão como o ELBO e divergências como a KL não possuem análogos diretos no cenário possibilista, pois dependem fundamentalmente de medidas aditivas. Tentativas existentes, como as de Cella e Martin (2025), utilizaram estratégias de Monte Carlo para aproximar modelos inferenciais possibilistas, mas um quadro variacional geral e principiado para IV possibilista tem faltado.

2. Metodologia

O Análogo Maxitivo de Donsker-Varadhan

A contribuição teórica central deste trabalho é o estabelecimento de um análogo maxitivo da fórmula variacional clássica de Donsker-Varadhan (DV).

Na IV probabilística padrão, a fórmula DV caracteriza o log-evidência como o supremo de um objetivo envolvendo a divergência KL. Os autores derivam uma caracterização variacional dual para o cenário possibilista. Seja $\pi$ uma função de possibilidade a priori e $\ell$ uma função de perda. A posteriori maxitiva $g^*_{\max}$ é definida como:
$$g^*_{\max}(\theta) = \frac{\exp(-\ell(\theta))\pi(\theta)}{\sup_{\theta'} \exp(-\ell(\theta'))\pi(\theta')}$$

Os autores provam que a consistência logarítmica (o log da verossimilhança marginal maxitiva) pode ser expressa por meio de dois problemas variacionais duais:

1. Limite Inferior (Maximização): $\log Z_{\max} = \sup_{g \in \mathcal{F}(\Theta)} \inf_{\theta} \{ -\ell(\theta) - \log(g(\theta)/\pi(\theta)) \}$
2. Limite Superior (Minimização): $\log Z_{\max} = \inf_{g \in \mathcal{F}(\Theta)} \sup_{\theta} \{ -\ell(\theta) - \log(g(\theta)/\pi(\theta)) \}$

Aqui, $\mathcal{F}(\Theta)$ é o conjunto de funções de possibilidade. A quantidade otimizada no lado direito é denominada Limite de Consistência (CBO).

• Maximizar o CBO inferior produz funções de possibilidade que limitam inferiormente a posteriori verdadeira ($g \preceq g^*_{\max}$).
• Minimizar o CBO superior produz funções de possibilidade que limitam superiormente a posteriori verdadeira ($g^*_{\max} \preceq g$).

A posteriori possibilista padrão $g^*_{\max}$ é o elemento único que satisfaz simultaneamente ambos os limites, atuando como o representante canônico do conjunto de soluções. A otimização envolve uma entropia relativa maxitiva ($D_{\max}$), definida como $D_{\max}(g \| f) = \sup_{\theta} \log(g(\theta)/f(\theta))$, que desempenha um papel análogo à divergência KL na IV padrão.

Tratamento da Família Exponencial e Regras de Aprendizado

Para tornar este quadro prático para redes neurais, os autores desenvolvem um tratamento para funções de possibilidade de família exponencial. Eles definem uma classe de candidatos $g_\lambda(\theta) = \exp(\lambda^\top T(\theta) - A^\dagger(\lambda) - A(\theta))$, onde $A^\dagger$ é a transformada de Legendre da função de log-partição $A$.

Propriedades chave derivadas incluem:

• Conjugação: Sob uma priori não informativa, a posteriori permanece dentro da mesma família exponencial, com hiperparâmetros atualizados como uma média móvel das estatísticas suficientes.
• Atualizações Tipo Newton: Ao aplicar o teorema de Danskin e aproximações de Taylor de segunda ordem, os autores derivam uma regra de aprendizado para otimizar o CBO. Isso leva a uma atualização de gradiente natural que se assemelha a um passo de Newton:
  $$\eta_{t+1} = \eta_t - \rho_t H_s(\eta_t)^{-1} \nabla \hat{\ell}(\eta_t)$$
  onde $H_s$ é uma matriz de curvatura assinada dependente do Hessiano da perda e da precisão do candidato.

Os Otimizadores CBOpt

Com base nessas derivações teóricas, os autores propõem uma família de otimizadores chamada CBOpt.

• uCBOpt: Otimiza o CBO superior (minimizando o limite superior).
• lCBOpt: Otimiza o CBO inferior (maximizando o limite inferior).
• Variantes Adaptativas (uCBOpt-adapt, lCBOpt-adapt): Essas variantes ajustam dinamicamente o parâmetro de curvatura $\vartheta$ durante o treinamento para satisfazer as condições de convexidade/concavidade necessárias do problema de otimização interna.

A implementação prática utiliza uma aproximação diagonal do Hessiano (semelhante a Adam ou Vprop) e médias móveis exponenciais (EMAs) para estimativas de gradiente e gradiente quadrado, tornando-a computacionalmente eficiente e escalável para grandes redes neurais.

3. Contribuições Principais

1. Formulação Teórica: O artigo estabelece o primeiro análogo maxitivo principiado da formulação de Donsker-Varadhan, fornecendo uma fundação variacional rigorosa para inferência possibilista.
2. Caracterização Dual: Introduz o Limite de Consistência (CBO) com formulações duais inferior e superior, demonstrando que a posteriori possibilista verdadeira é a interseção única desses limites.
3. Quadro de Família Exponencial: Os autores desenvolvem um quadro de priori conjugada para famílias exponenciais possibilistas, revelando paralelos estruturais com o caso probabilístico, enquanto acomodam a natureza maxitiva da teoria.
4. Otimizadores CBOpt: Uma nova família de otimizadores é derivada e implementada, oferecendo um método prático para treinar redes neurais com inferência variacional possibilista.
5. Validação Empírica: Os métodos são avaliados em tarefas de classificação de imagens dentro do domínio e fora do domínio (OOD), demonstrando desempenho preditivo competitivo e estimativas de incerteza confiáveis.

4. Resultados Experimentais

Os autores avaliaram as variantes do CBOpt (uCBOpt, uCBOpt-adapt, lCBOpt-adapt) contra baselines incluindo SGD, AdamW, IVON, Dropout MC, aproximação de Laplace e SWAG em três conjuntos de dados: Fashion-MNIST, CIFAR-10 e CIFAR-100.

• Desempenho Dentro do Domínio: No Fashion-MNIST, as variantes do CBOpt alcançaram o melhor desempenho geral, com lCBOpt-adapt obtendo a melhor acurácia (0,913) e Negativa Log-Verossimilhança (NLL). No CIFAR-100, todas as variantes do CBOpt superaram as baselines na maioria das métricas dentro do domínio, sugerindo escalabilidade para modelos maiores.
• Detecção Fora do Domínio (OOD): Os métodos demonstraram capacidades competitivas de detecção OOD. O uCBOpt mostrou comportamento consistente entre os conjuntos de dados, igualando ou aproximando-se do desempenho do Dropout MC e do SWAG em termos de FPR@95 e AUROC.
• Eficiência: As variantes do CBOpt mantiveram eficiência computacional comparável a otimizadores de primeira ordem como SGD e Adam, exigindo apenas estimativas de gradiente por parâmetro e curvatura escalar, sem a necessidade de múltiplas passagens forward estocásticas no tempo de inferência (diferentemente do Dropout MC).
• Combinação com Dropout MC: Um experimento adicional mostrou que combinar CBOpt com Dropout MC preservou o forte desempenho dentro do domínio do Dropout MC, enquanto melhorou ainda mais as métricas de detecção OOD.

5. Significado e Alegações

O artigo alega que a inferência variacional possibilista não é meramente uma reformulação de métodos existentes, mas oferece uma perspectiva distinta sobre representação de incerteza que leva a algoritmos praticamente úteis.

• Mudança Conceitual: Ao passar da probabilidade aditiva para a possibilidade maxitiva, o quadro lida naturalmente com incerteza epistêmica e permite priores totalmente não informativos sem o problema de integrais impróprias comuns na teoria da probabilidade.
• Utilidade Prática: O desenvolvimento do CBOpt demonstra que o quadro teórico pode ser instanciado em otimizadores escaláveis que competem com métodos de aprendizagem conscientes da incerteza de última geração (como IVON e Dropout MC), evitando a sobrecarga computacional de amostragem no tempo de teste.
• Fundação para Trabalho Futuro: Os autores afirmam que seu trabalho fornece uma base para estender o raciocínio variacional para a teoria da possibilidade. Eles notam que componentes deste quadro (especificamente a pseudo-divergência maxitiva e a posteriori sob priores não informativos) já foram aproveitados por Ni et al. (2026) para derivar preditores de segunda ordem, validando a utilidade da teoria subjacente.

Os autores permanecem modestos quanto às limitações, reconhecendo que suas atualizações tipo Newton dependem de aproximações de segunda ordem e condições específicas de curvatura, e que sua validação empírica atual está restrita a candidatos gaussianos isotrópicos com aproximações diagonais de Fisher. No entanto, eles afirmam que o quadro conecta com sucesso a lacuna entre inferência possibilista teórica e aplicações de aprendizagem profunda escaláveis.