From Bayes' Rule to Bayes Rules: Optimal Information Processing and Axiomatic Foundations Beyond Probability

Resumo Técnico: De Bayes' Rule para Bayes Rules

Enunciado do Problema
A inferência Bayesiana padrão baseia-se na teoria da probabilidade, onde a incerteza é aditiva e atualizada via a regra de Bayes. No entanto, tanto a estatística clássica quanto o aprendizado de máquina moderno frequentemente se afastam desse arcabouço, utilizando atualizações baseadas em perda (loss-based updates), posteriors temperados ou esquemas de fusão de evidências onde a incerteza não é naturalmente aditiva. Uma questão fundamental permanece: o que torna a regra de Bayes a regra de processamento de informação "correta", e como isso depende da representação matemática da informação? Especificamente, quando a incerteza sobre um parâmetro fixo é representada não por uma distribuição de probabilidade, mas por uma função de possibilidade (o análogo maxitivo de uma distribuição de probabilidade), qual é a regra de atualização principiada?

Metodologia
O artigo aborda este problema tratando a inferência como processamento de informação. Os autores derivam a regra de atualização canônica para a inferência possibilística a partir de duas perspectivas fundamentais complementares, espelhando as derivações probabilísticas clássicas, mas adaptando-as à estrutura da teoria da possibilidade.

1. Visão 1: Processamento de Informação Ótimo (Conservação de Informação)

   • Arcabouço: Os autores reformulam o Princípio da Conservação da Informação (ICP), tradicionalmente associado a Zellner [1988] e entropias cruzadas escalares, para um cenário possibilístico.
   • Mecanismo Chave: Em vez de comprimir a informação em um escalar (como a entropia), o artigo utiliza a ordem parcial pontual inerente às funções de possibilidade ($f \preceq g \iff \forall \theta, f(\theta) \leq g(\theta)$).
   • Derivação: Ao introduzir um escore de informação pontual $S$ que satisfaz consistência de ordem, normalização e aditividade sob conjunção independente (t-norma de produto), os autores derivam um mapa de informação logarítmico canônico: $I[f](\theta) = -\log f(\theta)$.
   • Conservação: Uma Regra de Processamento de Informação (IPR) é definida como ótima se não induz perda nem criação de informação. Isso é formalizado via um funcional de desequilíbrio de informação $\Delta(\text{IPR})$, que é uma função sobre o espaço de parâmetros, em vez de um escalar. A condição $\Delta(\text{IPR}) = 0$ (igualdade pontual) identifica unicamente a regra de atualização.

2. Visão 2: Abordagem Axiomática (Coerência)

   • Arcabouço: Os autores propõem um análogo possibilístico dos axiomas de coerência para a inferência Bayesiana generalizada estabelecida por Bissiri et al. [2016].
   • Axiomas: A regra de atualização $\psi[\ell, \pi]$ (mapeando um prior $\pi$ e uma perda $\ell$ para o posterior) deve satisfazer:
     • Coerência sequencial (A2.1).
     • Compatibilidade de restrição (A2.2).
     • Monotonicidade na perda (A2.3).
     • Invariância a perdas vacuas e deslocamentos aditivos (A2.4, A2.5).
   • Derivação: Diferente do caso probabilístico onde a normalização é uma integral, a derivação possibilística requer estabelecer que a restrição maxitiva preserva as odds pareadas e que as atualizações binárias são coerentes em triplas. Esses axiomas forçam o posterior a assumir uma forma funcional específica.

Principais Contribuições e Resultados

1. A Regra de Atualização Canônica:
   Ambas as derivações convergem para a mesma regra de atualização única, denominada regra de Bayes possibilística:
   $$\pi(\theta | y) = \frac{\pi(\theta) L(\theta | y)}{\sup_{\vartheta \in \Theta} \pi(\vartheta) L(\vartheta | y)}$$
   onde $\pi(\theta)$ é a função de possibilidade prior e $L(\theta | y)$ é a verossimilhança (ou evidência).

   • Se a entrada for uma distribuição de amostragem $p_\theta(y)$, $L$ é a verossimilhança (likelihood).
   • Se a entrada for uma perda genérica $\ell(\theta, y)$, $L(\theta | y) \propto \exp(-w \ell(\theta, y))$, onde $w \geq 0$ é um parâmetro de taxa de aprendizado.

2. Papel da Taxa de Aprendizado ($w$):
   O artigo esclarece que o parâmetro $w$ (controlando a força epistêmica) é exógeno a ambas as derivações.

   • Na Visão 1, $w$ é uma escolha de codificação ao transformar uma perda em uma função de possibilidade de evidência.
   • Na Visão 2, $w$ é uma constante deixada indeterminada pelos axiomas de coerência.
   • Resultado: A força $w$ não é identificável a partir da evidência de normalização sozinha. Maximizar a evidência possibilística apenas conduz as forças admissíveis aos seus valores mínimos. Assim, $w$ representa uma escolha de modelagem em relação à força epistêmica, não uma quantidade identificável pelos dados.

3. Perda e Criação de Informação:
   Ao utilizar a ordem parcial pontual, o artigo distingue a perda e a criação de informação como fenômenos genuínos e observáveis, ao contrário do cenário probabilístico onde a informação é um resumo escalar.

   • Uma IPR não cria informação se o posterior for em todo lugar dominado pela atualização de Bayes ($g \preceq \pi(\cdot|y)$).
   • Uma IPR não perde informação se o posterior dominar a atualização de Bayes ($g \succeq \pi(\cdot|y)$).
   • A regra de Bayes é a única IPR que evita simultaneamente tanto a perda quanto a criação.

4. Conexão com Trabalhos Existentes:

   • A regra derivada alinha-se ao produto de prior-verossimilhança com normalização pelo supremo proposto na literatura recente de probabilidade imprecisa (ex: Martin [2026]).
   • O funcional de desequilíbrio de informação corresponde ao integrando na dualidade de Donsker–Varadhan maxitiva (Singh et al. [2025]), mostrando que a regra de Bayes é o único otimizador comum de limites de dualidade coerente.

Significância e Alegações
O artigo alega estabelecer que a regra de Bayes não é uma fórmula única, mas um membro de uma família de regras indexadas pelo cálculo subjacente da informação (aditivo vs. maxitivo) e pela natureza do elo entre dados e parâmetros.

• Justificativa Fundamental: O artigo argumenta que o produto normalizado pelo supremo não é meramente um heurístico ou uma escolha conveniente para combinar uma verossimilhança com informação prior parcial; ele é imposto por princípios fundamentais de conservação de informação e coerência em um cenário possibilístico.
• Esclarecimento de Bayes Generalizado: O trabalho resolve a ambiguidade em relação à taxa de aprendizado em atualizações Bayesianas generalizadas ao demonstrar que, no arcabouço possibilístico, esse parâmetro é intrinsecamente não identificável dos dados, servindo em vez disso como uma calibração de força epistêmica.
• Escopo: O trabalho é fundamental e axiomático. Ele não propõe novos algoritmos empíricos ou extensas comparações experimentais, mas fornece o embasamento teórico para o porquê da atualização normalizada pelo supremo ser a escolha canônica para a inferência possibilística. Sugere que este arcabouço se estende naturalmente a espaços de parâmetros contínuos sem as complicações da teoria da medida frequentemente exigidas em extensões probabilísticas, uma vez que as funções de possibilidade são definidas pontualmente.

Em resumo, o artigo demonstra que, quando a incerteza é representada por funções de possibilidade, a "maneira certa" de processar a informação leva inevitavelmente a uma regra de atualização normalizada pelo supremo, com a taxa de aprendizado atuando como um parâmetro de calibração externo em vez de uma estatística aprendível.