Optimal information deletion and Bayes' theorem

Resumo Técnico: Exclusão Ótima de Informação e o Teorema de Bayes

Declaração do Problema
Este trabalho aborda o problema da "exclusão de informação" ou "esquecimento" dentro de uma estrutura bayesiana. Enquanto Arnold Zellner (1988) estabeleceu o teorema de Bayes como a regra ótima para processar informação (atualizar um prior para um posterior dado novos dados), este artigo investiga o problema inverso: como atualizar optimalmente uma distribuição posterior de volta para uma distribuição "pré-dados" quando um subconjunto de dados é removido. Este problema é motivado por necessidades práticas em validação cruzada (onde se busca um posterior leave-one-out sem re-ajustar) e exclusão de dados em ciência da computação (onde dados de usuários devem ser removidos de um modelo implantado sem retreinamento do zero). A questão central é se existe uma regra que atualize o posterior para a distribuição correspondente aos dados restantes sem destruir ou criar informação inexistente.

Metodologia
Os autores adotam uma abordagem de cálculo variacional espelhando o trabalho seminal de Zellner (1988) sobre processamento ótimo de informação.

1. Formulação: O processo é enquadrado como uma Regra de Exclusão de Informação (IDR). As entradas são a distribuição posterior dada pelos dados completos $\pi(\theta|y)$, a verossimilhança marginal dos dados completos $\pi(y|I)$ e a contribuição de verossimilhança dos dados a serem removidos $\pi(y_g|\theta)$. As saídas são a distribuição para os dados restantes $\pi(y_{-g}|I)$ e a distribuição "pré-dados" alvo $q(\theta|y_{-g})$.
2. Função Objetivo: Os autores definem um funcional de perda de informação $\Delta[q(\theta|y_{-g})]$ como a diferença entre a informação de saída e a informação de entrada, medido usando a entropia de Shannon. Crucialmente, o termo correspondente aos dados removidos $\pi(y_g|\theta)$ é subtraído (indicado por um sinal negativo no log-verossimilhança) para refletir a remoção de informação.
   $$\Delta[q] = \mathbb{E}_q \left[ \log \frac{q(\theta|y_{-g}) \pi(y_{-g}|I) \pi(y_g|\theta)}{\pi(\theta|y) \pi(y|I)} \right]$$
3. Otimização: A IDR ótima é derivada minimizando este funcional sobre o espaço de todas as possíveis distribuições de probabilidade, sujeita à restrição de que a solução deve ser uma densidade de probabilidade válida. Isso é alcançado usando multiplicadores de Lagrange e cálculo variacional.

Resultados Chave

1. Regra Ótima de Exclusão de Informação: A minimização do funcional de perda de informação produz uma solução única (Teorema 1):
   $$q^*(\theta|y_{-g}) = \frac{\pi(\theta|y) / \pi(y_g|\theta)}{\int_\Theta \pi(\theta|y) / \pi(y_g|\theta) d\theta}$$
   Esta regra representa a operação exata de dividir o posterior completo pela verossimilhança dos dados removidos e renormalizar.
2. Equivalência ao Teorema de Bayes: Os autores provam (Teorema 2) que esta regra ótima de exclusão $q^*(\theta|y_{-g})$ é matematicamente idêntica ao posterior "leave-data-out" $\pi(\theta|y_{-g})$ obtido aplicando o teorema de Bayes ao prior e aos dados restantes $y_{-g}$.
3. Formulação Variacional para Esquecimento: Ao restringir o espaço de otimização a uma família de distribuições $\mathcal{Q}$, os autores derivam uma formulação variacional para esquecimento aproximado (Equação 8). Esta formulação minimiza a soma da log-verossimilhança esperada dos dados removidos e a divergência de Kullback-Leibler (KL) entre a aproximação e o posterior completo. Isso fornece uma justificação formal para métodos existentes denominados "esquecimento bayesiano variacional" ou "correção de posterior".

Significado e Alegações
O artigo alega estabelecer uma dualidade entre aprendizado e esquecimento. Assim como Zellner provou que o teorema de Bayes é a regra ótima para adicionar informação (processamento), este trabalho prova que ele é também a regra ótima para remover informação. Os autores afirmam que "no aprendizado ou esquecimento bayesiano, a informação não é criada, a informação não é perdida, a informação é apenas transformada".

O significado deste resultado é duplo:

• Teórico: Confirma que o posterior "leave-data-out" não é meramente um alvo heurístico, mas a solução única para um problema de otimização de dimensão infinita que preserva a integridade da informação.
• Prático: Fornece uma estrutura variacional rigorosa para aproximar posteriores leave-data-out. Isso permite aproximações eficientes em cenários onde o re-ajuste exato é computacionalmente proibitivo, oferecendo uma base formal para algoritmos que visam "esquecer" pontos de dados específicos de um modelo.

Os autores notam que, embora utilizem a entropia de Shannon, a estrutura poderia potencialmente ser estendida para configurações de inferência variacional generalizada usando diferentes funções de perda e divergências, embora isso permaneça uma conjectura para exploração futura.