Optimal information deletion and Bayes' theorem

Technische Samenvatting: Optimale Informatieverwijdering en de Stelling van Bayes

Probleemstelling
Dit werk behandelt het probleem van "informatieverwijdering" of "vergeten" binnen een Bayesiaans kader. Waar Arnold Zellner (1988) de stelling van Bayes vestigde als de optimale regel voor het verwerken van informatie (het updaten van een prior naar een posterior gegeven nieuwe data), onderzoekt dit artikel het inverse probleem: hoe een posteriorverdeling optimaal kan worden bijgewerkt naar een "voordatage" verdeling wanneer een subset van data wordt verwijderd. Dit probleem wordt gemotiveerd door praktische behoeften in cross-validatie (waar men een leave-one-out posterior nastreeft zonder opnieuw te fitten) en dataverwijdering in de informatica (waar gebruikersdata uit een ingezet model moet worden verwijderd zonder opnieuw vanaf nul te trainen). De centrale vraag is of er een regel bestaat die de posterior bijwerkt naar de verdeling die overeenkomt met de overgebleven data, zonder niet-bestaande informatie te vernietigen of te creëren.

Methodologie
De auteurs hanteren een variatierekeningsbenadering die de baanbrekende werken van Zellner (1988) over optimale informatieverwerking nabootst.

1. Formulering: Het proces wordt gepresenteerd als een Informatieverwijderingsregel (IDR). De invoer zijn de posteriorverdeling gegeven volledige data $\pi(\theta|y)$, de marginale waarschijnlijkheid van de volledige data $\pi(y|I)$, en de waarschijnlijkheidsbijdrage van de te verwijderen data $\pi(y_g|\theta)$. De uitvoer zijn de verdeling voor de overgebleven data $\pi(y_{-g}|I)$ en de doel-"voordatage" verdeling $q(\theta|y_{-g})$.
2. Doelfunctie: De auteurs definiëren een informatieverliesfunctionaal $\Delta[q(\theta|y_{-g})]$ als het verschil tussen de uitvoerinformatie en de invoerinformatie, gemeten met behulp van de entropie van Shannon. Cruciaal is dat de term die overeenkomt met de verwijderde data $\pi(y_g|\theta)$ wordt afgetrokken (aangegeven door een negatief teken in de log-likelihood) om informatieverwijdering te reflecteren.
   $$\Delta[q] = \mathbb{E}_q \left[ \log \frac{q(\theta|y_{-g}) \pi(y_{-g}|I) \pi(y_g|\theta)}{\pi(\theta|y) \pi(y|I)} \right]$$
3. Optimalisatie: De optimale IDR wordt afgeleid door deze functionaal te minimaliseren over de ruimte van alle mogelijke kansverdelingen, onder de beperking dat de oplossing een geldige kansdichtheid moet zijn. Dit wordt bereikt met behulp van Lagrange-multiplicatoren en variatierekening.

Belangrijkste Resultaten

1. Optimale Informatieverwijderingsregel: De minimalisatie van de informatieverliesfunctionaal levert een unieke oplossing op (Stelling 1):
   $$q^*(\theta|y_{-g}) = \frac{\pi(\theta|y) / \pi(y_g|\theta)}{\int_\Theta \pi(\theta|y) / \pi(y_g|\theta) d\theta}$$
   Deze regel vertegenwoordigt de exacte bewerking van het delen van de volledige posterior door de waarschijnlijkheid van de verwijderde data en het hergenormaliseren.
2. Equivalentie met de Stelling van Bayes: De auteurs bewijzen (Stelling 2) dat deze optimale verwijderingsregel $q^*(\theta|y_{-g})$ wiskundig identiek is aan de "leave-data-out" posterior $\pi(\theta|y_{-g})$ die wordt verkregen door de stelling van Bayes toe te passen op de prior en de overgebleven data $y_{-g}$.
3. Variatiële Formulering voor Vergeten: Door de optimalisatieruimte te beperken tot een familie van verdelingen $\mathcal{Q}$, leiden de auteurs een variatiële formulering voor benaderend vergeten af (Vergelijking 8). Deze formulering minimaliseert de som van de verwachte log-likelihood van de verwijderde data en de Kullback-Leibler (KL)-divergentie tussen de benadering en de volledige posterior. Dit biedt een formele rechtvaardiging voor bestaande methoden die "variational Bayesian unlearning" of "posterior correction" worden genoemd.

Betekenis en Aanspraken
Het artikel claimt een dualiteit tussen leren en vergeten te vestigen. Net zoals Zellner bewees dat de stelling van Bayes de optimale regel is voor het toevoegen van informatie (verwerking), bewijst dit werk dat het ook de optimale regel is voor het verwijderen van informatie. De auteurs stellen dat "in Bayesiaans leren of vergeten, informatie niet wordt gecreëerd, informatie niet wordt verloren, informatie wordt gewoon getransformeerd."

De betekenis van dit resultaat is tweeledig:

• Theoretisch: Het bevestigt dat de "leave-data-out" posterior niet louter een heuristische doelstelling is, maar de unieke oplossing van een oneindig-dimensionaal optimalisatieprobleem dat de integriteit van de informatie behoudt.
• Praktisch: Het biedt een strikt variatiel kader voor het benaderen van leave-data-out posteriors. Dit maakt efficiënte benaderingen mogelijk in scenario's waar exact opnieuw fitten computationeel onhaalbaar is, en biedt een formele basis voor algoritmen die specifieke datapunten uit een model willen "vergeten".

De auteurs merken op dat hoewel zij de entropie van Shannon gebruiken, het kader potentieel kan worden uitgebreid naar gegeneraliseerde variatiele inferentieomgevingen met behulp van verschillende verliesfuncties en divergenties, hoewel dit een conjectuur blijft voor toekomstige verkenning.