Technische Samenvatting: MMD-Ballen als Credale Mengen voor Epistemische Onzekerheid in Adaptatie op Testtijd

1. Probleemstelling

Het artikel adresseert een kritieke lacune in Adaptatie op Testtijd (TTA): terwijl bestaande methoden (bijvoorbeeld entropieminimalisatie, regularisatie) de modelnauwkeurigheid verbeteren onder distributieverschuivingen, ontbreken er formele garanties die de grootte van de verschuiving verbinden met voorspellingsbetrouwbaarheid. In veiligheidskritieke domeinen (autonoom rijden, medische beeldvorming) kunnen modellen stilzaam degraderen wanneer ze doel-distributies ($P_t$) tegenkomen die afwijken van de bron-trainingsdistributie ($P_s$).

Huidige methoden voor onzekerheidskwantificering verwarren vaak aleatorische onzekerheid (inherent data-ruis) met epistemische onzekerheid (onzekerheid door beperkte kennis van het data-genererende proces). Bovendien falen ze om formele grenzen te bieden voor hoe risico degradeert als functie van een distributieverschuiving. De auteurs formaliseren de kernvraag: Kunnen we het doelrisico begrenzen als functie van de distributieverschuiving om bruikbare epistemische onzekerheid te bieden?

2. Methodologie en Theoretisch Kader

Het artikel stelt een unificerend kader voor dat PAC-Bayesiaanse theorie, Kernel Mean Embeddings (MMD) en Walley's theorie van onnauwkeurige waarschijnlijkheid integreert.

2.1 Kerndefinities

• RKHS-Lipschitz-verlies (Aanname 1): De conditionele verwachte verliesfunctie $L(w, \cdot)$ wordt verondersteld te behoren tot een Reproducing Kernel Hilbert Space (RKHS) $\mathcal{H}$ met een begrensde norm $\|L(w, \cdot)\|_\mathcal{H} \leq L_H$. Dit maakt het gebruik van kernel-eigenschappen mogelijk om risicoverschillen te begrenzen.
• MMD-geïnduceerde Credale Menge: De auteurs definiëren een verzameling plausibele doel-distributies als een MMD-bal rond de bron:
  $$C_\varepsilon(P_s) = \{Q \in \mathcal{P}(\mathcal{X}) : \text{MMD}(P_s, Q) \leq \varepsilon\}$$
  Geïnterpreteerd via Walley's theorie, vertegenwoordigt deze verzameling alle distributies die op resolutie $\varepsilon$ niet te onderscheiden zijn van de bron, vormend een credale menge die epistemische onzekerheid kwantificeert.

2.2 Theoretische Afleidingen

1. PAC-Bayesiaanse Grens met MMD-Straf (Stelling 1):
   De auteurs leiden een generalisatiegrens af voor het doelrisico $R_{P_t}(\rho)$ die expliciet een MMD-afhankelijke verschuivingsstraf bevat:
   $$R_{P_t}(\rho) \leq \hat{R}_{P_s}(\rho) + \sqrt{\frac{KL(\rho\|\pi) + \log(2\sqrt{n}/\delta)}{2n}} + L_H \cdot \text{MMD}(P_s, P_t)$$
   Dit decomposeert risico in: (i) Aleatorische onzekerheid (empirisch risico), (ii) Schattingsonzekerheid (PAC-Bayesiaanse complexiteit) en (iii) Epistemische verschuivingsstraf (lineair in MMD).

2. Kleinstekens-versie (Stelling 3):
   Omdat de populatie-MMD onbekend is, biedt het artikel een berekenbare grens die gebruikmaakt van de onbevooroordeelde MMD-schatter $\widehat{\text{MMD}}_u$ en een concentratieterm $\varepsilon_{m,n}$ afgeleid uit sub-Gaussische concentratieongelijkheden. De grens geldt met waarschijnlijkheid $1-\delta$ en bereikt de minimax-optimale snelheid $O(1/\sqrt{n})$.

3. Risicodecompositie (Corollarium 9):
   Door onder- ($\underline{R}_\varepsilon$) en boven- ($\overline{R}_\varepsilon$) risico's te definiëren over de credale menge, levert het kader een onnauwkeurigheidsinterval op. De breedte van dit interval scheidt epistemische onzekerheid (gedreven door de verschuivingsstraf $L_H \cdot \varepsilon$ en complexiteit) van aleatorische onzekerheid (gevangen door het empirische risico).

4. Geometrische Behoud (Propositie 10):
   Het artikel stelt grenzen op geodetische vervorming in de RKHS. Het toont aan dat onder aannames van begrensde feature-maps, de vervorming van lokale feature-geometrie tussen bron- en doelbuurten wordt gecontroleerd door de MMD. Dit biedt een theoretische verklaring waarom kernel-gestuurde adaptatie de structuur van zeldzame klassen beter behoudt dan entropie-gebaseerde methoden, die regio's van zeldzame klassen kunnen laten instorten.

3. Belangrijkste Bijdragen

Het artikel claimt vier primaire theoretische bijdragen:

1. Een PAC-Bayesiaanse Grens met MMD-Verschuivingsstraf: Een generalisatiegrens (Stelling 1) en zijn kleinstekens-tegenhanger (Stelling 3) die risicodegradatie expliciet parametriseren door de grootte van de distributieverschuiving.
2. Interpretatie als Credale Menge: Een nieuwe interpretatie van MMD-ballen als credale mengen (Propositie 7), die worst-case risicogaranties biedt over de gehele verzameling plausibele distributies.
3. Onzekerheidsdecompositie: Een formele onder-boven risicodecompositie (Corollarium 9) die epistemische onzekerheid (distributieverschuiving) scheidt van aleatorische onzekerheid (taakmoeilijkheid), waarmee wordt ingegaan op het verzoek van Hüllermeier & Waegeman (2021) om een principiële onzekerheidsscheiding.
4. Geodetisch Behoud: Grenzen die verklaren waarom kernel-gestuurde adaptatie lokale feature-geometrie beschermt (Propositie 10), en een theoretische basis bieden voor robuustheid tegen instorting van zeldzame klassen.

4. Resultaten en Implicaties

• Beslissingscriterium voor Adaptatie: Het onnauwkeurigheidsinterval $[\underline{R}_\varepsilon, \overline{R}_\varepsilon]$ dient als beslissingscriterium. Adaptatie is gerechtvaardigd wanneer het bovenste risico een tolerantiedrempel $r_{max}$ overschrijdt terwijl het onderste risico dit niet doet. Als het onderste risico al $r_{max}$ overschrijdt, wordt adaptie als vruchteloos beschouwd.
• Verbinding met Hypothese-toetsing: De breedte $\varepsilon$ van de credale menge kan worden gekalibreerd met behulp van de asymptotische nulverdeling van de MMD-twee-steekproef-toets, waardoor klassieke statistische toetsing wordt gekoppeld aan epistemische onzekerheidskwantificering.
• Robuustheid voor Zeldzame Klassen: De grenzen voor geometrisch behoud suggereren dat het controleren van MMD de vervorming van lokale feature-maantels voorkomt, en een formeel argument biedt voor de robuustheid van kernel-gestuurde TTA-methoden in vergelijking met entropieminimalisatie.

5. Betekenis en Claims

Het artikel positioneert zichzelf als het eerste dat TTA-onzekerheid formuleert via MMD-geïnduceerde credale Mengen, en PAC-Bayesiaanse generalisatie, kernel-methoden en onnauwkeurige waarschijnlijkheid verenigt.

• Betrouwbare Implementatie: Het kader stelt systemen in staat om afzien of fallback-mechanismen te activeren wanneer epistemische onzekerheid (gemeten door de credale breedte) een aanvaardbare drempel overschrijdt, in lijn met de doelen van Epistemische Intelligentie.
• Formele Garanties: In tegenstelling tot bestaande TTA-methoden die vertrouwen op heuristieken, biedt deze aanpak formele, data-afhankelijke grenzen die verschuivingsgrootte verbinden met risico.
• Relatie met Conformale Voorspelling: De auteurs merken op dat conformale voorspelling omgaat met voorspellende onzekerheid (marginaal dekking), terwijl hun credale breedte \varepsilon} omgaat met distributie-epistemische onzekerheid. Zij stellen een toekomstige combinatie voor waarbij $\varepsilon$ het dekkingsniveau van conformale voorspellers aanpast, hoewel zij geen experimentele resultaten voor deze combinatie presenteren.

Erkende Beperkingen:
Het artikel erkent dat Aanname 1 (RKHS-Lipschitz-verlies) niet triviaal is voor diepe netwerken met softmax-uitgangen, hoewel universaliteit van RBF-kernels informele ondersteuning biedt. Het merkt ook op dat Aanname 2 (begrensde feature-map) ongeveer geldt in specifieke regimes (bijvoorbeeld NTK, spectrale normalisatie), maar verdere architectuurspecifieke analyse vereist. De MMD-convergentiesnelheid, hoewel minimax-optimaal, kan in de praktijk los zijn zonder adaptieve kernel-selectie.