🤖 machine learning

Bound to Disagree: Generalization Bounds via Certifiable Surrogates

Dit artikel introduceert een nieuw raamwerk voor het afleiden van niet-vacueuze generalisatiegrenzen voor deep learning-modellen door gebruik te maken van certificeerbare disagreement-surrogaten getraind via samplecompressie, modelcompressie of PAC-Bayes-theorie, alles zonder het doelmodel of de trainingsprocedure aan te passen.

Oorspronkelijke auteurs: Mathieu Bazinet, Valentina Zantedeschi, Pascal Germain

Gepubliceerd 2026-07-09

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mathieu Bazinet, Valentina Zantedeschi, Pascal Germain

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een super-slimme, gigantische robothersenen (een diep neuraal netwerk) hebt gebouwd om een puzzel op te lossen. Het is geweldig in de puzzel, maar niemand weet precies hoe goed het zal presteren op een gloednieuwe puzzel die het nog nooit heeft gezien. Sterker nog, de meeste wiskunde die we gewoonlijk gebruiken om de toekomstige prestaties te raden, is ofwel volkomen nutteloos (zoals zeggen "het kan 100% goed zijn of 0% goed") of vereist dat we de hersenen van de robot aanpassen om bij de wiskunde te passen, wat de robot verpest.

Dit artikel, getiteld "Bound to Disagree," biedt een slimme nieuwe manier om de toekomstige prestaties van die robot te controleren zonder de hersenen aan te raken of nutteloze wiskunde te gebruiken.

Het Grote Idee: De "Surrogaat" en de "Onenigheid"

Beschouw je gigantische robothersenen als een Target Model (Doelmodel). Het is complex, krachtig en moeilijk te meten. De auteurs zeggen: "Laten we een kleine, eenvoudige robothersenen bouwen, een Surrogate Model (Surrogaatmodel)."

Deze surrogaat is klein genoeg zodat we gemakkelijk kunnen bewijzen hoe goed hij puzzels oplost. Maar hier is de crux: de surrogaat moet bijna exact hetzelfde werken als de gigantische robot.

Het geheime ingrediënt van de auteurs is het meten van Disagreement (Onenigheid). Ze nemen een kleine stapel ongelabelde plaatjes (data die de robot nog niet heeft gezien) en vragen zowel de gigantische robot als de kleine robot om het antwoord te raden.

Als ze het bijna overal eens zijn, is de bewezen staat van dienst van de kleine robot een goede gok voor de toekomstige prestaties van de gigantische robot.
Als ze het vaak oneens zijn, kan de gigantische robot in de problemen zitten.

De auteurs bewijzen dat het gat tussen de werkelijke prestaties van de gigantische robot en de bewezen prestaties van de kleine robot direct verbonden is aan hoe vaak ze het oneens zijn op deze ongelabelde plaatjes.

Wat Ze Hebben Uitgesloten (De "Niet de moeite waard" Lijst)

De auteurs zijn zeer duidelijk over wat niet werkt voor dit specifieke doel, en ze willen niet dat je tijd verspilt aan die methoden:

Probeer de gigantische robot niet te veranderen: Je hoeft het target model niet opnieuw te trainen of de architectuur ervan aan te passen. De methode werkt op het model precies zoals het getraind is.
Vertrouw niet op "Norm-gebaseerde" bounds: Dit zijn ouderwetse wiskundige trucjes die kijken naar de grootte van de gewichten van de robot. Het artikel laat zien dat deze meestal "vacuous" (betekenisloos) zijn (wat betekent dat ze antwoorden geven die zo breed zijn dat ze nutteloos zijn, zoals zeggen "de foutmarge ligt tussen 0 en een miljard procent").
Vertrouw niet op "Partition-gebaseerde" bounds: Deze proberen de data in stukjes te snijden. De auteurs vonden dat deze vaak triviaal zijn, waarbij ze de prestaties schatten alsof de robot gewoon willekeurig gokt (rond de 90% fout bij sommige taken).
Eis geen gelabelde data voor de controle: In tegenstelling tot veel andere methoden die een enorme stapel gelabelde data nodig hebben (waar mensen de antwoorden al hebben opgeschreven) om het model te controleren, heeft deze methode alleen een kleine stapel ongelabelde data (plaatjes zonder antwoorden) nodig. Dit is veel goedkoper en sneller te verkrijgen.

Hoe Ze Het Getest Hebben (De "Lab" Resultaten)

De auteurs hebben dit niet alleen bedacht; ze hebben het gebouwd en getest op echte, wereldwijde puzzels. Ze gebruikten drie verschillende manieren om hun "kleine robot" surrogaatmodellen te bouwen:

Sample Compression: Het kiezen van een piepkleine, perfecte subset van de trainingsdata om de hele groep te vertegenwoordigen.
Model Compression: Het model strak omwikkelen (zoals een foto met een hoge resolutie omzetten naar een kleine thumbnail) zonder te veel kwaliteit te verliezen.
PAC-Bayes: Het gebruik van een statistisch kader dat het model behandelt als een verdeling van mogelijkheden in plaats van een enkele vaste hersenstructuur.

Ze testten dit op:

MNIST: Het herkennen van handgeschreven cijfers.
CIFAR10: Het identificeren van objecten zoals vliegtuigen en katten in kleine afbeeldingen.
Amazon Polarity: Het lezen van filmrecensies om te beslissen of ze positief of negatief zijn (met grote taalmodellen zoals DistilBERT en GPT2).

De Resultaten:
In deze experimenten waren hun nieuwe "disagreement" bounds strak en berekenbaar.

Voor de MNIST handgeschreven cijfers vond hun methode een generalisatiebound (een veiligheidslimiet op de fout) van ongeveer 3,45% met modelcompressie, terwijl de oude "norm-gebaseerde" methoden getallen gaven die zo enorm waren dat ze betekenisloos waren (zoals $3,14 \times 10^8$ procent).
Voor CIFAR10 kregen ze een bound van 35,06% met modelcompressie, terwijl de oude methoden ofwel nutteloos waren of de prestaties schatten alsof het een willekeurige gokker was (rond de 90% fout).
Ze lieten zelfs zien dat als je een model krimpt naar 4 bits (waardoor het piepklein en snel wordt), de disagreement bound garandeert dat het gekrompen model bijna net zo goed presteert als het grote model, met een disagreement gap van slechts ongeveer 2%.

Hoe Zeker Zijn We?

Het artikel biedt wiskundige bewijzen (stellingen) die laten zien dat deze bounds standhouden met een hoge waarschijnlijkheid (specifiek, met een betrouwbaarheid van 99%, of $1-\delta = 0,99$ ).

De kern van het idee—dat het foutengap begrensd wordt door de onenigheid—is bewezen wiskundig voor zero-one loss (simpele goed/fout antwoorden) en Lipschitz losses (gladde, continue fouten).
De specifieke getallen (zoals de 3,45% of 35,06% bounds) zijn gemeten resultaten uit hun experimenten op specifieke datasets. Het zijn geen simulaties; het zijn daadwerkelijke berekeningen op getrainde modellen.
De auteurs geven toe dat de kwaliteit van de uiteindelijke bound volledig afhangt van hoe goed de "kleine robot" (surrogaat) is. Als je geen goede surrogaat kunt vinden die overeenkomt met de gigantische robot, zal de bound niet erg strak zijn.

De Kernboodschap

Dit artikel suggereert een nieuwe, praktische manier om je AI te vertrouwen. In plaats van te proberen een complex model in een doos te dwingen die er niet bij past, of wiskunde te gebruiken die nutteloze antwoorden geeft, kun je een kleine, certificeerbare tweeling bouwen, controleren hoe vaak ze het oneens zijn op een paar ongelabelde voorbeelden, en dat gebruiken om te garanderen hoe goed het grote model zal presteren in de echte wereld. Het is een "certificeerbare" manier om te weten dat je robot je niet in de steek laat, zonder dat je hem opnieuw hoeft te bouwen.

Technische Samenvatting: Bound to Disagree: Generalization Bounds via Certifiable Surrogates

Probleemstelling

Deep learning-modellen, met name overgeparameteriseerde neurale netwerken, vertonen een empirisch succes dat in strijd is met de klassieke statistische leertheorie, die vaak overfitting voorspelt. Ondanks uitgebreid onderzoek naar generalisatiegrenzen gebaseerd op VC-dimensie, Rademacher-complexiteit, informatietheorie en PAC-Bayes-theorie, lijden bestaande grenzen voor diepe neurale netwerken aan drie primaire beperkingen:

Vacuositeit: Veel grenzen leveren waarden op die groter zijn dan 1 (of triviale bovengrenzen) wanneer ze worden toegepast op middelgrote tot grote netwerken.
Niet-berekenbaarheid: Sommige grenzen vertrouwen op universele constanten die niet berekend kunnen worden of die onhandelbare aannames over de inputruimte vereisen.
Beperktheid: Veel geldige grenzen zijn alleen van toepassing op gemodificeerde versies van het model (bijv. geprunte of gekwantiseerde modellen) in plaats van op de oorspronkelijke voorspeller, of ze vereisen specifieke architecturale beperkingen (bijv. gated activaties).

Het artikel adresseert de behoefte aan generalisatiegrenzen die berekenbaar, niet-vacuöus en toepasbaar zijn op elke voorspeller zonder het doelmodel of de trainingsprocedure te wijzigen.

Methodologie

De auteurs stellen een raamwerk voor dat de certificering van een complex doelmodel ontkoppelt van de afleiding van de grens zelf. De kernstrategie omvat:

Surrogaatmodellering: Het trainen van een eenvoudiger "surrogaat"-model dat beschikt over nauwe, berekenbare generalisatiegaranties. Dit surrogaatmodel is ontworpen om het gedrag van het doelmodel na te bootsen.
Disagreement Bounding: Het meten van het gat tussen het werkelijke risico van het doelmodel ( $f$ ) en het surrogaatmodel ( $h$ ) met behulp van een "disagreement"-metriek die wordt geëvalueerd op een kleine, ongelabelde dataset ( $U$ ) die niet tijdens de training is gebruikt.
Risico-aggregatie: Het combineren van de nauwe generalisatiegrens van het surrogaatmodel met de disagreement-grens om het werkelijke risico van het doelmodel te begrenzen.

Theoretische Bijdragen

Het artikel formaliseert drie specifieke disagreement-gebaseerde grenzen afhankelijk van de verliesfunctie:

Zero-One Loss (Theorem 5): Voor de zero-one loss wordt de disagreement gedefinieerd als de empirische frequentie van afwijkende voorspellingen tussen $f$ en $h$ op de ongelabelde set. De grens maakt gebruik van de binomiale staartinversie (Langford, 2005) om de werkelijke risicogap te begrenzen.
$R_D(f) \leq R_D(h) + \text{Bin}(m \cdot d_U^{0-1}(f, h), m, \delta)$
Lipschitz-continue Losses (Theorem 6): Voor losses zoals de Huber- of logistische loss (die Lipschitz-continu zijn met betrekking tot de softmax-output), wordt de disagreement gemeten via de $L_1$ -afstand tussen de softmax-distributies van de twee modellen. Deze grens maakt gebruik van de Chernoff-grens voor variabelen in het eenheidsinterval.
$L_D(f) \leq \mathbb{E}_{h \sim Q}[L_D(h)] + 2K_\ell \cdot kl^{-1}\left(\frac{\mathbb{E}_{h \sim Q}[d_U^{K_\ell}(f, h)]}{2}, \frac{\log(1/\delta)}{m}\right)$
Niet-Lipschitz-continue Losses (Theorem 7): Voor losses zoals cross-entropy (die mogelijk niet Lipschitz-continu zijn zonder beperkingen), stellen de auteurs voor om een kleine gelabelde gehouden dataset te gebruiken om het absolute verschil in verlieswaarden tussen de modellen te meten.
$L_D(f) \leq \mathbb{E}_{h \sim Q}[L_D(h)] + \lambda_\ell \cdot kl^{-1}\left(\frac{\mathbb{E}_{h \sim Q}[d_L(f, h)]}{\lambda_\ell}, \frac{\log(1/\delta)}{m}\right)$

Integratie van het Raamwerk

De methodologie is agnostisch ten opzichte van het specifieke raamwerk dat wordt gebruikt om het surrogaat te certificeren. De auteurs tonen de veelzijdigheid aan door hun disagreement-grenzen te integreren met drie verschillende theoretische raamwerken:

Sample Compression: Het gebruik van algoritmen zoals Pick-To-Learn of Coreset-selectie (bijv. Random Coreset, k-Center Greedy) om een surrogaat te definiëren op basis van een subset van de trainingsdata.
Model Compression: Het gebruik van technieken zoals SubLoRA (Subspace Low-Rank Adaptation) en kwantisatie om de beschrijvingslengte van het surrogaat te reduceren.
PAC-Bayes Theorie: Het trainen van stochastische neurale netwerken waarbij het surrogaat een distributie over hypothesen is, begrensd via de KL-divergentie van een prior.

Belangrijkste Resultaten

De auteurs hebben hun raamwerk empirisch geëvalueerd op MNIST, CIFAR10 en de Amazon Polarity dataset (met gebruik van DistilBERT en GPT2).

Tightness (Nauwheid): De voorgestelde disagreement-gebaseerde grenzen zijn aanzienlijk nauwer dan bestaande berekenbare grenzen. Zo waren de norm-gebaseerde grenzen op CIFAR10 vacuöus (waarden $> 10^{21}$ ), en de partitionerings-gebaseerde grenzen waren triviaal (ongeveer 90% fout). In contrast hiermee bereikten de nieuwe grenzen niet-vacuöse resultaten (bijv. 28,13% voor PAC-Bayes surrogaten op CIFAR10).
Veelzijdigheid: De benadering heeft succesvol doelmodellen gecertificeerd over verschillende architecturen (CNN's, ResNets, Transformers) en verliesfuncties (zero-one, cross-entropy, Huber).
Surrogaat Selectie: De experimenten toonden aan dat de Random Coreset-benadering vaak de nauwste grenzen opleverde voor sample compressie, terwijl SubLoRA effectief was voor model compressie. Interessant genoeg leidde het minimaliseren van de disagreement op de ongelabelde set niet altijd tot de nauwste uiteindelijke grens; in sommige gevallen presteerden surrogaten met de nauwste intrinsieke generalisatiegrenzen (zelfs met een hogere disagreement) beter.
Gebruiksscenario's:
- Certificering: Het bieden van niet-vacuöse grenzen voor standaard deterministische modellen.
- Distillatie: Het certificeren van het risico van een gedistilleerd model terwijl de disagreement wordt geminimaliseerd.
- Kwantisatie: Het begrenzen van het prestatieverschil tussen een doelmodel en zijn gekwantiseerde versie, om te garanderen dat compressie niet leidt tot significante prestatievermindering.

Betekenis en Claims

Het artikel claimt een volledig berekenbaar, niet-vacuöus en aannamevrij raamwerk te bieden voor generalisatiegrenzen. De primaire betekenis ligt in:

Ontkoppeling van Complexiteit: Het stelt de certificering van complexe, willekeurige modellen in staat door de last van theoretische garanties te verschuiven naar een eenvoudiger, certificeerbaar surrogaat.
Minimale Datavereisten: De benadering vereist slechts een kleine ongelabelde dataset (die goedkoper en gemakkelijker te verkrijgen is dan gelabelde data) om de disagreement te evalueren, wat het praktisch maakt voor grootschalige toepassingen.
Geen Modificatie Vereist: In tegen afhankelijk van eerdere werken die het prunen, kwantisatie of architecturale wijzigingen van het doelmodel vereisen om grenzen af te leiden, past deze methode het model toe "as-is".
Brede Toepasbaarheid: Het raamwerk is niet beperkt tot specifieke verliesfuncties of modelklassen, en ondersteunt zero-one, Lipschitz en niet-Lipschitz losses, evenals deterministische en stochastische voorspellers.

De auteurs erkennen beperkingen en merken op dat de nauwheid van de uiteindelijke grens inherent afhankelijk is van de kwaliteit van de eigen generalisatiegarantie van het surrogaat. Bovendien blijft het vinden van een surrogaat die zowel certificeerbaar als voldoende dicht bij een zeer complex doelmodel ligt, een uitdaging. Desalniettemin vestigt dit werk een nieuw paradigma waarbij generalisatiegaranties worden bereikt via "disagreement" in plaats van directe complexiteitsanalyse van het doelmodel.