Technische Samenvatting: Over de Epistemische Onzekerheid van Overparametriseerde Neurale Netwerken

Probleemstelling

Epistemische onzekerheid in machine learning wordt traditioneel gedefinieerd als reduceerbare onzekerheid die verdwijnt naarmate de datagrootte toeneemt, vaak gelijkgesteld aan voorspellende variabiliteit. Dit perspectief rust op de aanname van parameteridentificeerbaarheid, waarbij de posterior-verdeling convergeert naar een uniek parameter-vector (of een puntmassa) naarmate $n \to \infty$. Echter, in overparametriseerde neurale netwerken zijn parameters doorgaans niet-identificeerbaar vanwege symmetrieën (bijvoorbeeld permutatie-invariantie) en redundante representaties.

Het kernprobleem dat wordt aangepakt, is dat hoewel de onderliggende functie $f^*$ volledig geïdentificeerd kan zijn, de parameterruimte aanzienlijke onzekerheid bevat die zelfs bij oneindige data blijft bestaan. Klassieke onzekerheidsdecomposities, die focussen op voorspellende variantie, slagen er niet in om deze "residuale" onzekerheid te vangen omdat ze invariant zijn voor parameterveranderingen die de functie onveranderd laten. Bijgevolg is er een mismatch tussen de structurele eigenschappen van overparametriseerde modellen (waarbij de posterior niet instort tot een punt in de parameterruimte) en standaard methoden voor onzekerheidskwantificatie.

Methodologie

De auteurs analyseren epistemische onzekerheid door de lens van niet-identificeerbaarheid met behulp van een architectuur met één verborgen laag en ReLU-functies:
$$f_w(x) = w_2^\top \phi(W_1 x)$$
waarbij $\phi(\cdot) = \max(0, \cdot)$. De studie veronderstelt een geregulariseerde verliesdoelfunctie die equivalent is aan een Bayesiaanse posterior met een Gaussische prior.

De methodologie verloopt in drie fasen:

1. Theoretische Karakterisering: De auteurs onderscheiden twee bronnen van niet-identificeerbaarheid:
   • Permutatiesymmetrie: In correct gespecificeerde modellen ($M = M^*$) ontstaat niet-identificeerbaarheid door het permuteren van verborgen neuronen. De posterior convergeert naar een mengsel van Dirac-maten over deze permutaties.
   • Continue Splitsing (Manifold-toewijzing): In overparametriseerde modellen ($M > M^*$) kunnen ware neuronen worden weergegeven door continue combinaties van meerdere redundante neuronen. Dit induceert een "splitsingsmanifold" $\mathcal{M}_\varsigma$ waar gewichten continu kunnen worden herverdeeld terwijl dezelfde functie en regularisatiekosten worden behouden.
2. Posterior Afleiding: Het artikel leidt de exacte vorm af van de geïnduceerde posterior op deze manifolds. Het stelt vast dat voor een vaste toewijzingskaart $\varsigma$ (die modelneuronen afbeeldt op ware neuronen), de splitsingscoëfficiënten een symmetrische Dirichlet-verdeling volgen. De auteurs definiëren de posterior op de manifold als de zwakke limiet van de omringende posterior, geconditioneerd op een $\epsilon$-buis rond de manifold naarmate $\epsilon \to 0$.
3. Empirische Validatie: De theoretische bevindingen worden gevalideerd met behulp van Bayesiaanse Neurale Netwerken (BNN's) met Gaussische priors en likelihoods. Inferentie wordt uitgevoerd met Stochastic Gradient Langevin Dynamics (SGLD) en de No-U-Turn Sampler (NUTS). De studie analyseert posterior-steekproeven om convergentie-eigenschappen, schakelfrequenties tussen permutatiekamers en de verdeling van splitsingscoëfficiënten te verifiëren.

Belangrijkste Bijdragen

1. Herverkadering van Epistemische Onzekerheid: Het artikel betoogt dat epistemische onzekerheid in overparametriseerde modellen een persistent component omvat door niet-identificeerbaarheid dat niet verdwijnt bij toenemende data, zelfs wanneer de voorspellende functie perfect is geïdentificeerd.
2. Karakterisering van Residuale Onzekerheid:
   • Discrete Bron: In correct gespecificeerde modellen manifesteert onzekerheid zich als een mengsel van Dirac-maten over permutatiebanen.
   • Continue Bron: In overparametriseerde modellen manifesteert onzekerheid zich als een niet-degenererende verdeling over splitsingsmanifolds. De auteurs leiden af dat splitsingscoëfficiënten een Dirichlet-verdeling volgen $\text{Dir}(\alpha, \dots, \alpha)$ met $\alpha = (p+1)/2$.
3. Posterior Momenten en Geometrie: De auteurs leiden expliciete formules af voor de posterior-momenten van gewichten onder overparametrisme. Zij tonen aan dat terwijl de totale bijdrage van een groep redundante neuronen constant blijft, de individuele bijdrage van elk neuron afneemt ($O(M^{-1/2})$ in gemiddelde, $O(M^{-1})$ in covariantie) naarmate de netwerkbreedte $M$ toeneemt.
4. Steekproefdynamiek: Het artikel demonstreert dat standaard MCMC-steekproefnemers (onder specifieke continuïteitsaannames) bijna zeker beperkt blijven tot een enkele permutatiekamer of het inwendige van een enkele toewijzingsmanifold. Ze traverseren niet op natuurlijke wijze de grenzen tussen verschillende symmetrie-gerelateerde gebieden, wat betekent dat een enkele keten slechts een subset van de volledige posterior-steun verkent.

Resultaten

• Convergentie versus Variantie: Empirische resultaten bevestigen dat hoewel de voorspellende prestaties (RMSE, LPPD) convergeren naar de ware functie naarmate $n$ toeneemt, de trace van de covariantiematrix van de gewichten niet-nul blijft vanwege permutatie- en splitsingssymmetrieën.
• Manifold-structuur: In overparametriseerde settings ($M > M^*$) aligneren posterior-steekproeven met de theoretische voorspelling dat splitsingscoëfficiënten een Beta-verdeling volgen (marginaal van Dirichlet). De empirische verdelingen van gewichtscontributies komen nauw overeen met de theoretische Dirichlet-marginaals.
• Steekproefgedrag: Experimenten met NUTS en SGLD tonen aan dat ketens beperkt blijven tot enkele permutatiekamers. De "schakelfrequentie" tussen kamers is verwaarloosbaar, en de "gemiddelde minimale marge" geeft aan dat ketens diep binnen specifieke kamers verblijven, waarbij ze zelden de maat-nul grenzen overschrijden waar neuronen uitwisselbaar worden.
• Praktische Impact: Het artikel illustreert dat het negeren van niet-identificeerbaarheid kan leiden tot vervormde schattingen in downstream-taken. Bij continu leren (EWC) kan door niet-identificeerbaarheid veroorzaakte variantie parameterbelang ten onrechte inflateren, wat leidt tot te restrictieve updates. Correctie voor deze variantie verbetert adaptatie. Evenzo kunnen standaard convergentiediagnostieken (zoals $\hat{R}$) in de parameterruimte inflateren door niet-identificeerbare richtingen, zelfs wanneer convergentie in de functieruimte is bereikt.

Betekenis en Beweringen

Het artikel claimt een noodzakelijke correctie te bieden aan het standaardbeeld van epistemische onzekerheid in deep learning. Het stelt dat:

• Parameteronzekerheid Persisteert: In tegenstelling tot het klassieke beeld waar onzekerheid verdwijnt met data, is parameteronzekerheid in overparametriseerde netwerken irreduceerbaar vanwege structurele symmetrieën.
• Functie versus Parameterruimte: Hoewel werken in functieruimte deze problemen mitigeert, moeten procedures die direct op gewichten opereren (bijvoorbeeld interpretatie, modelcompressie, continu leren of op steekproeven gebaseerde inferentie) rekening houden met deze residuale onzekerheid om misleidende conclusies te voorkomen.
• Beperkingen van Huidige Heuristieken: Praktische heuristieken zoals diepe ensembles kunnen sommige effecten van niet-identificeerbaarheid "wegmiddelen", maar ze elimineren niet de onderliggende geometrische structuur van de posterior. Het artikel suggereert dat het begrijpen van de geometrie van de posterior (specifiek de manifolds geïnduceerd door overparametrisme) cruciaal is voor accurate onzekerheidskwantificatie in de parameterruimte.

De auteurs blijven bescheiden wat betreft de reikwijdte, en merken op dat hun formele resultaten zijn afgeleid voor neurale netwerken met één verborgen ReLU-laag en Gaussische priors. Zij erkennen dat diepere netwerken extra niet-identificeerbaarheden per laag introduceren die niet door hun theorie worden gedekt, en dat de specifieke Dirichlet-splitsingswet afhangt van de keuze van Gaussische prior/L2-regularisatie. Echter, zij betogen dat de mechanismen van permutatie- en splitsingssymmetrieën fundamenteel zijn voor overparametriseerde modellen en waarschijnlijk uitbreiden naar bredere architecturen.