🤖 machine learning

Bayesian 3D Steerable CNNs: Enabling Equivariance and Uncertainty Quantification Simultaneously

Dit artikel introduceert een Bayesiaans Steerable-CNN-framework dat exacte SE(3)-equivariantie behoudt terwijl het simultane onzekerheidskwantificering mogelijk maakt via variationele inferentie, waardoor superieure robuustheid tegen distributieverschuivingen en verbeterde prestaties via onzekerheidsgestuurde voorspellingen worden bereikt.

Oorspronkelijke auteurs: Abhishek Keripale, Ponkrshnan Thiagarajan, Susanta Ghosh

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Abhishek Keripale, Ponkrshnan Thiagarajan, Susanta Ghosh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren om 3D-objecten te herkennen, zoals stoelen, bedden of toiletten, door er simpelweg naar te kijken. Het lastige deel is dat deze objecten in elke gewenste richting gedraaid kunnen zijn. Een standaardrobot zou in de war kunnen raken als een stoel op zijn zijkant staat, en denken dat het een compleet ander object is.

Om dit op te lossen, gebruiken wetenschappers iets dat Steerable CNNs wordt genoemd. Denk hierbij aan een speciale set "slimme lenzen" die rotatie begrijpen. Ongeacht hoe je het object draait, de robot ziet het als hetzelfde object. Het is alsof je een kaart hebt die automatisch met je meedraait, zodat je nooit verdwaalt.

Echter, er is een addertje onder het gras bij deze slimme lenzen: ze zijn deterministisch. Dit betekent dat ze als een rigide robot zijn die je één enkel antwoord geeft met 100% zekerheid, zelfs als het antwoord fout is. Het heeft geen concept van "ik weet het niet zeker". In de echte wereld, vooral bij ruisachtige of rommelige gegevens, is weten hoe zeker je bent net zo belangrijk als het krijgen van het juiste antwoord.

Het Grote Idee: De "Zelfverzekerde maar Bescheiden" Robot

De auteurs van dit artikel hebben een nieuwe versie van deze slimme lenzen gemaakt die Bayesian 3D Steerable CNNs worden genoemd. Ze hebben de robot twee superkrachten tegelijk gegeven:

Rotatiebewustzijn: Het begrijpt nog steeds dat een gedraaide stoel nog steeds een stoel is.
Onzekerheidsbewustzijn: Het kan nu zeggen: "Ik weet vrij zeker dat dit een stoel is," of "Ik ben echt in de war, dit zou een stoel of een vreemde tafel kunnen zijn."

Hoe hebben ze het gedaan? (De Keukenanalogie)

Om hun truc te begrijpen, stel je een recept voor een cake voor (de "kernel" die het object herkent).

De Oude Manier (Deterministisch): Het recept staat in steen gebeiteld. "Voeg exact 2 kopjes bloem toe." Als je het volgt, krijg je elke keer dezelfde cake.
Het Problek: Als de ingrediënten slecht zijn (ruisachtige gegevens), kan de cake mislukken, maar het recept weet dat niet.
De Nieuwe Manier (Bayesian): In plaats van "2 kopjes" te schrijven, zegt het recept: "Voeg tussen de 1,8 en 2,2 kopjes bloem toe, gebaseerd op een waarschijnlijkheid."
- De auteurs hielden de structuur van het recept (de "steerable basis") rigide, zodat het nog steeds rotatie begrijpt.
- Maar ze maakten de hoeveelheden (de coëfficiënten) flexibel en willekeurig.
- Elke keer dat de robot naar een object kijkt, neemt het een iets andere versie van het recept. Soms wordt er wat meer bloem toegevoegd, soms wat minder.

Door dit te doen, geeft de robot niet slechts één antwoord; het geeft je een spreiding van antwoorden. Als al de verschillende versies van het recept het met elkaar eens zijn, is de robot zelfverzekerd. Als ze allemaal verschillende resultaten geven, weet de robot dat hij onzeker is.

Wat hebben ze gevonden?

De onderzoekers hebben deze nieuwe robot getest op een dataset van 3D-modellen genaamd ModelNet10 (die zaken bevat zoals badkuipen, bureaus en banken). Dit is wat er gebeurde:

Het is net zo goed in raden: De nieuwe "onzekere" robot was net zo goed in het identificeren van objecten als de oude "rigide" robot.
Het is beter in het omgaan met ruis: Wanneer ze "statische ruis" of "ruis" aan de afbeeldingen toevoegden (zoals het korrelig maken van de foto), begon de rigide robot snel te falen. De nieuwe robot was echter veel taaier. Het behield zijn nauwkeurigheid, zelfs wanneer de ruis erg hoog was, en presteerde de oude robot met ongeveer 6% beter. Het is also het de robot met het flexibele recept nog steeds kon bakken met slechte ingrediënten, terwijl de rigide een had verbrand.
Het weet wanneer het fout zit: Het meest opwindende deel is dat de "onzekerheidsscore" van de robot daadwerkelijk betekenisvol was. Wanneer de robot zei: "Ik weet het niet zeker," had hij meestal gelijk dat hij het niet wist. Wanneer hij zei: "Ik weet het 100% zeker," zat hij er meestal ook naast (in de zin van: hij was correct in zijn zekerheid).
- Ze vonden een duidelijk patroon: hoe onzekerder de robot was, hoe groter de kans dat hij een fout maakte. Dit bewijst dat de robot niet zomaar wat gokt; hij begrijpt daadwerkelijk zijn eigen beperkingen.
Kalibratie: Het vertrouwen van de robot kwam perfect overeen met de realiteit. Als hij zei dat hij 90% zeker was, was hij ook 90% van de tijd correct.

De Trade-off

Er is een kleine prijs. Omdat de robot al deze verschillende "receptvariaties" (waarschijnlijkheden) moet bijhouden in plaats van slechts één vast recept, gebruikt hij twee keer zoveel geheugen en heeft hij iets meer tijd nodig om na te denken. Het is alsof je een heel kookboek met variaties bij je draagt in plaats van slechts één indexkaartje.

Samenvatting

Het artikel introduceert een manier om 3D-objectherkenningssystemen te maken die zowel rotatiebestendig zijn (ze werken ongeacht hoe het object gedraaid is) als bescheiden (ze weten wanneer ze het niet zeker weten). Door de interne wiskunde van het systeem te behandelen als een reeks mogelijkheden in plaats van een enkel vast getal, hebben ze een model gecreëerd dat robuuster is tegen rommelige gegevens en betrouwbare vertrouwensscores biedt, zonder daarbij de regels van symmetrie te breken die deze systemen juist effectief maken.

Technische Samenvatting: Bayesiaanse 3D Steerable CNN's

Probleemstelling
Steerable Convolutional Neural Networks (Steerable-CNN's) hebben zich gevestigd als een krachtig paradigma voor 3D-gegevensverwerking, waarbij SE(3)-equivariantie wordt gegarandeerd door convolutionele kernels te parametrizeren als lineaire combinaties van steerable basisfuncties. Deze architecturale beperking zorgt ervoor dat een transformatie van de input (bijv. via 3D-rotatie) een dienovereenkomstige getransformeerde output produceert, wat de hypotheseruimte aanzienlijk verkleint en de generalisatie verbetert in domeinen zoals vormherkenning en moleculaire eigenschapsvoorspelling. Bestaande Steerable-CNN's zijn echter volledig deterministisch. Ze produceren enkelvoudige punt-schattingen zonder bijbehorende vertrouwensmaten, waardoor ze ongeschikt zijn voor kritieke toepassingen waarbij veiligheid centraal staat (bijv. medische beeldvorming, autonome systemen), waar onzekerheidskwantificering (UQ) essentieel is.

Een primaire uitdaging bij het ontwikkelen van Bayesiaanse Steerable-CNN's is dat het naïef introduceren van stochasticiteit in de netwerkgewichten doorgaans de equivariantie-eigenschap doorbreekt. Als convolutionele kernels willekeurig worden gesampled, schenden ze over het algemeen de "intertwiner"- of steerability-beperking, wat betekent dat de resulterende stochastische realisaties niet equivariant zullen zijn, zelfs als hun gemiddelde dat wel is.

Methodologie
De auteurs stellen een Bayesiaanse Steerable-CNN framework voor die dit conflict oplost door posterior distributies te plaatsen over de scalaire coëfficiënten van de steerable basisfuncties, in plaats van over de kernelmatrices zelf.

Stochastische Equivariante Kernels: De convolutionele kernel $K(x)$ wordt gedefinieerd als een lineaire combinatie van deterministische, vooraf berekende steerable basisfuncties $\{\kappa_b(x)\}$ (afgeleid van Wigner D-matrices voor SO(3)):
$K(x; w) = \sum_{b=1}^{B} w_b \kappa_b(x)$
De basisfuncties $\kappa_b$ zijn vast en voldoen door constructie aan de steerability-beperking. De coëfficiënten $w = (w_1, \dots, w_B)$ worden behandeld als willekeurige variabelen.
Behoud van Equivariantie: Het artikel bewijst (Propositie 1) dat als de basisfuncties aan de steerability-beperking voldoen, elke lineaire combinatie daarvan — ongeacht of de coëfficiënten deterministisch zijn of gesampled uit een waarschijnlijkheidsverdeling — equivariant blijft. Dit maakt stochastische kernels mogelijk zonder architecturale aanpassingen om equivariantie af te dwingen.
Variational Inference: Het model maakt gebruik van de Bayes-by-Backpropagation benadering. Er wordt een mean-field Gaussische variational posterior $q(w|\theta)$ aangenomen over de coëfficiënten, geparametriseerd door een gemiddelde $\mu$ en een log-variantie $\rho$ . Het model wordt getraind door het maximaliseren van de Evidence Lower Bound (ELBO), die bestaat uit een cross-entropy loss term en een Kullback-Leibler (KL) divergentie term die de posterior reguleert tegenover een Gaussische prior.
Onzekerheidsdecompositie: Tijdens de inferentie voert het model $N$ $N$ stochastische forward passes uit. De totale voorspellende onzekerheid wordt gedecomposeerd in:
- Aleatorische Onzekerheid: Ingebouwde ruis in de data (gevangen door de gemiddelde entropie van individuele voorspellingen).
- Epistemische Onzekerheid: Modelonzekerheid door beperkte data (gevangen door de variantie van voorspellingen over de $N$ samples).

Belangrijkste Bijdragen

Nieuwe Bayesiaanse Formulering: De eerste integratie van stochastische inferentie met steerable convoluties, waarbij de posterior distributie van de kernel basiscoëfficiënten wordt verkregen terwijl exacte SE(3)-equivariantie behouden blijft.
Theoretisch Bewijs: Een formeel bewijs dat aantoont dat stochasticiteit in de coëfficiëntenruimte de intertwiner-beperking niet schendt, waardoor elke gesamplede kernel equivariant blijft.
Decomposeerbare Onzekerheid: Een framework dat gekalibreerde, decomposeerbare onzekerheidsschattingen (epistemisch vs. aleatorisch) biedt voor 3D-equivariante modellen.

Experimentele Resultaten
Het model werd geëvalueerd op de ModelNet10 dataset (3D CAD-modellen) met een architectuur gebouwd op de escnn library.

Classificatieprestaties: Het Bayesiaanse model bereikte een testnauwkeurigheid van 86,34%, wat concurrerend is met deterministische tegenhangers.
Kalibratie: Het model vertoonde uitstekende kalibratie met een Expected Calibration Error (ECE) van 0,0263, wat aangeeft dat de voorspelde betrouwbaarheidsscores nauw overeenkomen met de empirische nauwkeurigheid.
Robuustheid tegen Distributieverschuiving: Onder additieve Gaussische ruis vertoonde het Bayesiaanse model een superieure robuustheid vergeleken met de deterministische baseline. Bij een hoog ruisniveau ( $\epsilon_{noise} = 0,9$ ) behield het Bayesiaanse model een nauwkeurigheid van 81,83%, waarmee het het deterministische model met 75,66% versloeg met 6,17%.
Nut van Onzekerheid:
- Selectieve Voorspelling: Door monsters met een hoge onzekerheid te filteren, behaalde het model een winst van ~4% in nauwkeurigheid op 84% van de testdataset (monsters met een onzekerheid onder een specifieke drempelwaarde).
- Semantische Betekenis: Er werd een statistisch significante negatieve Spearman rangcorrelatie (-0,3989) gevonden tussen epistemische onzekerheid en voorspellingsfout, wat bevestigt dat hogere onzekerheid betrouwbaar een hogere classificatiefout voorspelt.
- Convergentie van Onzekerheid: Tijdens de training nam de totale onzekerheid gestaag af, terwijl de epistemische onzekerheid consistent laag bleef, wat suggereert dat het model zelfverzekerd werd in zijn geleerde gewichtsverdeling.

Betekenis en Claims
Het artikel claimt de unificatie van Bayesiaanse onzekerheidskwantificering met de inductieve bias van equivariante CNN's. De auteurs benadrukken dat dit het eerste werk is dat erin slaagt om stochastische inferentie en steerable convoluties succesvol te integreren in één enkel discriminerend model. De betekenis ligt in het mogelijk maken van risico-bewuste besluitvorming in 3D-domeinen: het model respecteert niet alleen geometrische symmetrieën, maar biedt ook principiële, decomposeerbare betrouwbaarheidschattingen. Dit stelt gebruikers in staat om onderscheid te maken tussen ambiguïteit die inherent is aan de data (aleatorisch) en een gebrek aan modelkennis (epistemisch), wat gerichte modelverfijning en veiligere implementatie in veiligheidskritische toepassingen faciliteert. Het framework bereikt deze voordelen zonder de equivariantie-garanties op te offeren die Steerable-CNN's effectief maken voor 3D-gegevens.