Empirical Evidence for Simply Connected Decision Regions in Image Classifiers

Technische Samenvatting: Empirisch Bewijs voor Eenvoudig Samenhangende Beslissingsgebieden in Beeldclassificators

Probleemstelling
Hoewel eerdere empirische studies hebben aangetoond dat beslissingsgebieden in diepe neurale netwerken pad-geconnecteerd zijn (d.w.z. dat twee afbeeldingen van dezelfde voorspelde klasse altijd door een continu pad binnen die klasse met elkaar verbonden kunnen worden), blijft de hogere-orde topologische structuur onduidelijk. Specifiek is onbekend of deze gebieden eenvoudig samenhangend zijn. Een gebied is eenvoudig samenhangend als elke gesloten lus binnen het gebied continu tot een punt kan worden samengeperst zonder het gebied te verlaten. Als een beslissingsgebied "gaten" bevat (niet-samendrukbare lussen), impliceert dit een complexere, gefragmenteerde topologie die de interpreteerbaarheid en de robuustheid tegen adversariale aanvallen kan beïnvloeden. Dit artikel adresseert de vraag: Kunnen gesloten lussen binnen een voorspelde beslissingsregio worden opgevuld met een labelbehoudend oppervlak?

Methodologie
De auteurs stellen een iteratief quad-mesh-vulprocedure voor om eindige-resolutie, labelbehoudende oppervlakken te construeren die begrensd worden door een gegeven lus van afbeeldingen met hetzelfde label.

1. Probleemopzet: De invoerruimte is de genormaliseerde beeldruimte. Gegeven vier afbeeldingen ($x_{00}, x_{10}, x_{01}, x_{11}$) die hetzelfde label $y$ hebben, is het doel een oppervlak $S: [0, 1]^2 \to X$ te construeren zodat de rand overeenkomt met de lus en het binnenste voldoet aan $f(S(u, v)) = y$.
2. Randconstructie: De vier hoekpunten definiëren een lus. Omdat rechte lijnen tussen afbeeldingen met hetzelfde label beslissingsgrenzen kunnen kruisen, construeren de auteurs een stuksgewijs lineaire randlus door hoekpunten langs de zijden te initialiseren en afwijkende labels bij te werken via een gerichte DeepFool-achtige projectie terug naar het doelbeslissingsgebied.
3. Oppervlaktevulling (Adaptieve Subdivisie):
   • De methode werkt op een dyadisch rooster, beginnend met één vierkant (quad) gedefinieerd door de rand.
   • Resolutiecontrole: Een quad wordt geaccepteerd als de hoekpunten zijn geverifieerd in het doelgebied en de geometrische diameter (gemeten in grey-RMS-eenheden) onder een drempelwaarde $\tau$ ligt.
   • Labelcontrole: Als de groottedrempel niet wordt gehaald, wordt de bilineaire interpolatie van de quad bemonsterd op een adaptief rooster. Als alle bemonsterde punten het doellabel behouden, wordt de quad geaccepteerd.
   • Subdivisie: Als de labelcontrole faalt, wordt de quad onderverdeeld in vier kind-quads. Nieuwe middelpunten van randen en centrale punten worden geïnitieerd via lineaire interpolatie.
   • Reparatie: Elke nieuw aangemaakte hoekpunt dat buiten het doelgebied valt, wordt gerepareerd met een gerichte DeepFool-update gevolgd door een bisectiestap om het terug te projecteren in het gebied.
4. Geometrische Vergelijking: Om de geometrische complexiteit van het geconstrueerde oppervlak te beoordelen, vergelijken de auteurs het met een canoniek Coons-patch (een standaard geometrische interpolatie van de vier randcurven). Ze berekenen de verhouding van het oppervlak van het geconstrueerde oppervlak tot het oppervlak van het Coons-patch ($\rho$).

Experimentele Opzet

• Datasets & Modellen: De methode werd geëvalueerd op de ImageNet-validatieset over zes diverse architecturen: ResNet-50, DenseNet-121, EfficientNet-B0, ConvNeXt-Tiny, ViT-B/16 en Swin-T.
• Scope: Voor elk model werden 1.000 lussen geconstrueerd (één voor elk van de 1.000 ImageNet-classes), in totaal 6.000 lussen en 24.000 afbeeldingen.
• Parameters: De grey-RMS-stopdrempel werd ingesteld op $\tau = 0,5$. Een standaardreparatie-instelling (50 DeepFool-iteraties) werd gebruikt, met een sterkere instelling (200 iteraties) die alleen werd toegepast bij initiële mislukkingen.

Belangrijkste Resultaten

1. Universeel Succes: Over alle zes modellen en alle 6.000 geteste lussen heen slaagde de procedure erin een eindige-resolutie labelbehoudend oppervlak te construeren. Het uiteindelijke succespercentage was 100% na toepassing van de sterkere reparatie-instelling op de weinige initiële mislukkingen.
2. Noodzaak van Adaptieve Verfijning: Een "root-level" diagnose toonde aan dat naïeve bilineaire interpolatie (het initiële quad zonder subdivisie) slechts voor een minderheid van de lussen aan de labelbeperking voldeed (variërend van 6,9% voor DenseNet-121 tot 42,2% voor Swin-T). Dit bevestigt dat het adaptieve subdivisie- en reparatiemechanisme essentieel is.
3. Geometrische Eenvoud: De oppervlakteverhouding $\rho$ tussen het geconstrueerde oppervlak en het Coons-patch was geconcentreerd rond 1. Dit geeft aan dat de labelbehoudende oppervlakken geometrisch dicht bij de natuurlijke interpolatie van de rand liggen, in plaats van sterk vervormd of ingewikkeld te zijn.
4. Mesh-complexiteit: Het aantal quads dat nodig was om de lussen op te vullen, varieerde per architectuur. Transformer-gebaseerde modellen (Swin-T, ViT-B/16) en ConvNeXt-Tiny vereisten aanzienlijk minder quads (kleinere meshes) dan ResNet-50 of DenseNet-121, wat suggereert dat hun beslissingsgebieden lokaal vlakker of coherenter zijn in deze bemonsterde gebieden.

Betekenis en Claims
Het artikel levert sterk empirisch bewijs (op eindige resolutie) ter ondersteuning van de hypothese dat beslissingsgebieden in moderne beeldclassificators niet alleen pad-geconnecteerd zijn, maar ook eenvoudig samenhangend.

• Topologisch Inzicht: De bevindingen suggereren dat beslissingsgebieden zijn georganiseerd in globaal coherente structuren waarbij lussen samendrukbare zijn, wat de opvatting uitdaagt dat adversariale kwetsbaarheid impliceert dat er sprake is van globale topologische fragmentatie.
• Beperkingen: De auteurs stellen expliciet dat deze resultaten empirisch bewijs op eindige resolutie zijn, geen formeel topologisch bewijs. De methode verifieert bemonsterde punten op een specifieke grey-RMS-schaal en kan het bestaan van kleinere gaten of niet-samendrukbare lussen buiten de geteste resolutie of lusfamilie niet uitsluiten.
• Implicaties: De resultaten bieden een nieuw empirisch beeld van beslissingsgebieden van neurale netwerken, wat suggereert dat ondanks lokale adversariale fragiliteit, de globale topologie van deze gebieden verrassend eenvoudig en goed gedrag kan zijn.

Het werk claimt niet dat eenvoudige samenhang wordt bewezen voor alle mogelijke invoer of oneindige resolutie, maar vestigt eerder een robuust patroon over diverse architecturen en de volledige ImageNet-labelruimte op de geteste resolutie.