Technische Samenvatting: Hyperbolische Concept Bottleneck Modellen (HypCBM)

1. Probleemstelling

Concept Bottleneck Modellen (CBM's) hebben zich ontwikkeld tot een toonaangevende aanpak voor interpretable machine learning, waarbij modellen worden gedwongen menselijk begrijpbare concepten te voorspellen voordat een definitieve beslissing wordt genomen. Deze architectuur zorgt voor transparantie en maakt ingrepen door mensen in de loop mogelijk om foutieve voorspellingen te corrigeren. Echter, bestaande CBM's rusten op een fundamenteel representatief gebrek: ze embedden concepten in een platte, Euclidische ruimte, waarbij ze worden behandeld als onafhankelijke, orthogonale dimensies.

In werkelijkheid zijn concepten sterk gestructureerd en georganiseerd in semantische hiërarchieën (bijvoorbeeld: "Hond" is een subset van "Dier"). Euclidische geometrie worstelt met het representeren van deze vertakkende relaties zonder ouder- en kindconcepten in overlappende of vervormde gebieden te dwingen, wat leidt tot logische inconsistenties (bijvoorbeeld: "Hond" voorspellen zonder "Dier") en inefficiënte ingrepen. Bovendien vereisen huidige methoden die proberen structuur af te dwingen vaak extra supervised training of geleerde modules, wat afwijkt van het wenselijke "post-hoc" paradigma waarbij het model interpreteerbaar is zonder het backbone-model opnieuw te trainen.

2. Methodologie

De auteurs stellen Hyperbolische Concept Bottleneck Modellen (HypCBM) voor, een post-hoc raamwerk dat de concept bottleneck verankert in hyperbolische geometrie om semantische hiërarchieën op natuurlijke wijze te accommoderen.

2.1 Geometrische Grondslag

HypCBM maakt gebruik van het Lorentz-model van hyperbolische ruimte, een Riemannse variëteit met constante negatieve kromming. In tegenstelling tot Euclidische ruimte vertoont hyperbolische ruimte exponentiële volumegroei, wat het de natuurlijke domein maakt voor hiërarchisch representatieleer. Het raamwerk maakt gebruik van vooraf getrainde hyperbolische Vision-Language Models (VLM's), specifiek HyCoCLIP, die afbeeldings- en tekst-embeddings in deze ruimte aligneren met behulp van entailment-cone doelen.

2.2 Conceptgeneratie en Filtering

Volgend een labelvrij, post-hoc paradigma genereert HypCBM een kandidaatset van concepten met behulp van een Large Language Model (LLM) dat wordt geprompt met datasetklasse-labels. Deze tekstuele beschrijvingen worden gecodeerd in de hyperbolische variëteit met behulp van de bevroren tekstencoder van het VLM.

• Op norm gebaseerde filtering: Om te overmatig generieke concepten (bijvoorbeeld "object") te verwijderen die geen onderscheidend vermogen hebben, filtert het raamwerk concepten op basis van hun afstand tot de oorsprong in hyperbolische ruimte. Concepten met lage normen (dicht bij de oorsprong) vertegenwoordigen brede, generieke categorieën en worden weggehaald, aangezien ze de neiging hebben om ongedifferentieerd te activeren.

2.3 Hyperbolische Entailment-activatie

De kerninnovatie is de herformulering van conceptactivatie van een symmetrische afstandsmetriek (zoals cosinusgelijkenis) naar een asymmetrisch geometrisch opsluitingsprobleem.

• Entailment-cones: Elk concept $c_i$ is gekoppeld aan een entailment-cone gedefinieerd door een halve apertuur $\omega(c_i)$, die omgekeerd evenredig is met de ruimtelijke norm van het concept (specifieke concepten hebben smallere cones).
• Activeringsmechanisme: Een afbeeldingsembedding $z$ activeert een concept als deze geometrisch binnen de entailment-cone van het concept valt. De activatiewaarde $a_i$ wordt berekend als de "marge van insluiting"—de mate waarin de afbeeldingsembedding binnen de cone is opgesloten, genormaliseerd door de apertuur van de cone.
• Resultaat: Dit levert een schaars, niet-negatief activatievector op dat bij constructie hiërarchisch consistent is. Als een afbeelding een specifiek kindconcept impliceert, impliceert deze geometrisch ook het ouderconcept.

2.4 Hiërarchisch Getrouwe Ingrepen

Een kritieke beperking van Euclidische CBM's is dat ingrepen op een ouderconcept (bijvoorbeeld "Dier" instellen op 0) niet automatisch kindconcepten deactiveert (bijvoorbeeld "Hond"), wat leidt tot logische paradoxen. HypCBM lost dit op door middel van adaptieve schaling:

• Vanwege de exponentiële volumegroei van hyperbolische ruimte is een vaste drempel voor entailment onvoldoende over verschillende hiërarchiedieptes.
• De auteurs leiden een adaptieve schalingswet af voor de strengheidsparameter van entailment $\eta_{text}$, die lineair schaalt met de norm van het ouderconcept.
• Wanneer een gebruiker een ouderconcept onderdrukt, propageert het raamwerk deze onderdrukking automatisch naar alle geometrische afstammelingen die voldoen aan de adaptieve entailment-conditie, waardoor coherente correcties in de hele conceptboom worden gewaarborgd.

3. Belangrijkste Bijdragen

1. Hyperbolische Entailment-activatie: Een mechanisme dat afbeeldingsrepresentaties afbeeldt op schaarse, hiërarchie-bewuste conceptactivaties via opsluiting in entailment-cones, waardoor de noodzaak voor symmetrische afstandsmetriek wordt geëlimineerd.
2. Adaptieve Schalingswet: Een nieuwe strategie voor hiërarchische ingrepen die gebruikerscorrecties coherent door de conceptboom propageert door de strengheid aan te passen aan de geometrische specificiteit van ouderconcepten.
3. Post-hoc Gestructureerde Bottleneck: HypCBM is het eerste raamwerk dat een gestructureerde bottleneck volledig post-hoc bereikt zonder geleerde modules of extra supervisie, en uitsluitend vertrouwt op de geometrische eigenschappen van vooraf getrainde hyperbolische VLM's.

4. Experimentele Resultaten

De auteurs hebben HypCBM geëvalueerd op CIFAR-100, SUN397 en ImageNet, waarbij ze het vergeleken met Euclidische baselines (LF-CBM) en modellen die zijn getraind op aanzienlijk meer data.

• Nauwkeurigheid en Data-efficiëntie: HypCBM presteert consequent beter dan Euclidische post-hoc modellen. Opvallend is dat het Euclidische modellen rivaliseert die zijn getraind op 20× meer data in schaarse regimes (lage conceptbudgetten). Bijvoorbeeld, op ImageNet met een budget van 10 concepten, verdubbelt HypCBM de baseline-nauwkeurigheid meer dan (34,6% versus 15,3%).
• Hiërarchische consistentie: HypCBM vertoont aanzienlijk hogere logische consistentie. In strikte budgetregimes bereikt het meer dan 100% relatieve verbetering in consistentie ten opzichte van Euclidische baselines, waardoor wordt gewaarborgd dat het activeren van een kindconcept de activatie van het ouderconcept impliceert.
• Responsiviteit op ingrepen: In simulaties met mensen in de loop vertoont HypCBM een steilere afname van het vertrouwen bij het corrigeren van fouten, waarbij het succesvol incorrecte voorspellingen omkeert naar de juiste klasse voor 19% meer steekproeven dan de Euclidische baseline.
• Robuustheid: HypCBM vertoont superieure robuustheid tegen invoercorrupties (ruis, wazigheid, weer). Het behoudt aanzienlijk hogere "conceptstabiliteit" (semantische consistentie van uitleg) onder verstoring in vergelijking met Euclidische modellen, die lijden aan snelle degradatie van de kwaliteit van de uitleg.

5. Betekenis en Claims

Het artikel beweert dat structurele priors op de representatieruimte kunnen dienen als een krachtig substitueer voor schaal in schaarse, interpretable regimes. Door concepten te embedden in een variëteit die hun hiërarchische relaties weerspiegelt, produceert HypCBM uitleggen die nauwkeuriger, robuuster en logischer consistent zijn zonder dat extra training of supervisie nodig is.

De auteurs benadrukken dat interpreteerbaarheid niet louter een eigenschap is van modeluitvoer, maar fundamenteel wordt gevormd door de geometrie van de representatieruimte. HypCBM demonstreert dat het benutten van de natuurlijke exponentiële volumegroei van hyperbolische ruimte een efficiënte ontkoppeling van semantische informatie mogelijk maakt, waardoor modellen hoge prestaties en interpreteerbaarheid kunnen bereiken met minder data dan hun Euclidische tegenhangers. Het raamwerk wordt gepresenteerd als een zero-shot pad naar interpreteerbaarheid voor de opkomende klasse van hyperbolische foundation-modellen.