Technische Samenvatting: CB-SLICE: Concept-Based Interpretable Error Slice Discovery

Probleemstelling

Deep learning-modellen bereiken vaak sterke prestaties in het gemiddelde geval, maar vertonen systematische fouten op specifieke populatiegroepen, bekend als fout-slices (error slices). Het identificeren van deze groepen en hun oorzaken is cruciaal voor het oplossen van bugs en het mitigeren van bias. Echter, bestaande Methoden voor Fout-Slice Ontdekking (SDM's) staan voor een fundamentele beperking: ze vertrouwen doorgaans op aanvullende taalgebaseerde modellen (bijv. CLIP) om uitleg te genereren. Bijgevolg zijn deze uitleggen losgekoppeld van het interne inferentieproces van het geanalyseerde model; ze benaderen de bron van de fout in plaats van deze te onthullen. Deze loskoppeling leidt tot uitleggen die onnauwkeurig, misleidend of bevooroordeeld kunnen zijn door het aanvullende model zelf. Bovendien falen bestaande methoden er vaak in om uit te leggen waarom een falen optreedt in termen van de specifieke concepten waarop het model zich baseert.

Methodologie: CB-SLICE

De auteurs stellen CB-SLICE voor, een op concepten gebaseerde SDM die Concept Bottleneck Models (CBM's) benut om fout-slice ontdekking en bias-uitleg te integreren in één enkel, modelbewust proces. CBM's zijn interpreteerbare architecturen die eerst menselijk begrijpelijke semantische concepten voorspellen (bijv. "donkere huid", "asymmetrie") en vervolgens het uiteindelijke taaklabel voorspellen op basis van deze concepten. CB-SLICE werkt in drie distincte stappen:

1. Filteren van Foutgevoelige Concepten

De methode identificeert eerst een subset van concepten die het meest waarschijnlijk verantwoordelijk zijn voor downstream-foutclassificaties.

• Mechanisme: Het maakt gebruik van de Verwachte Verandering in Doelvoorspelling (ECTP)-score. Voor elk concept $i$ kwantificeert de ECTP-score de verwachte verandering in de downstream-taakverdeling bij interventie op dat concept (door de waarde in te stellen op 0 of 1).
• Proces: De ECTP-score wordt per klasse berekend om onevenwichtigheid te mitigeren. De top-$t_e$ concepten met de hoogste scores voor elke klasse worden geselecteerd om de set van foutgevoelige concepten ($C_{err}$) te vormen. Dit zorgt ervoor dat de daaropvolgende vorming van slices zich uitsluitend richt op concepten die fouten veroorzaken.

2. Vorming van Fout-Slices

Zodra de foutgevoelige concepten zijn geïdentificeerd, cluster de methode foutieve validatiestalen om coherente fout-slices te vormen.

• Representatie: In plaats van kansruimtes te gebruiken, maakt CB-SLICE gebruik van concept-logits ($H$) die beperkt zijn tot de set van foutgevoelige concepten $C_{err}$. Deze logits coderen het vertrouwen van het model en worden goed benaderd door Gaussische verdelingen.
• Clustering: Een Gaussisch Mengselmodel (GMM) wordt getraind om deze logits te clusteren. De objectief functie combineert:
  • GMM-Likelihood ($L_{GMM}$): Om semantische coherentie te waarborgen.
  • Aanvullende Verliezen ($L_{ctrue}$ en $L_{cpred}$): Twee lineaire classifiers voorspellen respectievelijk de ground-truth conceptlabels en de voorspelde conceptlabels op basis van slice-lidmaatschapskansen. Deze verliezen stimuleren dat slices stalen groeperen die dezelfde ware en voorspelde conceptwaarden delen, zodat de slices coherente foutpatronen op conceptniveau vastleggen.
• Output: Een set slices $S = \{S_1, \dots, S_{t_g}\}$.

3. Uitleg van Falingsmodi

Voor elke ontdekte slice identificeert de methode de specifieke concepten die verantwoordelijk zijn voor de vorming ervan.

• Mechanisme: De methode breidt de ECTP-score uit om de Verwachte Verandering in Slice-toewijzing (ECSA) te meten. Het kwantificeert hoe interventie op een specifiek concept de posterior-kans verandert dat een staal tot een specifieke slice behoort.
• Output: De top-$t_k$ concepten met de hoogste ECSA-scores worden geselecteerd als sleutelwoord-concepten voor de slice. De aanwezigheid of afwezigheid van deze concepten wordt bepaald door het gewogen gemiddelde van hun voorspellingen over de leden van de slice.

Prioritering van Slices

Om de onuitvoerbaarheid van het analyseren van alle ontdekte slices aan te pakken, introduceert CB-SLICE een prioriteringsstrategie gebaseerd op een Informativiteitsscore (SI). Deze score combineert:

• Coherentie van Foutvoorspellingen (MC): De consistentie van downstream-taakfoutvoorspellingen binnen een slice.
• Semantische Compactheid (SC): De mate waarin slice-leden geconcentreerd zijn in de ruimte van concept-logits.
• Straffactor: Een factor die zeer kleine slices afwaardeert om ruis te vermijden.

Belangrijkste Bijdragen

1. CB-SLICE Framework: Een nieuwe SDM die ontdekte uitleg-sleutelwoorden direct koppelt aan de interne besluitvormingslogica van het model via CBM's, waardoor de loskoppeling die inherent is aan benaderingen op basis van aanvullende modellen wordt vermeden.
2. Identificatie van Foutgevoelige Concepten: Een principiële methode die ECTP-scores gebruikt om concepten te filteren voor zowel slice-vorming als karakterisering van falingsmodi.
3. Prioritering van Slices: Een strategie om praktijkmensen te leiden naar de meest informatieve slices voor gerichte analyse.
4. Empirische Validatie: Toont consistente verbeteringen ten opzichte van state-of-the-art baselines over meerdere benchmarks.

Experimentele Resultaten

De auteurs evalueerden CB-SLICE op vier datasets met bekende fout-slices: Waterbirds, CelebA, MetaShift en MNIST-Sum. Ze vergeleken CB-SLICE met baselines waaronder Domino, GEORGE, HiBug2, Spotlight en K-Means.

• Herstel van Bekende Biases (Precision@10): CB-SLICE presteerde consequent beter dan alle baselines bij het herstellen van ground-truth fout-slices. Bijvoorbeeld, op de Waterbirds-dataset met een gezamenlijk getrainde CBM behaalde CB-SLICE een Precision@10 van 0,83, wat significant hoger is dan de beste andere methode (Domino met 0,62).
• Alignering van Falingsmodi (MGF): CB-SLICE produceerde slices met een hogere Matched Ground-Truth Group Frequency (MGF), wat aangeeft dat de ontdekte slices homogener waren en specifieke onderliggende falingsmodi trouw vastlegden.
• Fideliteit van Uitleg: Kwalitatieve analyse toonde aan dat CB-SLICE trouwe, model-gegronde uitleggen bood.
  • Voorbeeld: Bij Waterbirds identificeerde CB-SLICE dat foutclassificaties van landvogels op waterachtergronden werden gedreven door systematische foutvoorspellingen van grootte-gerelateerde concepten (bijv. "gemiddelde grootte"), en niet alleen door de achtergrond.
  • Voorbeeld: Bij MNIST-Sum onthulde het een falingsmodus waarbij het cijfer "3" systematisch verkeerd werd gelezen als "2", een nuance die door tekstgebaseerde baselines werd gemist.
• Selectie van Slices: Het artikel toont aan dat de convergentie van de CB-SLICE-verliesfunctie overeenkomt met de stabilisatie van prestatie-metrics, wat een principiële criterium biedt voor het selecteren van het aantal slices zonder ground-truth labels.

Betekenis en Beweringen

Het artikel beweert dat CB-SLICE fout-slice ontdekking herformuleert als een modelbewust proces. Door uitleg te gronden in de representaties die het model daadwerkelijk leert (concept-logits), worden de onnauwkeurigheden en potentiële biases vermeden die worden geïntroduceerd door post-hoc aanvullende modellen.

De auteurs benadrukken dat CB-SLICE onderscheid maakt tussen verschillende falingssoorten:

1. Slices gedreven door systematische foutvoorspellingen van concepten (waarbij de concept-encoder $g$ faalt).
2. Slices die voortkomen uit zeldzame, correct voorspelde conceptcombinaties (waarbij de label-predictor $f$ faalt door gebrek aan trainingsdata voor specifieke conceptdoorsneden).

Het werk positioneert CBM's als een principiële basis voor debugging, en biedt rijkere en trouwere uitleggen van foutbronnen in vergelijking met bestaande methoden. De auteurs merken op dat de effectiviteit van de methode afhankelijk is van de beschikbaarheid van complete en trouwe conceptannotaties, een beperking die inherent is aan de CBM-architectuur zelf.