Uncertainty-aware Language Guidance for Concept Bottleneck Models

Deze paper stelt een nieuwe onzekerheidsbewuste methode voor Concept Bottleneck Models voor die de betrouwbaarheid van door LLM's gegenereerde conceptlabels kwantificeert en deze onzekerheid integreert in het trainingsproces om hallucinaties te verminderen en de interpretatie te verbeteren.

De kern

Stel je voor dat je een zeer slimme, maar soms verwarde assistent hebt die foto's moet herkennen. Deze assistent is een Concept Bottleneck Model (CBM). In plaats van direct te zeggen "dit is een goudvis", denkt de assistent eerst na over de eigenschappen: "heeft het schubben?", "zwemt het in water?", "is het geel?". Pas daarna maakt hij een conclusie. Dit is geweldig omdat we precies kunnen zien waarom hij tot een beslissing komt.

Het probleem is echter: wie vertelt de assistent welke eigenschappen belangrijk zijn? Meestal moeten mensen (experts) dit handmatig uitschrijven. Dat kost enorm veel tijd en geld.

Om dit op te lossen, hebben onderzoekers geprobeerd een AI-assistent (een Large Language Model of LLM) te gebruiken om deze eigenschappen automatisch te bedenken. Maar hier zit een addertje onder het gras: deze AI-assistent is soms "hallucinerend". Hij verzint dingen die er niet zijn (bijvoorbeeld "gele ogen" bij een vis die ze niet heeft) of herhaalt zich.

Deze paper introduceert een nieuwe methode, ULCBM, die twee slimme trucjes gebruikt om dit probleem op te lossen. Laten we het uitleggen met een paar creatieve metaforen:

1. De "Onzekerheids-meter" (Conformal Prediction)

Stel je voor dat de AI-assistent een lijstje met eigenschappen voor een foto maakt. Omdat we niet weten welke van die eigenschappen waar zijn en welke verzonnen, geven we elke eigenschap een onzeerheids-meter.

In plaats van blindelings te vertrouwen op wat de AI zegt, gebruiken we een wiskundig "veiligheidsnet" (gebaseerd op Conformal Prediction).

• De Analogie: Stel je voor dat je een groep vrienden vraagt om de beste kenmerken van een vogel te beschrijven. Sommigen zijn heel zeker, anderen twijfelen. In plaats van alles over te nemen, laten we een "rechter" (ons wiskundige model) de lijst controleren.
• De rechter kijkt naar drie dingen:
  1. Discriminatie: Is deze eigenschap uniek voor deze vogel? (Als "gele ogen" ook bij duiven voorkomen, is het niet uniek genoeg).
  2. Dekking: Hebben we genoeg eigenschappen om het hele plaatje te zien? (Niet alleen de snavel, maar ook de vleugels en de veren).
  3. Verscheidenheid: Herhalen we ons niet? (Als we "donkere veren" en "grijze veren" beide opschrijven, is dat dubbelop).

Deze methode garandeert wiskundig dat we alleen de eigenschappen houden waar we redelijk zeker van zijn, en dat we de "hallucinaties" (de verzonnen dingen) eruit filteren. Het is alsof we een filter gebruiken dat garandeert dat we niet meer dan 20% fouten maken, ongeacht hoe gek de AI-assistent soms is.

2. De "Puzzel-vuller" (Data Augmentation)

Nu we een betrouwbare lijst hebben, ontstaat er een nieuw probleem: sommige goede eigenschappen komen heel weinig voor in de foto's.

• De Analogie: Stel je voor dat je een puzzel maakt, maar voor één specifiek stukje (bijvoorbeeld "witte vleugelpunt") heb je maar één foto in je hele verzameling. Je leert je assistent dan niet goed hoe dat stukje eruitziet. Hij negeert dit stukje en raakt de puzzel verkeerd.

De auteurs lossen dit op met een slimme data-augmentatie (het maken van extra voorbeelden).

• De Analogie: Ze nemen een goed stukje van een andere foto (bijvoorbeeld een foto waar "witte vleugelpunt" wél duidelijk te zien is) en plakken dit voorzichtig op de foto waar het ontbreekt.
• De Belangrijke Regel: Ze plakken het niet zomaar ergens. Ze kijken naar de "onzekerheids-meter". Als er al een ander betrouwbaar stukje op die plek zit, plakken ze het niet daar overheen. Ze zoeken een lege plek waar het past. Zo vullen ze de gaten in hun leerboek zonder de bestaande informatie te verstoren.

Waarom is dit belangrijk?

Zonder deze methode zou de AI-assistent ofwel verward zijn door de verzonnen eigenschappen van de grote taalmodellen, ofwel vergeten worden om te leren van de zeldzame maar belangrijke eigenschappen.

Met ULCBM krijgen we een assistent die:

1. Niet hallucineert: Hij weet wanneer hij het niet zeker weet en houdt die twijfel in zijn berekening.
2. Alles leert: Hij leert ook van de zeldzame eigenschappen door slimme "plakwerk"-technieken.
3. Betrouwbaar is: We weten wiskundig dat de foutmarge binnen de perken blijft.

Kortom: Ze hebben een manier gevonden om de kracht van slimme taal-AI's te gebruiken voor het begrijpen van beelden, zonder dat we hoeven te vertrouwen op hun soms dwaze fantasieën. Het is alsof je een zeer creatieve schrijver (de taal-AI) inhuurt, maar je laat een strenge redacteur (de onzekerheids-meter) en een slimme collage-maker (de data-augmentatie) het werk controleren en verbeteren.

Technische samenvatting

Titel: Uncertainty-aware Language Guidance for Concept Bottleneck Models (ULCBM)

Auteurs: Yangyi Li en Mengdi Huai (Iowa State University)

---

1. Het Probleem

Concept Bottleneck Models (CBM's) zijn een veelbelovende architectuur voor interpreteerbare AI. Ze voorspellen labels door eerst input af te beelden op menselijk begrijpelijke concepten (bijv. "rode veren", "lange snavel") en deze vervolgens te combineren. Hoewel dit transparantie biedt, is de praktische toepassing beperkt door de noodzaak van uitgebreide, handmatige annotaties van deze concepten door experts, wat kostbaar en niet schaalbaar is.

Recente werken proberen dit op te lossen door Large Language Models (LLM's) te gebruiken om concepten automatisch te genereren. Echter, deze benaderingen hebben twee fundamentele tekortkomingen:

1. Gebrek aan onzekerheidskwantificering: LLM's zijn vatbaar voor "hallucinaties" (het genereren van irrelevante of onnauwkeurige concepten). Bestaande methoden behandelen deze LLM-annotaties als deterministische feiten zonder de inherente onzekerheid of het risico van fouten te meten.
2. Verwaarlozing van onzekerheid in het leerproces: Zelfs als onzekerheid wordt opgemerkt, wordt deze niet geïntegreerd in het trainingsproces. Dit leidt tot een verlies van waardevolle supervisie-informatie, vooral wanneer de betrouwbaarheid van concepten varieert. Bovendien kunnen zeldzame, maar betrouwbare concepten worden genegeerd als de data schaars is.

---

2. Methodologie: ULCBM

De auteurs stellen ULCBM (Uncertainty-aware Language Guidance for Concept Bottleneck Models) voor, een raamwerk dat twee hoofdcomponenten combineert: een rigoureuze onzekerheidskwantificering met theoretische garanties en een gerichte data-augmentatiestrategie.

A. Onzekerheidsbewuste Conceptgeneratie met Conformal Prediction

In plaats van LLM-annotaties direct te accepteren, gebruikt ULCBM een proces om betrouwbare concepten te selecteren met distributie-vrije garanties (zonder aanname van i.i.d.-data).

1. Generatie en Grounding:
   • Een LLM genereert kandidaat-concepten voor elke klasse.
   • Een objectdetector (Grounding-DINO) koppelt deze concepten aan bounding boxes in de afbeeldingen.
2. Drie Complementaire Criteria: De kwaliteit van de geselecteerde conceptset wordt beoordeeld aan de hand van drie verliesfuncties:
   • Discriminativiteit: Zorgt ervoor dat de geselecteerde concepten specifiek zijn voor de ware klasse van de afbeelding en niet voor andere klassen.
   • Dekking (Coverage): Zorgt ervoor dat de set concepten het volledige semantische bereik van de klasse dekt (geen ondervertegenwoordiging).
   • Diversiteit: Straft semantische redundantie af (bijv. het voorkomen van synoniemen als "donkergrijze veren" en "allemaal donker veren").
3. Conformal Risk Control (CP):
   • Om de onzekerheid te kwantificeren met garanties, wordt Conformal Prediction toegepast op een kalibratieset.
   • Er wordt een globale drempelwaarde ($\lambda$) berekend die garandeert dat de verwachte waarden van de drie verliesfuncties onder een door de gebruiker gespecificeerd risiconiveau ($\alpha$) blijven.
   • Dit levert een conceptset op die wiskundig bewezen voldoet aan de kwaliteitseisen, zelfs zonder i.i.d.-aannames.

B. Gerichte Data Augmentatie

Na het filteren van concepten kunnen sommige zeldzame maar betrouwbare concepten te weinig trainingsvoorbeelden hebben (data-schaarste).

• Oplossing: Een pipeline die extra trainingsvoorbeelden synthetiseert voor deze zeldzame concepten.
• Methode: Een representatief visueel stukje (patch) van het zeldzame concept wordt uit een bronafbeelding gehaald en in een doelafbeelding geplaatst.
• Veiligheid: De plaatsing wordt strikt geleid door de onzekerheidsdrempel; het nieuwe stukje mag niet overlappen met reeds geaccepteerde, betrouwbare concepten in de doelafbeelding.
• Doel: Dit verhoogt de frequentie van zeldzame concepten in de dataset, zodat het CBM-model deze informatieve signalen effectief kan leren zonder de integriteit van andere concepten te schaden.

C. Training

Het model wordt getraind op de verrijkte dataset met een gecombineerde verliesfunctie:

• Binary Cross Entropy (BCE) voor het voorspellen van de concepten.
• Cross Entropy (CE) voor de uiteindelijke klasclassificatie.
• Elastic-net regularisatie om de modelgewichten te stabiliseren.

---

3. Belangrijkste Bijdragen

1. Formele Onzekerheidskwantificering: De eerste methode die LLM-annotaties voor CBM's valideert met distributie-vrije garanties via Conformal Prediction, wat hallucinaties effectief filtert.
2. Integratie van Onzekerheid in Training: Een nieuwe strategie om de kwantitatieve onzekerheid direct te gebruiken voor gerichte data-augmentatie, waardoor het probleem van schaarse supervisie voor zeldzame concepten wordt opgelost.
3. Theoretische Analyse: Bewijzen dat de gekalibreerde drempelwaarden garanderen dat de verwachte verliezen (discriminativiteit, dekking, diversiteit) binnen de voorgeschreven risicobudgetten blijven.
4. Nieuwe Evaluatiemetric: Introductie van Concept Compliance Accuracy (CCA), die meet hoe vaak een model zowel correct classificeert als een conceptset gebruikt die aan alle kwaliteitscriteria voldoet.

---

4. Resultaten

Experimenten zijn uitgevoerd op drie datasets: CIFAR-10, CIFAR-100 en CUB (Caltech-UCSD Birds).

• Validiteit: De methode slaagt erin om de empirische verliezen onder de gewenste risicobereiken ($\alpha$) te houden. Baselines zoals LaBo en VLG-CBM falen hier vaak (bijv. een discriminativiteitsverlies van 0.99 tegenover de vereiste 0.70).
• Concept Compliance Accuracy (CCA): ULCBM behaalt consistent de hoogste CCA, wat aangeeft dat een groter percentage van de testvoorbeelden correct wordt geclassificeerd en voldoet aan de kwaliteitseisen voor concepten, ongeacht het aantal gebruikte concepten.
• Testnauwkeurigheid:
  • ULCBM met data-augmentatie overtreft de baselines in zowel algemene nauwkeurigheid als slechtste-klasse nauwkeurigheid (worst-class accuracy).
  • Op de CUB-dataset bereikte ULCBM 75.5% algemene nauwkeurigheid (tegenover 74.4% voor VLG-CBM) en 25.0% voor de slechtste klasse (tegenover 20.0% voor VLG-CBM en 16.7% voor LaBo).
  • De data-augmentatie bleek cruciaal: het model zonder augmentatie scoorde aanzienlijk lager op de slechtste klasse, wat de effectiviteit van het aanpakken van data-schaarste bevestigt.

---

5. Betekenis en Conclusie

Dit werk is significant omdat het de kloof overbrugt tussen de schaalbaarheid van LLM's en de betrouwbaarheid die nodig is voor hoog-risico toepassingen. Door onzekerheid niet alleen te meten maar ook actief te gebruiken om het trainingsproces te sturen, biedt ULCBM een robuustere en betrouwbaardere interpretatie dan eerdere methoden. Het stelt onderzoekers en praktici in staat om CBM's in te zetten zonder afhankelijk te zijn van dure handmatige annotaties, terwijl het risico van fouten door LLM-hallucinaties wordt geminimaliseerd met wiskundige garanties.