Technische Samenvatting: Verklarende Conceptgeneratie door Vision-Language Preference Learning

Probleemstelling

Het begrijpen van de interne representaties van diepe neurale netwerken (DNN's) is cruciaal voor modelverbetering en de beoordeling van regelgeving. Hoewel conceptgebaseerde uitlegmethoden, zoals Testing with Concept Activation Vectors (TCAV), menselijk interpreteerbare inzichten bieden door hoogwaardige visuele concepten (bijv. "strepen") te koppelen aan modelbeslissingen, lijden zij onder een significante bottleneck: handmatige conceptcuratie.

Bestaande benaderingen vereisen dat beoefenaars handmatig kandidaat-conceptafbeeldingen raden en verzamelen. Dit proces is arbeidsintensief, gevoelig voor het over het hoofd zien van kritieke concepten en beperkt door menselijke cognitieve vooroordelen. Bovendien falen alternatieve "retrieval"-methoden die concepten direct uit testafbeeldingen extraheren (bijv. via segmentatie) vaak in het vastleggen van hoogwaardige abstracties; ze hebben de neiging om patches van de doelklasse te produceren (bijv. een patch van een zebra) in plaats van de onderliggende kenmerken (bijv. strepen) die de classificatie aansturen. Er is een gebrek aan geautomatiseerde methoden die in staat zijn om diverse, hoogwaardige concepten te genereren die er echt toe doen voor het besluitvormingsproces van een specifieke DNN zonder menselijke tussenkomst.

Methodologie: Reinforcement Learning-gebaseerde Preference Optimization (RLPO)

De auteurs stellen RLPO voor, een framework dat de creatie van conceptsets herdefinieert als een beeldgeneratieprobleem. In plaats van afbeeldingen te extraheren of handmatig te cureren, gebruikt RLPO een generatief model dat wordt gestuurd door deep reinforcement learning om conceptafbeeldingen te synthetiseren die de TCAV-scores maximaliseren.

Kerncomponenten

1. Generatief Model (Stable Diffusion): Het systeem maakt gebruik van een vooraf getraind tekst-naar-beeld model (Stable Diffusion v1-5) om conceptafbeeldingen te genereren op basis van tekstprompts.
2. Deep Reinforcement Learning (DQN): Een Deep Q-Network (DQN) beheert het generatieproces.
   • Actie ($a_t$): Het selecteren van een seed-prompt uit een vooraf gedefinieerde lijst (geëxtraheerd via een Vision-Question Answering model).
   • Toestand ($s_t$): De geprefereerde conceptafbeeldingen gegenereerd uit de vorige prompt.
   • Beloning ($r_t$): Berekend op basis van de TCAV-scores van de gegenereerde afbeeldingen.
3. Preference Optimization (RLPO): In tegenstelling tot standaard preference optimization die vertrouwt op menselijke rangschikking, gebruikt RLPO TCAV-scores als het preferentiesignaal. Het systeem vergelijkt twee groepen gegenereerde afbeeldingen ($G_1$ en $G_2$); de groep met de hogere TCAV-score wordt verkozen.
4. Fine-Tuning via LoRA: Om het generatieve model te sturen naar het produceren van meer relevante concepten, gebruikt het systeem Low-Rank Adaptation (LoRA). De gewichten van het Stable Diffusion model worden bijgewerkt ($w_{t+1} \leftarrow w_t + \lambda ab$) op basis van de preference feedback, waardoor het model iteratief wordt verfijnd om specifieke neurale netwerkactivaties te triggeren.
5. Dynamische Beloningsschaling: Een schaleringsfactor $\xi_t$ wordt geïntroduceerd om beloningen in de loop van de tijd aan te passen, zodat de agent passende feedback ontvangt terwijl hij vordert van "proxy states" (lage TCAV) naar "explainable states" (hoge TCAV).

Belangrijkste Bijdragen

1. Geautomatiseerde Conceptgeneratie: Het artikel introduceert RLPO, een methode om automatisch concepten te "genereren" die relevant zijn voor het besluitvormingsproces van een neuraal netwerk, waardoor de noodzaak voor handmatig raden of retrieval wordt omzeild.
2. Ontdekking van Niet-Intuïtieve Concepten: De methode identificeert succesvol diverse concepten die moeilijk zijn voor mensen of retrieval-gebaseerde methoden te voorzien (bijv. achtergrondelementen zoals "modder" of "rennende" bomen voor een zebra-classifier, niet alleen "strepen").
3. Uitgebreide Validatie: De auteurs leveren zowel kwalitatieve als kwantitatieve bewijzen (computationele metrieken en menselijke enquêtes) die aantonen dat RLPO effectief de interne netwerkrepresentaties onthult.
4. Modulariteit en Generaliseerbaarheid: Het framework is ontworpen om modulair te zijn, waardoor componenten zoals het generatieve model kunnen worden vervangen. De auteurs demonstreren de toepasbaarheid ervan buiten computer vision, door het uit te breiden naar NLP sentimentanalyse-taken.

Experimentele Resultaten

De methode werd geëvalueerd op meerdere classifiers (GoogleNet, InceptionV3, ViT, Swin) getraind op ImageNet, evenals een ResNet-18 op de CelebA-dataset en een TextCNN op IMDB.

• Zoekstrategie: RLPO presteerde beter dan $\epsilon$-greedy zoekstrategieën, waarbij het een hogere entropie en betere exploratie van de actieruimte vertoonde (Tabel 1).
• Scoringmechanisme: Het gebruik van TCAV voor preference feedback (RLPO-XAIF) bleek superieur aan menselijke feedback (RLPO-HF) en AI-feedback (RLPO-AIF) wat betreft uitvoeringstijd en computationele kosten, terwijl het model-specifieke verklaringen bood (Tabel 2).
• Conceptdiversiteit en Nieuwigheid:
  • Exploratiekloof (EG): Menselijke enquêtes toonden een significante kloof tussen concepten die mensen konden identificeren en die gegenereerd door RLPO. Voor leken was de EG 91,54% voor RLPO versus 6,54% voor retrieval-methoden, wat aangeeft dat RLPO concepten vindt die mensen niet typisch overwegen (Tabel 3).
  • Diversiteit: Gegenereerde concepten vertoonden een lagere cosinusgelijkenis en een hogere Euclidische afstand vergeleken met retrieval-gebaseerde methoden, wat bevestigt dat ze abstracte kenmerken vertegenwoordigen in plaats van afbeeldingpatches (Tabel 4).
• Validatie:
  • C-Deletion: Het verwijderen van gegenereerde concepten (bijv. "strepen") uit invoerafbeeldingen veroorzaakte een significante daling in de modelnauwkeurigheid, wat hun belang valideert (Fig. 6).
  • Nut voor Engineers: In een studie met 19 ML-engineers stemde 94,7% ermee in dat RLPO-verklaringen hen hielpen het model beter te begrijpen, en 84,2% vond nieuwe inzichten. Engineers misten vaak concepten (zoals "rennen" of "modder") die RLPO als belangrijk identificeerde.
• Bias Detectie: Toegepast op een "Blonde" versus "Niet Blonde" classifier, onthulde RLPO dat het model zwaar leunde op "vrouwelijk gezicht" concepten, wat de genderbias in de trainingsdata benadrukte.
• NLP-Generalisatie: Het framework werd succesvol aangepast om woordsynoniemen voor sentimentanalyse te genereren, wat de cross-domein toepasbaarheid aantoont.

Betekenis en Claims

Het artikel claimt dat RLPO de fundamentele beperking van huidige conceptgebaseerde XAI-methoden aanpakt: de afhankelijkheid van menselijke intuïtie voor conceptselectie. Door conceptcreatie te formuleren als een generatieprobleem dat wordt geoptimaliseerd via reinforcement learning, laten de auteurs zien dat het mogelijk is om automatisch diverse, hoogwaardige concepten te articuleren die de beslissingen van neurale netwerken aansturen.

De auteurs positioneren dit werk als een instrument voor:

1. Verbeteren van Modellen: Engineers kunnen gegenereerde concepten gebruiken (bijv. het identificeren dat een model zich richt op achtergrond "wazige" texturen voor tijgers) om modellen te finetunen en de afhankelijkheid van spurieuze correlaties te verminderen.
2. Begrijpen van Bias: De methode kan ongewenste biases onthullen die tijdens de training zijn geleerd en die niet direct zichtbaar zijn voor menselijke waarnemers.
3. Generaliseerbaarheid: De aanpak is niet beperkt tot visie; het kan worden aangepast aan andere modaliteiten zoals NLP.

De auteurs erkennen beperkingen, waarbij zij opmerken dat de kwaliteit van gegenereerde concepten afhangt van de initiële seed-prompts en de pre-training data van het generatieve model, wat eigen biases kan introduceren. Zij suggereren dat toekomstig werk de integratie van voorkeuren van domeinexperts zou kunnen omzetten om gegenereerde verklaringen verder af te stemmen op specifieke toepassingsbehoeften.