Identifying Confusion Trends in Concept-based XAI for Multi-Label Classification
Dit artikel evalueert conceptgebaseerde Explainable AI (CXAI)-methoden, specifiek CRP en CRAFT, op diepe neurale netwerken getraind voor multi-label classificatie met de MS-COCO-dataset, waarbij wordt aangetoond dat deze technieken effectief zwakheden in het leerproces van het model identificeren, laten zien hoe conceptdistinctiviteit verwarring vermindert en dataset-geïnduceerde biases blootleggen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van de moderne kunstmatige intelligentie zijn computers bijzonder goed geworden in het bekijken van afbeeldingen en het benoemen van wat ze zien. Ze kunnen een hond, een auto of een persoon identificeren met een nauwkeurigheid die vaak het menselijk gezichtsvermogen overtreft. Toch hebben deze systemen voor het vertrouwen in scenario's met hoge inzet, zoals zelfrijdende auto's of medische diagnoses, meer nodig dan alleen een correct antwoord; we moeten begrijpen hoe de machine tot die conclusie is gekomen. Dit is het domein van uitlegbare AI (explainable AI), een veld dat zich wijdt aan het openen van de 'black box' van diepe neurale netwerken. Binnen dit veld is een specifieke benadering genaamd concept-gebaseerde uitlegbaarheid ontstaan. In plaats van simpelweg de pixels te markeren die het belangrijkst waren, probeert deze methode de betekenisvolle ideeën of "concepten" te identificeren die de computer heeft geleerd te herkennen. Het vraagt niet alleen waar de computer naar kijkt, maar ook wat hij denkt te zien. De uitdaging ontstaat wanneer deze systemen opereren in complexe, echte omgevingen waar objecten overlappen, achtergronden rommelig zijn en één enkele afbeelding veel verschillende dingen bevat. In dergelijke scenario's kunnen zelfs zeer nauwkeurige modellen subtiele fouten maken, waarbij ze het ene object met het andere verwarren of vertrouwen op misleidende achtergrondaanwijzingen.
Onderzoekers aan de Technische Universiteit Dresden zetten zich in om deze verwarringspatronen te onderzoeken door twee bekende computervisiemodellen, ResNet50 en VGG-16, te trainen op een enorme collectie afbeeldingen die bekend staat als MS-COCO. Deze dataset bevat meer dan honderdduizend foto's van alledaagse scènes, elk voorzien van meerdere labels om de verschillende aanwezige objecten te beschrijven. Het team richtte hun studie op de twintig meest frequent voorkomende objecten in deze afbeeldingen, zoals mensen, auto's en stoelen. Om een eerlijke test te garanderen, trainden ze de modellen tot verschillende niveaus van prestatie, waardoor scenario's ontstonden waarin de computers ofwel zeer accuraat waren, ofwel aanzienlijk moeite hadden. Vervolgens pasten ze twee verschillende methoden toe voor het genereren van verklaringen: één die de belangrijkheid van specifieke kenmerken volgt en een andere die afbeeldingen opdeelt in kleinere, gefocuste regio's. Door de uiteindelijke voorspellingen van de computer te vergelijken met de interne concepten die hij gebruikte om die beslissingen te nemen, kon het team precies zien waar de modellen in de war raakten.
De onderzoeksresultaten toonden aan dat wanneer een model moeite heeft om tussen twee vergelijkbare objecten te differentiëren, de verwarring niet willekeurig is; het is geworteld in de specifieke concepten die de computer heeft geleerd. In gevallen waarin de modellen goed presteerden, waren de interne concepten scherp en duidelijk, waarbij ze een persoon duidelijk scheidden van een auto of een stoel. Echter, wanneer de modellen slecht presteerden, werden de concepten modderig en overlappend. De computer begon te vertrouwen op gedeelde kenmerken die niet uniek waren voor een enkel object, wat leidde tot fouten. Zo toonde de studie aan dat een model een persoon met een rugzak kan verwarren, niet omdat het de persoon niet kan zien, maar omdat het heeft geleerd het concept "persoon" sterk te associëren met de visuele patronen van een rugzak, simpelweg omdat ze zo vaak samen voorkomen in de trainingsdata. Dit suggereert dat de verwarring voortkomt uit het feit dat het model spuriose verbanden leert in plaats van de ware identiteit van het object.
Een belangrijke bevinding van het onderzoek is dat de helderheid van deze interne concepten direct correleert met het vermogen van het model om fouten te vermijden. Wanneer de concepten die de computer leerde onderscheidend en uniek waren voor hun specifieke klasse, daalde het aantal verwarringen aanzienlijk. Daarentegen, wanneer de concepten vaag waren of te veel informatie deelden met andere klassen, maakte het model meer fouten. De onderzoekers maten deze "onderscheidendheid" en stelden vast dat modellen met hogere scores voor onderscheidendheid minder gevallen van het verkeerd identificeren van objecten hadden. Dit geeft aan dat de weg naar betere kunstmatige intelligentie niet alleen ligt in het vaker krijgen van het juiste antwoord, maar in het waarborgen dat de computer kenmerken leert die werkelijk uniek zijn voor elk object, in plaats van te vertrouwen op gemeenschappelijke achtergrondpatronen.
De studie bracht ook in kaart hoe de omgeving zelf de computer kan misleiden. In veel afbeeldingen uit de echte wereld verschijnen bepaalde objecten zo frequent samen dat de computer begint te geloven dat ze deel uitmaken van hetzelfde ding. Bijvoorbeeld, in een dataset van treinstations kan de computer leren een "persoon" te herkennen door te zoeken naar het perron of de trap, omdat mensen in de trainingsfoto's bijna altijd op die structuren staan. Wanneer de onderzoekers het model testten op nieuwe afbeeldingen, identificeerde het een persoon zelfs als die persoon op een ander oppervlak stond, simpelweg omdat de achtergrond overeenkwam met wat het geleerd had. Deze "omgevingsconcepten" fungeren als verborgen biases, waarbij het model vertrouwt op de setting in plaats van op het object zelf. Dit was bijzonder evident in een dataset voor autonoom treinrijden, waar de verklaringen van het model lieten zien dat het gefixeerd was op de rails en perrons in de achtergrond in plaats van op de mensen zelf.
Uiteindelijk demonstreert het werk dat concept-gebaseerde verklaringen krachtige instrumenten zijn voor het diagnosticeren van waarom een model faalt. Door naar de concepten te kijken die een computer gebruikt, kunnen onderzoekers zien of een model de juiste dingen leert of dat het wordt misleid door de manier waarop de data is verzameld. De bevindingen suggereren dat om robuustere systemen te bouwen, we voorzichtig moeten zijn met de data die we hen voeden, door te zorgen dat deze divers genoeg is om deze misleidende associaties te voorkomen. Als een model leert een persoon alleen te herkennen wanneer die in de buurt van een auto is, zal het falen wanneer die persoon in een park is. De studie bevestigt dat het verbeteren van de onderscheidendheid van geleerde concepten en het verminderen van de afhankelijkheid van omgevingskenmerken essentiële stappen zijn naar het creëren van kunstmatige intelligentie die vertrouwd kan worden in de complexe, onvoorspelbare echte wereld.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.