Assessing Alignment and Stability of Feature Importance Explanations via Weight of Evidence
Dit artikel introduceert een nieuw raamwerk dat Feature Importance-methoden inbedt binnen een op Weight of Evidence gebaseerd hypothese-toetsingsparadigma om een principiële, op bewijs gebaseerde evaluatie te bieden van de afstemming van verklaringen met voorkennis en hun stabiliteit over verschillende referentiehypothesen heen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van kunstmatige intelligentie bestaat een hardnekkige spanning tussen hoe snel machines leren en hoe goed mensen hen begrijpen. We hebben systemen gebouwd die in staat zijn om ziekten te diagnosticeren, aandelenmarkten te voorspellen en gezichten te herkennen, maar de interne logica van deze systemen blijft vaak een zwarte doos. Om deze kloof te overbruggen, hebben wetenschappers hulpmiddelen ontwikkeld die bekend staan als 'feature importance'-methoden. Dit zijn vergelijkbaar met zoeklichten die schijnen op de specifieke stukjes informatie die een computer gebruikte om een beslissing te nemen, waardoor ons wordt verteld welke factoren het belangrijkst waren. Het weten welke factoren werden uitgelicht, is echter niet hetzelfde als weten of het zoeklicht in de juiste richting wijst. Een methode kan consequent dezelfde kenmerken uitlichten, maar als die kenmerken irrelevant zijn voor het werkelijke probleem, dan is de uitleg misleidend. De uitdaging is daarom niet alleen het genereren van een uitleg, maar het verifiëren van de betrouwbaarheid en stabiliteit ervan.
Een team onderzoekers heeft deze verificatieproblematiek aangepakt door de uitleg zelf te behandelen als een toetsbare stelling. In plaats van simpelweg een lijst met belangrijke kenmerken als een feit te accepteren, frameerden zij de uitleg als een hypothese — een bewering over wat de beslissing heeft gedreven — en gebruikten zij vervolgens een statistisch instrument dat bekend staat als de 'weight of evidence' (het gewicht van het bewijs) om te zien hoe sterk de data die bewering ondersteunt. Dit instrument, geleend uit de informatietheorie, meet hoeveel een stuk bewijs onze overtuiging in de ene richting versus de andere richting verschuift. In deze context is het "bewijs" het gedrag van het uitleginstrument wanneer het herhaaldelijk aan dezelfde situatie wordt gevraagd. Door het instrument herhaaldelijk te draaien, konden de onderzoekers observeren of het consequent naar dezelfde kenmerken wees of dat de antwoorden willekeurig afweken. Als het instrument stabiel en correct is, zou het bewijs de hypothese sterk moeten ondersteunen dat de uitgelichte kenmerken inderdaad de kenmerken zijn die er toe doen.
De onderzoekers pasten dit kader toe op twee populaire uitleginstrumenten, bekend als LIME en SHAP, waarbij ze deze testten tegen verschillende standaarden van waarheid. In één scenario vergeleken ze de antwoorden van de instrumenten met gevestigde menselijke kennis over de ramp met de Titanic, waarbij historische verslagen bevestigen dat geslacht en passagiersklasse de beslissende factoren waren voor overleving. Wanneer de instrumenten werden gevraagd om overlevingsvoorspellingen uit te leggen, vonden de onderzoekers dat LIME in 27 van de 50 gevallen een perfecte afstemming vertoonde, terwijl SHAP, ondanks dat het deterministisch is, een verdeeld beeld liet zien: het stemde in 23 gevallen perfect overeen, maar faalde volledig in de afstemming in 27 andere gevallen, waarbij het wees naar kenmerken buiten de bekende kritieke factoren. Dit onthulde dat zelfs wanneer een instrument lijkt te werken, het in specifieke regio's van de data kan falen, wat wijst op een disconnect tussen lokale verklaringen en globale waarheden.
In een ander experiment creëerden het team een synthetische omgeving waarin zij precies wisten welke kenmerken relevant waren en welke slechts ruis vormden. Ze trainden een model op deze data en vroegen de uitleginstrumenten vervolgens om de belangrijke factoren te identificeren. Ze ontdekten een contra-intuïtief patroon: wanneer de data licht ruisachtig was, leken de instrumenten soms beter afgestemd op de werkelijke onderliggende feiten dan op de eigen interne logica van het model. Dit suggereerde dat het model zelf had geleerd om op de ruis te vertrouwen, en dat het uitleginstrument getrouw die gebrekkige gedragingen rapporteerde. Het 'weight of evidence'-kader stelde hen in staat om exact aan te wijzen waar de pijplijn faalde, waarbij onderscheid werd gemaakt tussen fouten in de data, fouten in het model en fouten in het uitleginstrument.
Ten slotte testten de onderzoekers de instrumenten zonder enige externe referentie, door simpelweg te vragen of de instrumenten consistent waren met zichzelf. Ze draaiden de instrumenten vele malen op dezelfde data en maten hoe vaak de lijst met belangrijke kenmerken hetzelfde bleef. Ze ontdekten dat wanneer de instrumenten zeer vergelijkbare lijsten produceerden bij verschillende runs, het statistische gewicht van het bewijs extreem hoog werd, wat de stabiliteit van het instrument effectief bevestigde. Omgekeerd, wanneer de lijsten van de ene naar de andere run wild veranderden, daalde het gewicht van het bewijs, wat signaleerde dat de uitleg onbetrouwbaar was. Dit bevestigde een theoretische voorspelling dat de stabiliteit van een uitleg direct verbonden is met de sterkte van het bewijs dat het ondersteunt.
De studie concludeert dat deze statistische benadering een nieuwe, rigoureuze manier biedt om te evalueren hoeveel vertrouwen we in de uitleg van kunstmatige intelligentie kunnen stellen. Het vertelt ons niet alleen wat de computer belangrijk vindt; het vertelt ons hoe zeker we moeten zijn van dat antwoord. Door de afstemming tussen een uitleg en bekende waarheden te kwantificeren, of door de interne consistentie van de uitleg zelf te meten, biedt deze methode een helderdere lens om naar het redeneren van complexe machines te kijken. De onderzoekers suggereren dat dit kader kan worden aangepast aan diverse situaties, of het nu gaat om controle tegen expertkennis, verificatie tegen de grondwaarheid, of simpelweg het waarborgen dat een instrument niet telkens een ander antwoord geeft wanneer er om dezelfde vraag wordt gevraagd.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.