Statistical Aspects of SHAP: Functional ANOVA for Model Interpretation

Stel je voor dat je probeert uit te zoeken waarom een magische kristallen bol een specifieke voorspelling heeft gedaan. Misschien vertelde de bol je dat je een A zou halen voor je wiskundetoets, of dat een leningaanvraag werd afgewezen. In de wereld van de informatica wordt dit "machine learning" genoemd, en de kristallen bol is een complex algoritme dat heeft geleerd beslissingen te nemen door naar duizenden aanwijzingen, of "features", te kijken. Maar hier komt het lastige deel bij: deze algoritmen zijn vaak zo ingewikkeld dat zelfs hun makers niet gemakkelijk kunnen uitleggen waarom ze een specifieke keuze hebben gemaakt. Het is als een zwarte doos. Om dit op te lossen, hebben wetenschappers hulpmiddelen ontwikkeld om in de doos te gluren en een "score" toe te kennen aan elke aanwijzing, die aangeeft hoeveel die specifieke aanwijzing heeft bijgedragen aan het uiteindelijke antwoord. Een van de populairste hulpmiddelen hiervoor is genaamd SHAP. Het is gebaseerd op een oud idee uit de speltheorie genaamd de "Shapley-waarde", wat in essentie een eerlijke manier is om een prijs te verdelen onder een team van spelers op basis van hoeveel elk persoon het team heeft geholpen om te winnen. De grote vraag die onderzoekers zich hebben gesteld is: Hoe berekenen we deze scores eerlijk wanneer er honderden aanwijzingen zijn, en hoe bepalen we wat "normaal" is voor een vergelijking?

Dit artikel, geschreven door Andrew Herren, P. Richard Hahn en Rafael Alcantara, duikt diep in de wiskunde achter SHAP om te zien hoe het echt werkt. De auteurs behandelen het probleem als een enorme puzzel en leggen de verbanden tussen de verklaarbaarheid van machine learning en een veld genaamd "sensitiviteitsanalyse", dat wordt gebruikt in de natuurkunde en techniek om te zien hoe het veranderen van inputs de outputs beïnvloedt. Ze ontdekken dat SHAP eigenlijk iets heel vergelijkbaars doet als een statistische techniek genaamd "Functionele ANOVA", die een complexe functie afbreekt in kleinere, hanteerbare stukjes—zoals het scheiden van een smoothie in de individuele vruchten om te zien hoeveel suiker elk stukje fruit toevoegt. Het artikel suggereert dat de grootste hoofdpijn waar mensen tegen aan lopen bij het gebruik van SHAP voortkomt uit twee belangrijke keuzes: het beslissen welke "baseline" of referentiepunt gebruikt moet worden voor de vergelijking (zoals vragen: "Vergeleken met wat?") en het beslissen hoeveel van de miljarden mogelijke combinaties van aanwijzingen men daadwerkelijk moet controleren.

De auteurs betogen dat hoewel SH way een krachtig hulpmiddel is, het geen toverstaf is die alles automatisch oplost. Ze laten zien dat de antwoorden die je krijgt sterk afhangen van de distributie van de data die je kiest als achtergrondreferentie. Als je bijvoorbeeld een specifieke voorspelling vergelijkt met een "enkele baseline" (zoals één gemiddeld persoon), kun je een heel ander resultaat krijgen dan wanneer je het vergelijkt met een "gecorreleerde baseline" (waarbij kenmerken die normaal gesproken samenhangen, ook samen blijven). In hun simulaties ontdekten ze dat het gebruik van een gecorreleerde baseline de scores drastisch kan veranderen, waarbij soms zelfs de belangrijkheid van een kenmerk volledig wordt omgedraaid. Ze verkennen ook hoe men omgaat met het feit dat het controleren van elke enkele combinatie van kenmerken onmogelijk is wanneer je er duizenden hebt. Ze suggereren dat we, in plaats van blindelings alles te controleren, slimme bemonsteringsmethoden kunnen gebruiken—zoals eerst zoeken naar de belangrijkste "low-order" interacties—om een goed genoeg antwoord te krijgen zonder eeuwig te hoeven wachten.

Uiteindelijk beweert het artikel niet dat het de ene perfecte manier heeft gevonden om SHAP te gebruiken. In plaats daarvan verheldert het de technische beslissingen die gebruikers maken, vaak zonder het te beseffen, wanneer ze de software draaien. De auteurs suggereren dat de verbinding tussen het verklaren van AI-modellen en sensitiviteitsanalyse een fascinerende een is die in de toekomst kan leiden tot betere methoden. Ze waarschuwen echter dat er niet één "juiste" Shapley-waarde is voor elke situatie; het "juiste" antwoord hangt af van wat voor vraag je probeert te beantwoorden en wat voor soort achtergronddata je kiest om tegenover te vergelijken. Dus, hoewel SHAP ons helpt om in de zwarte doos te gluren, herinnert het artikel ons eraan dat we nog steeds voorzichtig moeten zijn met hoe we het licht dat we zien interpreteren.