Diagnosing Causal Credibility of Machine Learning Explanations: A Dual- SHAP Attribution Framework Applied to Social Survey Data

In de moderne studie van menselijk gedrag vertrouwen onderzoekers steeds vaker op krachtige computerprogramma's om patronen te vinden in enorme hoeveelheden enquêtegegevens. Deze machine learning-modellen zijn uitstekend in het opsporen van complexe verbanden die traditionele statistiek wellicht mist, zoals hoe het inkomen, de leeftijd en de woonplaats van een persoon gecombineerd kunnen doorwerken in hun sociale gewoonten. Deze modellen zijn echter vaak opaak; ze kunnen een uitkomst met hoge nauwkeurigheid voorspellen, maar bieden geen duidelijke verklaring voor het waarom. Om dit op te lossen, gebruiken wetenschappers een hulpmiddel genaamd SHAP, dat fungeert als een spotlight die benadrukt welke factoren een model het belangrijkst vond bij het doen van een voorspelling. Het probleem is dat deze spotlight vaak twee zeer verschillende dingen verwart: een werkelijke oorzaak-gevolgrelatie en een louter toevalligheid. Alleen omdat twee dingen samen voorkomen, betekent niet dat het ene het andere heeft veroorzaakt. Zo zou een model bijvoorbeeld "leeftijd van de echtgenoot" kunnen aanwijzen als een belangrijke reden voor het internetgebruik van een persoon, niet omdat de leeftijd van de echtgenoot direct invloed heeft op hoe vaak die persoon online gaat, maar simpelweg omdat echtgenoten vaak een vergelijkbare leeftijd hebben, en leeftijd zelf een sterke drijfveer is voor technologiegebruik. Het onderscheiden van deze echte oorzaken en misleidende correlaties is essentieel voor sociale wetenschappers die menselijk gedrag willen begrijpen in plaats van alleen maar voorspellen.

Een nieuwe studie door Shidong Li van de North University of China pakt deze verwarring frontaal aan door een rigoureus diagnostisch kader toe te passen op real-world sociale enquêtegegevens. De onderzoeker analyseerde reacties uit de 2023 Chinese General Social Survey, een enorme dataset die bijna 4.800 mensen uit vierendertig provincies vertegenwoordigt. Het doel was om achttien verschillende aspecten van het sociale leven te testen, variërend van hoe vaak mensen vrienden bezoeken tot hun vertrouwen in vreemden en hun mediaconsumptie. In plaats van de standaardverklaringen van een enkel computermodel te accepteren, maakte de studie gebruik van een "dual-SHAP"-benadering. Deze methode vergelijkt twee verschillende manieren om belangrijkheid te berekenen. De eerste methode bekijkt de gegevens zoals ze van nature bestaan, waarbij alle bestaande links tussen variabelen behouden blijven. De tweede methode verbreekt die links kunstmatig, door te vragen wat er met een voorspelling zou gebeuren als een specifieke factor zou veranderen terwijl de rest onafhankelijk blijft. Door de resultaten van deze twee methoden te vergelijken, kon de studie een "geloofwaardigheidsscore" voor elke factor berekenen. Een hoge score betekent dat het belang van de factor standhoudt zelfs wanneer correlaties worden doorbroken, wat wijst op een directe causale link. Een lage score geeft aan dat de factor waarschijnlijk slechts meelifte op de coattails van een andere, invloedrijkere variabele.

De onderzoekingen begonnen met het scannen van de achttien sociale gedragingen om te zien welke betrouwbaar voorspeld konden worden door de beschikbare gegevens. Van de oorspronkelijk tweeëntwintig overwogen gedragingen bleken er achttien voorspelbaar genoeg om verder te analyseren, terwijl vier andere, zoals de frequentie van vrijwilligersactiviteiten, te grillig waren om effectief te modelleren. Onder de achttien die overbleven, testte de studie vijf verschillende soorten machine learning-algoritmen om te zien welk algoritme het beste presteerde voor elk specifiek gedrag. De resultaten daagden een algemene aanname in het vakgebied uit: dat één specifiek algoritme, bekend als XGBoost, de universele kampioen is voor alle taken. In plaats daarvan toonde de studie aan dat geen enkel model het hele landschap domineert. Een model genaamd RandomForest was de beste presteerder voor tien van de achttien uitkomsten, wat gebieden beslaat zoals sociale interactie en mediagebruik. Andere modellen, waaronder Ridge regressie, LightGBM en GradientBoosting, bleken echter superieur voor specifieke uitkomsten zoals algemeen sociaal vertrouwen of het lezen van kranten. Deze bevinding suggereert dat de keuze van een computermodel geen minder belangrijke technische details zijn, maar een substantiële beslissing die de conclusies die onderzoekers trekken over wat menselijk gedrag aandrijft, fundamenteel vormgeeft.

Zodra het beste model voor elk gedrag was geselecteerd, beperkte de studie de lijst van potentiële oorzaken van dertigven acht voorspellers tot tweeënentwintig sleutelfactoren. Dit selectieproces gebruikte de SHAP-tool zelf om variabelen te filteren die een minimale bijdrage leverden aan het totale beeld, zoals het aantal dochters dat iemand heeft of specifieke houdingen tegenover genderrollen. De resterende tweeënentwintig factoren bevatten demografische gegevens zoals leeftijd en inkomen, evenals houdingen ten aanzien van sociale rechtvaardigheid en taalvaardigheid. Leeftijd kwam als de meest dominante voorspeller naar voren over de hele linie, gevolgd door persoonlijk inkomen en taalvaardigheid. Met deze sleutelfactoren geïdentificeerd, paste de onderzoekers het dual-SHAP-kader toe om de geloofwaardigheid van de invloed van elke factor te berekenen. Ze vonden dat de gemiddelde geloofwaardigheidsscore over alle relaties 0,727 was, wat aangeeft dat hoewel veel factoren een directe invloed hebben, een aanzienlijk deel van het belang dat door standaardmodellen wordt toegewezen, wordt opgeblazen door correlaties.

De studie onthulde een breed spectrum van betrouwbaarheid. Sommige factoren, zoals de perceptie van een persoon over sociale rechtvaardigheid of politieke opvattingen over migratie, vertoonden hoge geloofwaardigheidsscores, wat betekent dat hun invloed op sociale uitkomsten robuust en waarschijnlijk causaal is. In contrast hiermee vertoonden factoren zoals de leeftijd van een echtgenoot of de duur van een huwelijk vaak lage of zelfs negatieve geloofwaardigheid wanneer hun verbinding met de eigen leeftijd van de respondent werd doorbroken. Bijvoorbeeld, toen de studie een scenario simuleerde waarin de leeftijd van de echtgenoot onafhankelijk van de leeftijd van de respondent werd gewijzigd, verdween de schijnbare invloed van de leeftijd van de echtgenoot op internetgebruik of keerde zelfs van richting om. Dit diende als een duidelijke waarschuwing dat het oorspronkelijke model een correlatie voor een oorzaak had aangezien. De onderzoekers stelden een drempelwaarde vast om de interpretatie van deze scores te helpen: zij suggereerden dat een score van 0,80 of hoger een sterke indicator moet zijn van een primair causale relatie. Gebruikmakend van deze standaard, kwalificeerden slechts ongeveer veertig procent van de factor-gedragparen als primair causaal. Als de drempel werd verlaagd naar een meer laconieke 0,50, voldeed bijna drieënnegentig procent van de paren aan de criteria, maar de onderzoekers voerden aan dat de striktere standaard noodzakelijk is om niet misleid te worden door toevallige patronen.

Om te garanderen dat deze bevindingen geen statistische artefacten waren, voerde de studie een laatste controle uit door real-world veranderingen te simuleren. Ze vroegen zich af wat er zou gebeuren met het voorspelde gedrag van een persoon als een specifieke factor, zoals inkomen of leeftijd, met een standaard hoeveelheid zou toenemen. De resultaten waren consistent met het gezond verstand en de gevestigde sociale wetenschappen. Bijvoorbeeld, het verhogen van de leeftijd van een persoon in de simulatie leidde tot een voorspelde afname van het internetgebruik, wat de bekende digitale kloof weerspiegelt waarbij oudere volwassenen technologie minder frequent gebruiken. Op dezelfde manier leidde het verhogen van het persoonlijk inkomen tot een voorspelde toename van het lezen van kranten, wat aansluit bij het idee dat een hogere sociaaleconomische status gekoppeld is aan consumptie van printmedia. Deze simulaties bevestigden dat de modellen genuificante, interpreteerbare relaties vastlegden in plaats van willekeurige ruis. Bovendien, toen de onderzoekers het kader testten op verschillende subgroepen, zoals jongere versus oudere volwassenen of stedelijke versus rurale bewoners, bleven de algemene patronen stabiel, hoewel specifieke geloofwaardigheidsscores licht varieerden afhankelijk van de populatie. Dit toonde aan dat hoewel de methode robuust is, de kracht van een causaal verband kan afhangen van de specifieke groep die wordt bestudeerd.

Uiteindelijk biedt dit werk een transparant en reproduceerbaar instrument voor sociale wetenschappers om signaal van ruis te scheiden in machine learning-verklaringen. Het claimt niet causaliteit te bewijzen in absolute zin, aangezien ongemeten factoren nog steeds een rol kunnen spelen, maar het biedt een praktische manier om te diagnosticeren wanneer een verklaring waarschijnlijk misleidend is. Door te vergelijken hoe een model zich gedraagt wanneer het de gegevens ziet zoals ze zijn versus hoe het zich gedraagt wanneer het de natuurlijke links tussen variabelen verbreekt, kunnen onderzoekers nu identificeren welke factoren werkelijk sociale uitkomsten aansturen en welke slechts schaduwen zijn die door andere variabelen worden geworpen. De studie concludeert dat hoewel machine learning een krachtige lens is om menselijk gedrag te bekijken, het deze vorm van zorgvuldige kalibratie vereist om ervoor te zorgen dat de inzichten die het biedt niet alleen accurate voorspellingen zijn, maar ook betrouwbare verklaringen voor waarom mensen handelen zoals ze doen.