Estimand-Relative Validity and Context-Driven Instability of Shapley Explanations for Tabular Foundation Models
Dit artikel toont aan dat de validiteit en stabiliteit van Shapley-verklaringen voor tabulaire fundamentele modellen kritisch afhankelijk zijn van de keuze van de verwijderingsoperator ten opzichte van de beoogde estimand en aanzienlijk worden beïnvloed door in-context voorbeelden, hetgeen expliciete specificatie van deze factoren noodzakelijk maakt voor een betrouwbare interpretatie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteur. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van kunstmatige intelligentie is er een groeiende klasse modellen die ontworpen zijn om te leren van voorbeelden in plaats van door het memoriseren van vaste regels. Stel je een student voor die, in plaats van jarenlang een tekstboek te bestuderen, één pagina met aantekeningen en een nieuwe vraag krijgt toegereikt, en vervolgens wordt gevraagd deze onmiddellijk op te lossen met alleen die pagina. Dit is hoe moderne "foundation models" voor tabelgegevens werken. Ze nemen een kleine set gelabelde voorbeelden, een zogenaamde context, en een nieuwe query, en doen een voorspelling zonder ooit hun interne code te veranderen. Omdat deze systemen zo flexibel zijn, proberen onderzoekers al lang te begrijpen waarom ze de keuzes maken die ze maken. Ze gebruiken een methode genaamd Shapley-waarden, die werkt als een eerlijke verdeling van krediet. Als een voorspelling een teaminspanning is, berekent deze methode hoeveel elk stukje informatie heeft bijgedragen aan het uiteindelijke resultaat. Echter, om te bepalen hoeveel een specif kind stukje informatie ertoe doet, moet de methode eerst zich voorstellen wat er zou gebeuren als dat stukje ontbrak. Dit creëert een puzzel: wanneer je een stukje data verwijdert, hoe vul je dan de lege ruimte in? Vervang je het door een gemiddelde, door een leegte, of door een nieuw voorbeeld dat in het patroon past? Het antwoord op deze vraag verandert het hele verhaal van hoe het model denkt.
Een recente studie door Emin Talip Demirkiran aan de Eskisehir Technische Universiteit pakt deze puzzel rechtstreeks aan, met de focus op twee van de meest geavanceerde modellen van dit type, bekend als TabPFN en TabICL. De onderzoeker wilde weten of de keuze van hoe ontbrekende data wordt ingevuld de uitleg van de beslissing van het model verandert, en of die uitleg stabiel blijft wanneer de omliggende details licht verschuiven. Om dit te achterhalen, voerde het team een enorme, zorgvuldig geplande reeks tests uit met zowel synthetische data, waarbij de juiste antwoorden door ontwerp bekend waren, als met real-world datasets. Ze testten vijf verschillende manieren om met ontbrekende informatie om te gaan, variërend van eenvoudige averaging tot complexere methoden die het model vragen de situatie opnieuw te evalueren met het ontbrekende deel verwijderd. De resultaten onthulden een opvallende waarheid: er is geen enkele "beste" manier om deze modellen uit te leggen. De methode die de meest nauwkeurige uitleg produceert voor het ene type vraag, is vaak de slechtste voor een ander.
De studie vond dat de keuze van de methode volledig afhangt van welke vraag je probeert te beantwoorden. Als je wilt weten hoe het model zou reageren als je zou ingrijpen en een specifieke waarde zou veranderen, kwamen de meest nauwkeurige verklaringen voort uit methoden die de ontbrekende data simpelweg vervingen door gemiddelden of standaard placeholders. Echter, als je wilt weten hoe het model redeneert op basis van de specifieke relaties binnen de data die het getoond heeft gekregen, kwamen de beste verklaringen voort uit methoden die het model vroegen zichzelf opnieuw te contextualiseren met het ontbrekende deel verwijderd. Sterker nog, de onderzoekers observeerden dat de methode die het best presteerde voor het ene doel, vaak het slechtst presteerde voor het andere doel. Dit betekent dat een uitleg geen vast eigendom van het model is; het is relatief aan de specifieke vraag die gesteld wordt. Zonder exact te specificeren hoe met de ontbrekende data is omgegaan en welk soort antwoord gewenst is, kan een uitleg niet worden vertrouwd.
Naast de vraag welke methode te gebruiken, onderzocht de studie ook hoe stabiel deze verklaringen zijn wanneer de omgeving verandert. In deze modellen hangt de voorspelling zwaar af van de specifieke voorbeelden die gekozen zijn om de context te vormen. De onderzoekers testten of het veranderen van de volgorde van de kolommen, de manier waarop labels werden gecodeerd, of de random seed die werd gebruikt om het model te starten, de uitleg zou veranderen. Ze kwamen tot de conclusie dat deze factoren vrijwel geen effect hadden. In plaats daarvan werd de uitleg overweldigend gedomineerd door welke specifieke voorbeelden er in de context werden getrokken. Met andere woorden: de uitleg is zeer gevoelig voor de specifieke set voorbeelden waarnaar het model kijkt, maar opmerkelijk stabiel tegenover andere technische variaties. Dit suggereert dat de betrouwbaarheid van een uitleg verbonden is aan de specifieke context die wordt geboden, en niet alleen aan het model zelf.
De onderzoekers testten ook een veiligheidscontrole door een kenmerk aan de data toe te voegen dat helemaal geen nuttige informatie bevatte, in feite een "dummy"-variabele. Ze verwachtten dat het model dit kenmerk zou negeren en het een belang van nul zou toekennen. In plaats daarvan veranderden beide modellen frequent hun voorspellingen als reactie op dit nutteloze kenmerk, waarbij ze het een significante waarde toekenden. Dit geeft aan dat deze krachtige modellen gemakkelijk kunnen worden beïnvloed door ruis, en dat hun verklaringen deze gevoeligheid kunnen weerspiegelen. De studie concludeert dat voor dit type AI-systemen een uitleg geen op zichzelf staand feit is. Het is een fragiel construct dat afhankelijk is van de specifieke methode die wordt gebruikt om ontbrekende informatie af te handelen, de specifieke vraag die gesteld wordt, en de specifieke voorbeelden die het model momenteel overweegt. Om deze modellen te begrijpen, moeten we stoppen met zoeken naar één universele uitleg en beginnen met vragen welk soort uitleg we precies nodig hebben en onder welke omstandigheden deze standhoudt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.