Estimand-Relative Validity and Context-Driven Instability of Shapley Explanations for Tabular Foundation Models
Diese Arbeit zeigt auf, dass die Validität und Stabilität von Shapley-Erklärungen für tabellarische Foundation-Modelle kritisch von der Wahl des Entfernungsoperators im Verhältnis zum intendierten Schätzwert abhängen und signifikant durch In-Context-Beispiele beeinflusst werden, was eine explizite Spezifikation dieser Faktoren für eine zuverlässige Interpretation erforderlich macht.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht vom Autor verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der künstlichen Intelligenz gibt es eine wachsende Klasse von Modellen, die darauf ausgelegt sind, aus Beispielen zu lernen, anstatt feste Regeln auswendig zu lernen. Stellen Sie sich einen Studenten vor, der, anstatt jahrelang ein Lehrbuch zu studieren, eine einzige Seite Notizen und eine neue Frage erhält und dann gebeten wird, diese sofort unter Verwendung nur dieser Seite zu lösen. So arbeiten moderne „Foundation Models“ für tabellarische Daten. Sie nehmen einen kleinen Satz beschrifteter Beispiele, den sogenannten Kontext, und eine neue Anfrage und treffen eine Vorhersage, ohne jemals ihren internen Code zu ändern. Da diese Systeme so flexibel sind, versuchen Forscher seit langem zu verstehen, warum sie die Entscheidungen treffen, die sie treffen. Sie verwenden eine Methode namens Shapley-Werte, die wie eine faire Aufteilung von Anerkennung wirkt. Wenn eine Vorhersage eine Teamleistung ist, berechnet diese Methode, wie viel jedes Informationsstück zum Endergebnis beigetragen hat. Um jedoch herauszufinden, wie wichtig ein bestimmtes Informationsstück ist, muss die Methode zuerst sich vorstellen, was passieren würde, wenn dieses Stück fehlen würde. Dies erzeugt ein Rätsel: Wenn man ein Stück der Daten entfernt, wie füllt man den leeren Raum? Ersetzt man es durch einen Durchschnittswert, durch ein Leerstelle oder durch ein neues Beispiel, das dem Muster entspricht? Die Antwort auf diese Frage verändert die gesamte Geschichte darüber, wie das Modell denkt.
Eine aktuelle Studie von Emin Talip Demirkiran von der Eskisehir Technical University widmet sich diesem Rätsel direkt und konzentriert sich auf zwei der fortschrittlichsten Modelle dieser Art, bekannt als TabPFN und TabICL. Der Forscher wollte wissen, ob die Wahl der Art und Weise, wie fehlende Daten ergänzt werden, die Erklärung der Entscheidung des Modells verändert und ob diese Erklärungen stabil bleiben, wenn sich die Umgebung leicht verschiebt. Um dies herauszufinden, führte das Team eine massive, sorgfältig geplante Testreihe sowohl mit synthetischen Daten, bei denen die richtigen Antworten konstruktionsbedingt bekannt waren, als auch mit realen Datensätzen durch. Sie testeten fünf verschiedene Wege des Umgangs mit fehlenden Informationen, die von einfacher Mittelwertbildung bis hin zu komplexeren Methoden reichten, die das Modell bitten, die Situation mit dem entfernten Teil neu zu bewerten. Die Ergebnisse offenbarten eine frappierende Wahrheit: Es gibt keinen einzelnen „besten“ Weg, diese Modelle zu erklären. Die Methode, die für eine Art von Frage die genaueste Erklärung liefert, ist oft die schlechste für eine andere.
Die Studie ergab, dass die Wahl der Methode vollständig davon abhängt, welche Frage man zu beantworten versucht. Wenn man wissen möchte, wie das Modell reagieren würde, wenn man intervenierte und einen spezifischen Wert änderte, kamen die genauesten Erklärungen von Methoden, die die fehlenden Daten einfach durch Durchschnittswerte oder Standardplatzhalter ersetzten. Wenn man jedoch wissen möchte, wie das Modell auf der Grundlage der spezifischen Beziehungen innerhalb der Daten schlussfolgert, die ihm gezeigt wurden, kamen die besten Erklärungen von Methoden, die das Modell baten, sich selbst mit dem entfernten Teil neu zu kontextualisieren. Tatsächlich beobachteten die Forscher, dass die Methode, die für ein Ziel am besten funktionierte, oft für das andere am schlechtesten funktionierte. Das bedeutet, dass eine Erklärung keine feste Eigenschaft des Modells ist; sie ist relativ zu der spezifischen Frage, die gestellt wird. Ohne genau anzugeben, wie die fehlenden Daten gehandhabt wurden und welche Art von Antwort gewünscht ist, kann eine Erklärung nicht vertraut werden.
Über die Frage hinaus, welche Methode zu verwenden ist, untersuchte die Studie auch, wie stabil diese Erklärungen sind, wenn sich die Umgebung ändert. In diesen Modellen hängt die Vorhersage stark von den spezifischen Beispielen ab, die gewählt wurden, um den Kontext zu bilden. Die Forscher testeten, ob das Ändern der Reihenfolge der Spalten, die Art der Kodierung von Labels oder der Zufallssamen (Random Seed), der verwendet wurde, um das Modell zu starten, die Erklärung verändern würde. Sie fanden heraus, dass diese Faktoren fast keinen Effekt hatten. Stattdessen wurde die Erklärung überwältigend von den spezifischen Beispielen dominiert, die in den Kontext gezogen wurden. Mit anderen Worten: Die Erklärung ist hochsensibel gegenüber dem spezifischen Satz an Beispielen, den das Modell betrachtet, aber bemerkenswert stabil gegenüber anderen technischen Variationen. Dies deutet darauf darauf hin, dass die Zuverlässigkeit einer Erklärung an den spezifischen Kontext gekoppelt ist, nicht nur an das Modell selbst.
Die Forscher testeten auch eine Sicherheitsprüfung, indem sie ein Merkmal zu den Daten hinzufügten, das keinerlei nützliche Informationen enthielt, im Wesentlichen eine „Dummy“-Variable. Sie erwarteten, dass das Modell dieses Merkmal ignorieren und ihm eine Bedeutung von Null zuweisen würde. Stattdessen änderten beide Modelle häufig ihre Vorhersagen als Reaktion auf dieses nutzlose Merkmal und wiesen ihm ein signifikantes Gewicht zu. Dies deutet darauf hin, dass diese leistungsstarken Modelle leicht durch Rauschen beeinflusst werden können und ihre Erklärungen diese Sensibilität widerspiegeln können. Die Studie kommt zu dem Schluss, dass für diese Arten von KI-Systemen eine Erklärung kein eigenständiger Fakt ist. Sie ist ein fragiles Konstrukt, das von der spezifischen Methode abhängt, mit der fehlende Informationen gehandhabt werden, von der spezifischen Frage, die gestellt wird, und von den spezifischen Beispielen, die das Modell gerade betrachtet. Um diese Modelle zu verstehen, müssen wir aufhören, nach einer einzigen, universellen Erklärung zu suchen, und statfangen zu fragen, welche Art von Erklärung wir genau benötigen und unter welchen Bedingungen diese gilt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.