High Performance, Low Reliability: Uncertainty Benchmarking for Tabular Foundation Models
Dieser Artikel zeigt, dass Tabular Foundation Models zwar Gradient-Boosted Decision Trees in der Vorhersagegenauigkeit übertreffen, jedoch eine unterlegene Unsicherheitsquantifizierung und Kalibrierung aufweisen, was einen kritischen Zielkonflikt zwischen Leistung und Zuverlässigkeit aufzeigt, der für ihre vertrauenswürdige Einführung behoben werden muss.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen ein Team von Detektiven ein, um ein Rätsel anhand einer Liste von Hinweisen (den „tabellarischen Daten") zu lösen. Einige Detektive sind alteingesessene Veteranen, die Tausende von Fällen mit einer spezifischen, zuverlässigen Methode gelöst haben (wie Gradient Boosted Decision Trees oder GBDTs). Andere sind brandneue, superscharfe KI-Detektive, die auf Millionen gefälschter Fälle trainiert wurden, bevor sie je einen echten Fall zu Gesicht bekamen (diese sind die Tabular Foundation Models oder TFMs).
Dieser Artikel ist ein Zeugnis, das vergleicht, wie gut diese beiden Arten von Detektiven abschneiden, jedoch mit einem Twist: Es wird nicht nur gefragt: „Wer hat die meisten Antworten richtig?" Es wird auch gefragt: „Wer weiß, wann er ratet?"
Hier ist die Aufschlüsselung ihrer Erkenntnisse:
1. Die Falle „Intelligent, aber übermäßig selbstbewusst"
Die neuen KI-Detektive (TFMs) sind unglaublich schnell und präzise. Wenn sie gebeten werden, den richtigen Verdächtigen auszuwählen, erzielen sie die höchste Punktzahl (AUC). Sie wirken wie die Zukunft der Detektivarbeit.
Allerdings entdeckten die Forscher einen versteckten Fehler. Wenn diese KI-Detektive unsicher sind, geben sie es nicht zu. Stattdessen zeigen sie selbstbewusst auf einen einzigen Verdächtigen, selbst wenn die Hinweise chaotisch oder verwirrend sind. Sie sind wie ein Schüler, der die Antwort in einem Test mit 100-prozentigem Selbstbewusstsein rät, obwohl er eigentlich keine Ahnung hat, wovon er spricht.
2. Der „Sichere, aber ehrliche" Veteran
Die alteningesessenen Detektive (GBDTs) sind insgesamt etwas weniger präzise. Sie könnten ein paar Hinweise mehr übersehen als die KI. Aber sie sind viel besser darin, ihre Grenzen zu kennen. Wenn die Hinweise verwirrend sind, sagen sie: „Ich bin mir nicht sicher, es könnte jeder von diesen fünf Personen sein."
In der Welt dieses Artikels wird diese Ehrlichkeit durch ein Konzept namens Konforme Vorhersage (Conformal Prediction) gemessen. Stellen Sie sich dies als ein „Sicherheitsnetz" vor.
- Das Ziel: Wenn Sie zu 90 % sicher sein wollen, dass Sie die richtige Person gefasst haben, sollte Ihr „Sicherheitsnetz" (die Liste der Verdächtigen, die Sie bereitstellen) den tatsächlichen Täter zu 90 % der Zeit enthalten.
- Das Ergebnis: Die alteningesessenen Detektive bauten Netze, die tatsächlich zu 90 % der Zeit funktionierten. Die neuen KI-Detektive bauten Netze, die klein und präzise aussahen, aber den tatsächlichen Täter öfter verfehlten, als sie sollten. Sie waren „übermäßig selbstbewusst".
3. Der Zielkonflikt: Geschwindigkeit versus Sicherheit
Der Artikel nennt dies einen „Performance-Unsicherheits-Zielkonflikt".
- Die KI (TFMs): Hohe Leistung, geringe Zuverlässigkeit. Sie sind großartig, wenn die Daten sauber und einfach sind, werden aber wackelig und übermäßig selbstbewusst, wenn die Daten verrauscht oder chaotisch sind.
- Die Veteranen (GBDTs): Etwas geringere Leistung, aber hohe Zuverlässigkeit. Sie bleiben ruhig und ehrlich, selbst wenn die Hinweise verwirrend sind.
4. Der „Synthetische" Belastungstest
Um sicherzugehen, erstellten die Forscher eine gefälschte, chaotische Tatstelle mit viel Rauschen und verwirrenden Hinweisen.
- Die KI-Detektive erzielten die höchste Punktzahl, machten aber riesige, selbstbewusste Fehler.
- Die Veteranen-Detektive waren konsistenter. Sie räumten Unsicherheit ein, wenn die Hinweise keinen Sinn ergaben, was sie in schwierigen Situationen sicherer macht, ihnen zu vertrauen.
Das Fazit
Der Artikel kommt zu dem Schluss, dass diese neuen KI-Modelle zwar hervorragend darin sind, die „richtige Antwort" bei sauberen Daten zu finden, sie aber noch nicht gelernt haben, bescheiden zu sein. Derzeit sind sie hochleistungsfähig, aber von geringer Zuverlässigkeit.
Wenn Sie einen Detektiv für einen einfachen, klaren Fall benötigen, ist die KI eine großartige Wahl. Aber wenn Sie mit einer chaotischen, komplexen oder hochriskanten Situation umgehen, in der ein Fehler gefährlich ist, sind die alteningesessenen, ehrlichen Detektive (GBDTs) immer noch die sicherere Wahl, da sie wissen, wann sie raten.
Kurz gesagt: Die neue KI ist der schnellste Läufer, aber er strauchelt über seine eigenen Schnürsenkel, wenn die Bahn holprig wird. Der alte Läufer ist etwas langsamer, aber er stolpert nie, wenn der Weg rau wird.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.