Selective Prediction Under Distribution Shift: The Failure of Threshold Transfer
Diese Studie zeigt, dass die standardmäßige schwellenwertbasierte selektive Prädiktion unter Verteilungsverschiebung versagt, da der auf sauberen Daten ermittelte optimale Schwellenwert nicht auf korrumpierte oder reale Daten übertragbar ist, was die Verwendung neuer gelabelter Daten erforderlich macht, um statistisch valide Abbruchregeln zu etablieren.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich ein Computerprogramm vor, das darauf trainiert wurde, Objekte auf Fotografien zu erkennen. In einer perfekten Welt wäre dieses Programm immer richtig. Aber die reale Welt ist unordentlich. Eine Kamera könnte einen Regenfleck aufweisen, ein Foto könnte bei schwachem Licht aufgenommen worden sein oder ein Objekt könnte aus einem seltsamen Winkel betrachtet werden. Wenn die Bilder, die der Computer sieht, beginnen, anders auszusehen als die, die er während des Trainings studiert hat, gerät das Programm oft durcheinander. Es liefert vielleicht immer noch eine Antwort, aber diese Antwort ist wahrscheinlich falsch. Um dies zu handhaben, haben Forscher ein Sicherheitsventil entwickelt: Sie erlauben dem Computer zu sagen: „Ich weiß es nicht.“ Wenn das Programm nicht vertrauenswürstig genug ist, bleibt es stumm, anstatt zu raten. Dies wird selektive Vorhersage genannt. Das Ziel ist einfach: Eine Regel festzulegen, die dem Computer sagt, wann er sprechen und wann er schweigen soll, um sicherzustellen, dass er, wann immer er spricht, meistens richtig liegt.
Jahrelang war die Standardmethode, diese Regel anhand von sauberen, perfekten Bildern festzulegen. Forscher wählen ein Vertrauensniveau, das für diese sauberen Bilder funktioniert, wie zum Beispiel eine Einstellung, die garantiert, dass der Computer nur 5 % der Zeit falsch liegt, wenn er spricht. Sie nehmen dieselbe Einstellung und schicken sie in die reale Welt aus, in der Annahme, dass sie auch bei verschwommenen oder verzerrten Bildern Bestand hat. Eine neue Studie von Shayam Ahmad an der C.V. Raman Global University stellt diese Annahme infrage. Die Forschung stellt eine direkte Frage: Funktioniert eine Regel, die für saubere Daten funktioniert, noch, wenn sich die Daten ändern? Die Antwort ist ein deutliches Nein. Die Studie zeigt, dass die Regel unter realen Bedingungen völlig zusammenbricht, was oft zu Fehlerraten führt, die weit über dem Versprochenen liegen, während der Computer bei Bildern, die er eigentlich hätte ablehnen sollen, weiterhin selbstbewusst antwortet.
Die Forscher testeten diese Idee mit einem Standard-Bildsatz und zwei verschiedenen Arten von Computer-Vision-Modellen. Zuerst trainierten sie die Modelle auf sauberen Bildern und unterzogen sie dann verschiedenen Arten von Beschädigungen, wie etwa dem Hinzufügen von Rauschen, dem Verschwimmen des Bildes oder der Änderung der Farben. Sie testeten die Modelle auch auf einem neuen Satz von Realwelt-Fotos, die etwas anders aussah als die Trainingsdaten, was den Arten von langsamem Drift nachempfunden ist, der auftritt, wenn ein System monatelang im Einsatz ist. In jedem Fall wandten sie dieselbe Regel an, die für die sauberen Daten gewählt worden war. Die Ergebnisse waren drastisch. Als die Forscher eine Zielvorgabe von 5 % Fehler erreichten, sprang die tatsächliche Fehlerrate bei den beschädigten Bildern in den schlimmsten Fällen auf zwischen 42 % und 45 %. Mit anderen Worten: Der Computer lag fast die Hälfte der Zeit falsch, obwohl die Regel versprach, dass er nur 5 % der Zeit falsch liegen würde. Das Problem verschlimmerte sich noch weiter, als sie versuchten, strenger zu sein. Wenn sie eine Fehlerrate von 1 % anstrebten, war die tatsächliche Fehlerrate fast 20 Mal höher als das Versprechen.
Man könnte sich fragen, ob der Computer einfach schlecht darin geworden ist, seine eigene Konfidenz einzustufen. Vielleicht hat er die Bilder falsch sortiert, die einfachen Bilder nach oben und die schwierigen nach unten gesetzt, aber versäumt, die richtige Linie zu ziehen. Um dies zu testen, trennten die Forscher das Problem in zwei Teile auf. Der erste Teil ist das Ranking: Wie gut der Computer die Bilder von „am sichersten“ bis „am wenigsten sicher“ ordnet. Der zweite Teil ist die Stopp-Regel: Wo man die Linie zieht, um zu entscheiden, wann man aufhört zu antworten. Sie fanden heraus, dass das Ranking tatsächlich recht gut war. Vier verschiedene Methoden zur Messung der Konfidenz produzierten nahezu die gleiche Reihenfolge. Der Computer wusste, welche Bilder schwieriger als andere waren. Das Versagen lag vollständig im zweiten Teil. Die Linie, die auf den sauberen Daten gezogen wurde, lag für die unordentlichen Daten einfach an der falschen Stelle. Sie ließ viel zu viele schwierige Bilder hinein und akzeptierte sie so, als wären sie einfach, was die Fehlerrate explodieren ließ.
Die Studie untersuchte auch, ob bestehende Tricks dies beheben könnten, ohne dass neue Informationen benötigt werden. Einige Methoden versuchen, die Fehlerrate der neuen Daten zu erraten, ohne die korrekten Antworten zu kennen, in der Hoffnung, die Regel automatisch anzupassen. Die Forscher testeten zwei dieser veröffentlichten Methoden. Keine von beiden funktionierte. Sie reduzierten den Fehler zwar leicht, lösten das Problem aber nicht, und beide schnitten schlechter ab als eine sehr einfache Regel, die einfach basierend auf der durchschnittlichen Konfidenz rät. Der einzige Weg, das Problem wirklich zu lösen, bestand darin, eine kleine Menge neuer, gelabelter Daten aus der unordentlichen Umgebung zu verwenden. Indem die Forscher dem Computer ein paar hundert oder ein paar tausend der neuen Bilder mit ihren korrekten Antworten zeigten, konnten sie eine neue Stopp-Regel finden, die das Sicherheitsziel tatsächlich erfüllte. Diese Korrektur ist jedoch mit einem hohen Preis verbunden. Bei leichten Änderungen der Daten benötigten sie etwa 800 gelabelte Beispiele, um eine zuverlässige Regel zu erhalten. Unter starker Korruption benötigten sie mehr als 4.000. Dies schafft eine schwierige Situation: Je mehr sich die Daten ändern, desto mehr gelabelte Beispiele werden benötigt, um sicher zu bleiben, doch gelabelte Beispiele sind am schwersten zu bekommen, wenn sich die Daten am stärksten ändern.
Die Implikationen dieser Erkenntnis sind praktisch und unmittelbar. Es deutet darauf hin, dass es gefährlich ist, einfach eine Regel, die für perfekte Bedingungen entworfen wurde, auf die reale Welt anzuwenden. Das Versprechen von Sicherheit ist eine Illusion, wenn sich die Daten verschoben haben. Die Forscher kommen zu dem Schluss, dass, wenn ein Systembetreiber es sich nicht leisten kann, neue Daten aus dem Feld zu labeln, er gar kein spezifisches Versprechen über Fehlerraten abgeben sollte. Ein Ziel zu nennen, das nicht gehalten werden kann, ist schlimmer als gar keines zu nennen, da es ein falsches Gefühl der Sicherheit vermittelt. Die Studie bietet keinen Zauberstab, der das Problem ohne Kosten löst, aber sie räumt ein großes Missverständnis aus dem Weg. Sie zeigt, dass das Versagen nicht in der Fähigkeit des Computers liegt, Schwierigkeit zu beurteilen, sondern in der starren Regel, die verwendet wird, um zu entscheiden, wann man spricht. Der Weg nach vorn erfordert die Anerkennung, dass sich die Regeln des Spiels ändern, wenn sich die Umgebung ändert, und dass die Einhaltung eines Sicherheitsversprechens in einer sich verändernden Welt einen Preis in Form neuer Informationen fordert.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.