Model Confidence Under Answer-Preserving Attacks: An Informativeness-Manipulability Frontier
Diese Arbeit zeigt auf, dass Konfidenz-Auswertungen in eingesetzten Vision-Language-Systemen hochgradig anfällig für antworterhaltende Angriffe sind, was beweist, dass sie als integritätssensible und nicht als robuste Überwachungssignale fungieren, die manipuliert werden können, um falsche Antworten zu akzeptieren oder die Gesamtgenauigkeit unter das Basisniveau zu senken.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind der Kapitän eines Raumschiffs, aber Sie können weder die Sterne noch die Kontrollen sehen. Stattdessen haben Sie einen sehr intelligenten Roboter-Copiloten, der auf die Instrumente blickt und Ihnen sagt: „Ich bin mir zu 90 % sicher, dass wir auf dem richtigen Weg sind“ oder „Ich bin mir nur zu 50 % sicher, vielleicht sollten wir anhalten“. Sie vertrauen dem Konfidenzwert des Roboters, um zu entscheiden, ob Sie weiterfliegen oder anhalten und einen Menschen um Hilfe bitten sollen. Genau so funktionieren viele moderne KI-Systeme heute: Sie geben Ihnen nicht nur eine Antwort, sondern auch einen „Konfidenzwert“, um Ihnen zu sagen, wie sehr Sie dieser Antwort vertrauen können.
Aber hier ist der knifflige Teil: Was wäre, wenn jemand den Roboter austricksen könnte, damit er seine Meinung darüber ändert, wie sicher er sich ist, ohne dabei die Antwort selbst zu ändern? Es ist, als würde ein Magier eine Waage von „schwer“ nach „leicht“ kippen lassen, während das Gewicht auf der Waage exakt gleich bleibt. Wenn der Konfidenzwert des Roboters das Einzige ist, das Sie davor bewahrt, eine schlechte Entscheidung zu treffen, und dieser Wert gefälscht werden kann, dann hat Ihr Sicherheitsnetz ein Loch. Diese Arbeit befasst sich genau mit diesem Loch und stellt eine beängstigende, aber wichtige Frage: Können wir diese KI-Roboter dazu austricksen, über ihr Vertrauen zu lügen, während sie genau dasselbe sagen wie zuvor?
Die Forscher dieser Studie beschlossen, ein hochriskantes Spiel namens „Finde die Schwachstelle“ mit mehreren leistungsstarken Vision-Language-Modellen (KI, die Bilder sehen und Fragen beantworten können) zu spielen. Ihr Ziel war es zu sehen, ob sie eine winzige, fast unsichtbare Veränderung an einem Bild vornehmen könnten, die den Konfidenzwert der KI wild schwanken lässt, obwohl die endgültige Antwort der KI absolut identisch bleibt – bis auf jeden einzelnen Buchstaben und jedes Leerzeichen. Sie behandelten den Konfidenzwert der KI wie ein zerbrechliches Glasfenster: Sie wollten sehen, ob sie das Glas (die Konfidenz) zertrümmern könnten, ohne den Rahmen (die Antwort) zu brechen.
Sie fanden heraus, dass das Glas viel zerbrechlicher ist, als es alle gehofft hatten. Mit einer Methode namens „antworterhaltende Angriffe“ (answer-preserving attacks) gelang es ihnen, die internen Konfidenzwerte der KI in fast jedem der durchgeführten Tests zu manipulieren. Tatsächlich stellten sie fest, dass sie bei vielen der von ihnen getesteten KI-Modelle das System austricksen konnten, eine falsche Antwort als korrekt zu akzeptieren oder eine korrekte Antwort als falsch abzulehnen, indem sie das Bild gerade so weit veränderten, dass der Konfidenzmesser getäuscht wurde.
Der überraschendste Teil ihrer Entdeckung ist, dass es nicht nur um das Bild selbst geht. Die Forscher zeigten, dass sie auch das interne Gehirn der KI (ihre verborgenen Zustände/hidden states) direkt „schubsen“ konnten – wie ein Nudeln eines Gedankens in eine bestimmte Richtung – und dass dies dasselbe Ergebnis lieferte, ohne das Bild überhaupt zu berühren. Dies deutet darauf hin, dass das Problem nicht nur ein Fehler in der Art und Weise ist, wie die KI Bilder sieht, sondern ein tiefer liegendes Problem damit, wie die KI ihre eigene Gewissheit berechnet.
Sie testeten auch mehrere „Verteidigungsstrategien“ – Wege, um den Konfidenzwert robuster zu machen, wie etwa das Hinzufügen von Rauschen zum Bild oder das Trainieren der KI, weniger sensibel auf Veränderungen zu reagieren. Leider funktionierte keine dieser Verteidigungsmaßnahmen gut genug, um den Trick zu stoppen. In ihren Simulationen, in denen sie diese manipulierten Konfidenzwerte nutzten, um reale Entscheidungen zu treffen, schnitt das System tatsächlich schlechter ab, als wenn sie den Konfidenzwert einfach ignoriert und jede Antwort akzeptiert hätten.
Was bedeutet das also für die Zukunft? Die Arbeit kommt zu dem Schluss, dass wir den internen Konfidenzwert einer KI nicht blind als Sicherheitssignal vertrauen können, insbesondere wenn die Person, die die Daten in die KI einspeist, versuchen könnte, sie auszutricksen. Der Konfidenzwert ist „integritätssensitiv“, was bedeutet, dass er leicht korrumpiert werden kann. Die Autoren schlagen vor, dass wir, wenn wir diese Konfidenzwerte nutzen wollen, um wichtige Entscheidungen zu treffen, neue, externe Wege entwickeln müssen, um sie zu verifizieren, anstatt uns darauf zu verlassen, dass die KI uns sagt, wie sicher sie sich ist. Es ist eine Erinnerung daran, dass in der Welt der KI nur weil ein Roboter sagt „Ich bin sicher“, das noch lange nicht bedeutet, dass er es auch wirklich ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.