Stellen Sie sich eine Welt vor, in der Computer nicht nur Wörter lesen, sondern auch Bilder „sehen“ können und diese kombinieren, um Fragen zu beantworten, Geschichten zu erzählen oder Probleme zu lösen. Dies sind Multimodale Große Sprachmodelle (MLLMs). Stellen Sie sie sich wie superintelligente Studenten vor, die jedes Buch in der Bibliothek gelesen haben und auch ein Foto betrachten können, um den Kontext zu verstehen. Doch genau wie jeder Student können auch sie verwirrt werden. Manchmal, wenn man ihnen ein kniffliges Bild zeigt oder eine hinterlistige Frage stellt, können sie dazu verleitet werden, etwas Gefährliches zu sagen (ein „Jailbreak“) oder Fakten erfinden, die zwar echt klingen, aber völlig falsch sind (eine „Halluzination“).

Um zu verstehen, warum das passiert, müssen wir untersuchen, wie diese Modelle Informationen verarbeiten. Sie nehmen ein Bild, zerlegen es in winzige digitale Stücke, sogenannte „visuelle Token“, und mischen diese mit Text-Token. Das Problem ist, dass die „Augen“ und „Ohren“ des Computers nicht immer perfekt dieselbe Sprache sprechen. Manchmal ist ein visuelles Token so deplatziert oder verwirrend, dass es wie das Rauschen in einem Radiosignal wirkt. Dieses Rauschen kann das Modell aus dem Gleichgewicht bringen, wodurch es anfällig für Angriffe wird oder falsche Informationen „träumt“. Wissenschaftler wissen schon lange, dass das Bereinigen dieses Rauschens hilft, aber sie dachten meistens, es ginge dabei nur darum, den Computer schneller zu machen, nicht sicherer.

Dieses Paper stellt einen cleveren neuen Trick namens Visual Token Compression vor, speziell eine Methode namens OOD-VTP (Out-of-Distribution Visual Token Pruning). Die Forscher entdeckten, dass das Modell tatsächlich viel widerstandsfähiger gegen Angriffe wird und weniger wahrscheinlich lügt, wenn man die „seltsamen“ visuellen Token identifiziert und entfernt – also diejenigen, die nicht gut zum Text passen. Es ist wie ein Türsteher in einem Club, der die ungebetenen Gäste rauswirft, die nicht dazugehören, und so die Party sicher und geordnet hält. Die Studie zeigt, dass dies nicht nur eine Theorie ist; als sie es an sieben verschiedenen populären Benchmarks testeten, wurde das Modell signifikant schwerer zu täuschen und präziser, während es gleichzeitig schneller lief.

Die Geschichte des verrauschten Raums

Stellen Sie sich vor, Sie befinden sich in einem riesigen, lauten Raum, in dem eine Gruppe von Freunden (der Text) versucht, ein ernstes Gespräch zu führen. Plötzlich stürmen eine Menge Fremde (die visuellen Token) herein. Die meisten der Fremden sind hilfreich; sie bringen Snacks mit und zeigen auf Dinge im Raum, die zur Unterhaltung passen. Aber ein paar von ihnen sind Unruhestifter. Sie tragen Masken, schreien Unsinn oder halten Schilder hoch, die keinen Sinn im Zusammenhang mit dem ergeben, was Ihre Freunde gerade besprechen.

In der Welt der KI sind diese Unruhestifter die fehlgerichteten (misaligned) visuellen Token. Weil die visuellen und sprachlichen Systeme des Computers nicht perfekt synchronisiert sind, fungieren diese Token als Out-of-Distribution (OOD) Inputs. Einfach ausgedrückt: Sie sind „deplatziert“. Wenn die KI versucht, sie zu verarbeiten, gerät sie in Verwirrung. Diese Verwirrung ist es, die Hacker dazu ermöglicht, die KI zu „jailbreaken“ (sie dazu zu bringen, ihre Sicherheitsregeln zu ignorieren) oder die dazu führt, dass sie „halluziniert“ (Fakten erfindet).

Die Strategie des Türstehers

Die Autoren dieses Papers erkannten, dass bisherige Methoden versuchten, die KI zu beschleunigen, indem sie zufällige Token oder nur solche entfernten, die als „redundant“ erschienen (wie das Rauswerfen der Leisen). Sie fanden jedoch heraus, dass dies die KI nicht sicherer machte. Tatsächlich machte es die Sache manchmal sogar noch schlimmer!

Ihre neue Methode, OOD-VTP, fungiert wie ein superintelligenter Türsteher. So funktioniert es:

1. Messung der Distanz: Der Türsteher überprüft jedes einzelne visuelle Token (jedes Stück des Bildes) und fragt: „Wie weit ist diese Person vom Gespräch entfernt?“ Sie messen die Distanz zwischen dem visuellen Token und dem „Sprach-Merkmalsraum“ (der Gruppe von Text-Token).
2. Identifizierung der Unruhestifter: Die Token, die am weitesten vom Text entfernt sind – also diejenigen, die völlig aus dem Takt sind – werden als OOD-Token markiert. Dies sind die Token, die Unruhe stiften.
3. Das perfekte Timing: Die Forscher fanden heraus, dass man Leute nicht einfach zu irgendwelchen Zeiten rauswerfen kann. Es gibt spezifische „robuste Pruning-Layer“ (denken Sie an dies als spezifische Momente im Gespräch), in denen das Entfernen der schlechten Token am besten funktioniert. Wenn man sie zu früh oder zu spät entfernt, hilft es nicht. Aber wenn man es zum richtigen Zeitpunkt tut (wie etwa in Layer 13 oder 17 in ihren Tests), wird die KI plötzlich viel robuster.

Die Ergebnisse: Sicherer, schlauer und schneller

Das Team testete diese Türsteher-Strategie an zwei populären KI-Modellen: LLaVA-OneVision und Qwen-2.5-VL. Sie nutzten sieben verschiedene Benchmarks, um zu sehen, wie gut es funktionierte.

• Stoppen von Jailbreaks: Als man versuchte, die KI zu manipulieren, etwas Schlechtes zu tun (wie die Erklärung zum Bau einer Bombe oder das Einbetten von Malware), war die OOD-VTP-Methode ein großer Erfolg. Im Durchschnitt verbesserte sie die Fähigkeit des Modells, „Nein, das werde ich nicht tun“ zu sagen, um 13,29 %. Speziell für das Qwen-2.5-VL Modell sprang die „Refuse-to-Answer Rate“ (wie oft es eine schlechte Anfrage erfolgreich blockierte) von 20,38 % auf 33,67 %.
• Stoppen von Halluzinationen: Die Methode half der KI auch dabei, aufzuhören, Dinge zu erfinden. Auf dem HallusionBench verbesserte sich die Genauigkeit des Qwen-Modells um 8,00 %.
• Geschwindigkeit: Als Bonus lief die KI, weil sie einige der Token entfernte, schneller. Sie verarbeitete weniger Token (ein Rückgang von 16.128 auf 10.512) und verbrauchte weniger Rechenleistung (TFlops sanken von 4,29 auf 2,78), was sie effizienter machte, ohne ihre Intelligenz zu verlieren.

Was sie nicht getan haben (und was sie ausgeschlossen haben)

Es ist wichtig anzumerken, was dieses Paper nicht getan hat. Sie haben die KI nicht von Grund auf neu trainiert. Sie haben keine neuen Sicherheitsregeln hinzugefügt oder die Gehirngewichte des Modells verändert. Sie haben lediglich die schlechten visuellen Token während des Prozesses „geprunt“ (ausgeschnitten).

Sie haben auch explizit die Idee widerlegt, dass jedes Token-Pruning eine KI sicherer macht. Tatsächlich haben sie gezeigt, dass die KI weniger sicher wird, wenn man die falschen Token entfernt – also speziell diejenigen, die gut ausgerichtet und hilfreich sind. Sie testeten dies, indem sie die „geringsten Distanz“-Token (die guten) entfernten, und die Sicherheitsleistung des Modells brach ein. Dies beweist, dass es nicht nur darum geht, Dinge wegzuschneiden, sondern darum, genau das Rauschen auszuschneiden, das die Probleme verursacht.

Das Fazserit

Dieses Paper legt nahe, dass der Schlüssel dazu, Multimodale KI sicherer zu machen, so einfach wie das Bereinigen des visuellen Rauschens sein könnte. Durch das Identifizieren und Entfernen der visuellen Token, die nicht zum Text passen, wird das Modell stabiler, weniger anfällig für Täuschungen und weniger geneigt, Fakten zu erfinden. Es ist eine „Plug-and-Play“-Lösung, was bedeutet, dass sie bestehenden Modellen hinzugefügt werden kann, ohne dass eine massive Überarbeitung nötig ist. Während das Paper zeigt, dass diese Ergebnisse über mehrere Tests hinweg gemessen und konsistent sind, bleibt es eine Methode, die die Robustheit erhöht, anstatt ein magisches Heilmittel zu sein, das jedes Sicherheitsproblem der Welt löst. Aber für einen neugierigen Teenager (oder einen sicherheitsbewussten KI-Entwickler) ist es ein faszinierender Einblick darin, wie ein wenig „Pruning“ einen großen Unterschied machen kann, um unsere digitalen Freunde sicher zu halten.