Do All Vision Transformers Need Registers? A Cross-Architectural Reassessment

Das große Rätsel: Warum sehen die „Gehirn-Karten" von KI manchmal so chaotisch aus?

Stell dir vor, du hast einen sehr klugen Assistenten (einen Vision Transformer, kurz ViT), der Bilder anschaut und versteht. Wenn dieser Assistent ein Bild betrachtet, erstellt er eine Art „Gedankenkarte" (eine Attention Map oder Feature Map), die zeigt, worauf er sich gerade konzentriert.

Normalerweise sollte diese Karte klar sein: „Ah, hier ist eine Katze, hier ist ein Baum."

Aber bei den neuesten, riesigen KI-Modellen passierte etwas Seltsames: Auf diesen Karten tauchten plötzlich grelle, verrückte Flecken auf. Das war wie ein statisches Rauschen oder ein Fehler im Fernseher, der die eigentliche Nachricht (das Bild) verdeckte. Die Forscher nannten diese Flecken Artefakte.

Ein Team von Forschern (Darcet et al., 2024) sagte damals: „Das liegt daran, dass das Gehirn des Assistenten zu viel Platz braucht, um globale Informationen zu speichern. Es nutzt dafür zufällige Bildteile, die gar nichts mit dem eigentlichen Bild zu tun haben, und verwirrt sich dabei selbst."

Ihre Lösung? Sie schlugen vor, dem Assistenten extra leere Notizzettel (genannt Register) in den Input zu geben. Diese Notizzettel sollten die „schmutzige Arbeit" übernehmen, damit die echten Bildteile sauber bleiben.

Was haben die Autoren dieses neuen Papers jetzt herausgefunden?

Die Autoren dieses Papers (Spiros und sein Team) haben gesagt: „Das klingt gut, aber gilt das für alle KI-Modelle? Und funktioniert es wirklich immer so?" Sie haben die Experimente nachgemacht und sind auf einige überraschende Entdeckungen gestoßen.

Hier sind die wichtigsten Punkte, übersetzt in Alltagssprache:

1. Nicht alle „Flecken" sind gleich (Die Verwechslung)

Die ursprünglichen Forscher haben Begriffe wie „Artefakt", „Fehler" und „hochwertige Notizen" (High-Norm Tokens) oft durcheinandergebracht.

• Die Analogie: Stell dir vor, du hast eine Gruppe von Schülern. Einige sind sehr laut (hoher Wert), andere sind leise.
• Die Entdeckung: Die neuen Forscher sagen: „Achtung! Ein lauter Schüler ist nicht immer ein Störenfried." Manchmal ist ein Schüler laut, aber er hat trotzdem eine gute Idee. In manchen Modellen sieht man auf der „Gedankenkarte" zwar Flecken, aber die dahinterstehenden Daten sind gar nicht so verrückt, wie sie aussehen. Man muss also genau unterscheiden, ob es ein echter Fehler ist oder nur ein lauter, aber nützlicher Token.

2. Größe ist nicht alles (Auch kleine Modelle leiden)

Die ursprüngliche Theorie war: „Nur die riesigen, dicken Modelle (über 300 Millionen Parameter) bekommen diese Flecken."

• Die Analogie: Man dachte, nur die riesigen Lastwagen haben Probleme mit der Ladungssicherung, kleine Autos nicht.
• Die Entdeckung: Falsch! Auch kleine, schlanke Modelle (wie ein kleiner Lieferwagen) bekommen manchmal diese verrückten Flecken. Es kommt nicht nur auf die Größe an, sondern darauf, wie das Modell gebaut ist. Manchmal ist sogar ein kleineres Modell schmutziger als ein riesiges.

3. Woher kommen die Flecken? (Der Ort des Chaos)

Die ursprüngliche Theorie: „Die Flecken tauchen dort auf, wo das Bild langweilig und wiederholend ist (z. B. ein blauer Himmel)."

• Die Analogie: Das Gehirn nutzt den langweiligen blauen Himmel, um seine eigenen Gedanken zu sortieren, weil es dort nichts Wichtiges zu sehen gibt.
• Die Entdeckung: Das stimmt bei den großen Standard-Modellen (wie DINOv2-G) tatsächlich. Aber bei speziellen, hierarchischen Modellen (die wie eine Pyramide aufgebaut sind) ist das anders. Bei diesen Modellen nutzen die „Flecken" nicht den langweiligen Himmel, sondern sie übernehmen ganz andere Aufgaben, wie z. B. die grobe Positionierung.

4. Was wissen die „Flecken" eigentlich?

Die Forscher haben Tests gemacht:

• Test A (Lokales Wissen): Kann der Token sagen, wo er im Bild genau sitzt? (Wie ein Puzzle-Teil).
  • Ergebnis: Die „Flecken" sind hier schlecht. Sie wissen nicht, wo sie sind. Sie haben ihre lokale Information verloren.
• Test B (Globales Wissen): Kann der Token das ganze Bild beschreiben? (Wie eine Zusammenfassung).
  • Ergebnis: Die „Flecken" sind hier überraschend gut! Sie haben den Überblick über das ganze Bild, auch wenn sie die Details vergessen haben.
• Die Ausnahme: Bei den speziellen Pyramiden-Modellen (PVT) ist es genau umgekehrt! Dort sind die „Flecken" die Experten für die grobe Positionierung, während die normalen Token die Details kennen. Das zeigt: Jede Architektur hat ihre eigene Art, die Arbeit aufzuteilen.

5. Helfen die „Notizzettel" (Register)?

Die ursprüngliche Lösung war: Gib dem Modell extra leere Notizzettel (Register), damit es sich dort Gedanken macht und die Bilder nicht verunstaltet.

• Das Ergebnis: Ja, es funktioniert! Wenn man diese Register hinzufügt, verschwinden die verrückten Flecken auf den Karten. Die Bilder werden wieder sauber und klar.
• Aber: Das macht das Modell nicht unbedingt intelligenter. Die Register übernehmen zwar die „globale Information", aber sie helfen nicht unbedingt dabei, das Bild besser zu erkennen (z. B. bei der Klassifizierung). Es ist wie ein Assistent, der den Schreibtisch aufräumt, aber nicht unbedingt besser arbeitet.

Das Fazit in einem Satz

Die neuen Forscher sagen: „Die Idee mit den extra Notizzetteln (Registern) ist super, um die Karten sauber zu halten, aber wir müssen aufhören, alle KI-Modelle über einen Kamm zu scheren. Was bei einem riesigen Standard-Modell passiert, gilt nicht unbedingt für ein kleines oder ein speziell aufgebautes Modell. Die Art und Weise, wie diese Modelle ihre Gedanken sortieren, ist viel komplexer und individueller als gedacht."

Kurz gesagt: Die KI braucht manchmal einen extra Platz zum Denken, aber nicht jedes Gehirn denkt auf die gleiche Weise.