💻 computer science

Mind the Heads: Topological Representation Alignment for Multimodal LLMs

Dieses Paper schlägt HeRA vor, eine neuartige Methode, die multimodale große Sprachmodelle verbessert, indem sie die topologische Repräsentationsausrichtung auf der Ebene des einzelnen Attention-Heads erzwingt, wobei aufgezeigt wird, dass die gezielte Ansprache der am wenigsten ausgerichteten Heads signifikante Leistungssteigerungen bewirkt und visuelle Halluzinationen reduziert.

Ursprüngliche Autoren: Davide Caffagni, Alberto Compagnoni, Federico Melis, Sara Sarto, Pier Luigi Dovesi, Mark Granroth-Wilding, Marcella Cornia, Lorenzo Baraldi

Veröffentlicht 2026-06-24

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Davide Caffagni, Alberto Compagnoni, Federico Melis, Sara Sarto, Pier Luigi Dovesi, Mark Granroth-Wilding, Marcella Cornia, Lorenzo Baraldi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Einem Roboter beibringen, mit seinen Worten zu „sehen“

Stellen Sie sich vor, Sie hätten einen brillanten Roboter, der ein Meister des Geschichtenerzählens ist, aber ein schrecklicher Beobachter. Er kann wunderschöne Gedichte schreiben und komplexe Geschichtsfragen beantworten, aber wenn Sie ihm ein Bild von einer Katze zeigen, die auf einer Matte sitzt, behauptet er vielleicht voller Zuversicht, die Katze würde fliegen, weil er so viele Geschichten über fliegende Katzen gelesen hat. Dies ist ein häufiges Problem bei multimodalen großen Sprachmodellen (MLLMs): Sie verlassen sich zu sehr auf das, was sie zu wissen glauben (Sprache), und nicht genug auf das, was sie tatsächlich sehen (Vision).

Um dies zu beheben, versuchen Forscher normalerweise, das Gehirn des Roboters so zu „lehren“, dass es der Art und Weise entspricht, wie ein spezialisierter „Vision-Lehrer“ (ein spezialisiertes Kamera-Gehirn) die Welt sieht. Die alte Methode war jedoch so, als würde man versuchen, ein ganzes Orchester abzustimmen, indem man jedes einzelne Instrument dazu zwingt, exakt dieselbe Note zur exakt gleichen Zeit zu spielen. Das ist zu starr und zerstört oft die Musik (die Fähigkeit des Roboters zu sprechen und zu argumentieren).

Die neue Lösung: HeRA (Head-Wise Representation Alignment)

Die Autoren dieser Arbeit schlagen einen klügeren, chirurgischeren Ansatz namens HeRA vor. Anstatt das ganze Gehirn abzustimmen, stimmen sie spezifische „Musiker“ innerhalb des Gehirns des Roboters ab.

1. Das Gehirn ist ein Chor aus spezialisierten Sängern

Im Inneren des Sprachgehirns des Roboters (dem LLM) gibt es nicht nur einen großen Prozessor. Es gibt viele Schichten, und innerhalb jeder Schicht gibt es Dutzende von „Attention Heads“ (Aufmerksamkeitsköpfen). Betrachten Sie diese Köpfe als einzelne Sänger in einem Chor.

Einige Sänger sind großartig in Grammatik.
Einige sind gut darin, Fakten zu behalten.
Einige sind gut in visuellen Beschreibungen.
Einige sind einfach... schlecht darin, das zu beschreiben, was sie sehen.

2. Die „Platonische“ Idee: Das Viertel bewahren

Die Arbeit basiert auf einer Theorie namens Platonic Representation Hypothesis. Stellen Sie sich vor, das Gehirn des Roboters ist eine Karte einer Stadt.

In einer guten Karte sollten Orte, die ähnlich sind (wie zwei verschiedene Arten von Hunden), in der Nähe beieinander liegen.
In einer schlechten Karte könnte ein Hund neben einem Toaster liegen, nur weil der Roboter verwirrt war.

Das Ziel ist es, sicherzustellen, dass die „visuelle Karte“ des Roboters mit der „Sprachkarte“ übereinstimmt, sodass ähnliche Dinge Nachbarn bleiben. Die Forscher verwenden eine Metrik namens MKNN (Mutual K-Nearest Neighbor), um zu überprüfen, ob die Nachbarn an den richtigen Stellen bleiben.

3. Die überraschende Wendung: Repariere die schlechtesten Sänger

Hier kommt die kontraintuitive Magie von HeRA ins Spiel.

Alte Methode: Versuche, die „besten“ Sänger (diejenigen, die bereits gut in der Vision sind) mit dem Lehrer abzustimmen.
HeRA-Methode: Die Forscher fanden heraus, dass die schlechtesten Sänger (die Attention Heads mit den niedrigsten Alignment-Scores) eigentlich diejenigen sind, die am meisten Hilfe benötigen.

Die Analogie: Stellen Sie sich ein Team von Läufern vor. Wenn Sie den schnellsten Läufer trainieren, wird er vielleicht ein bisschen schneller, aber die Gesamtzeit des Teams wird sich nicht viel ändern. Aber wenn Sie den langsamsten Läufer nehmen und ihm ein persönliches Coaching geben, damit er aufholt, verbessert sich das gesamte Team signifikant.

HeRA identifiziert die 5 „langsamsten“ (am wenigsten ausgerichtten) Attention Heads im Gehirn des Roboters und gibt ihnen eine spezielle Trainingseinheit, um mit dem „Vision-Lehrer“ zu übereinstimmen. Die anderen Köpfe werden in Ruhe gelassen, damit sie nicht vergessen zu sprechen oder zu argumentieren.

Wie es funktioniert (Das Training)

Der Lehrer: Ein eingefrorener, superintelligenter Vision-Encoder (wie ein DINOv2 Kamera-Gehirn) betrachtet ein Bild und sagt: „Dies ist ein Hund neben einem Ball.“
Der Schüler: Der Roboter betrachtet dasselbe Bild und denselben Text.
Die Korrektur: Das System prüft, welche spezifischen „Sänger“ (Attention Heads) im Roboter das Viertel falsch interpretieren. Es verwendet dann einen speziellen „Contrastive Loss“ (eine mathematische Strafe), um diese spezifischen Sänger sanft dazu zu bewegen, ihre interne Karte neu anzuordnen, sodass „Hund“ und „Ball“ nah beieinander liegen, genau wie auf der Karte des Lehrers.

Die Ergebnisse: Bessere Vision, kein Verlust an Intelligenz

Die Autoren haben dieses Papier an vielen verschiedenen Roboter-Modellen getestet (von kleinen Modellen mit 3 Milliarden Parametern bis hin zu massiven 14 Milliarden Parametern) und 18 verschiedene Tests durchgeführt.

Visuelle Aufgaben: Die Roboter wurden bei schwierigen visuellen Aufgaben viel besser, wie zum Beispiel beim Zählen von Objekten, beim Verständnis räumlicher Beziehungen (ist die Tasse auf dem Tisch oder unter dem Tisch?) und beim Erkennen spezifischer Details.
Kein „Gehirnschaden“: Entscheidend ist, dass die Roboter ihre Fähigkeit zu sprechen, zu argumentieren oder allgemeine Wissensfragen zu beantworten, nicht verloren haben, weil nur die spezifischen „vision-geforderten“ Köpfe angepasst wurden. Tatsächlich wurden sie oft sogar besser darin.
Weniger Halluzinationen: Die Roboter hören auf, Dinge zu erfinden, die gar nicht da sind. Da sie gezwungen wurden, das visuelle „Viertel“ zu respektieren, konnten sie nicht einfach basierend auf dem, was sie in Büchern gelesen haben, raten.

Zusammenfassung

Das Paper stellt HeRA vor, eine Methode, die Multimodal-KI repariert, indem sie chirurgisch nur die Teile des Gehirns trainiert, die schlecht im Sehen sind. Anstatt das ganze Gehirn zu verändern, identifiziert HeRA die „kämpfenden“ Attention Heads und hilft ihnen, sich mit einem Vision-Lehrer abzustimmen. Dies führt dazu, dass Roboter die Welt genauer sehen, weniger Fehler machen und nicht ihre Fähigkeit verlieren, zu sprechen und zu denken.

Technisches Resümee: Head-Wise Representation Alignment (HeRA) für multimodale LLMs

Problemstellung

Multimodale Large Language Models (MLLMs) haben signifikante Fähigkeiten in Vision-Language-Aufgaben demonstriert, kämpfen jedoch weiterhin mit grundlegenden visuellen Denkprozessen wie Objektzählen, dem Verständnis räumlicher Beziehungen und der dichten visuellen Analyse. Aktuelle Verbesserungen bei MLLMs werden primär durch die Skalierung von Daten und Modellgröße vorangetrieben, statt durch prinzipielle Interventionen in interne Mechanismen.

Eine primäre Einschränkung bestehender Methoden zur Repräsentationsausrichtung – welche die internen Repräsentationen eines MLLM an die eines externen Vision-Encoders angleichen – liegt in deren Abhängigkeit von der Ausrichtung einer festen Schicht (fixed layer) des Sprach-Backbones (z. B. der mittleren Schicht). Dieser Ansatz übersieht die feingliedrige interne Struktur von Transformer-Modellen. Zudem kann eine starre Merkmalsanpassung (feature matching) in MLLMs, die über starke vortrainierte Sprach-Priors verfügen, im Konflikt mit dem Sprachmodellierungsziel stehen, was potenziell zu suboptimaler Leistung oder katastrophaler Interferenz führen kann.

Methodik: Head-Wise Representation Alignment (HeRA)

Die Autoren schlagen HeRA vor, eine Methode, die die kreuzmodale Ausrichtung auf der Ebene einzelner Attention Heads erzwingt, anstatt auf der Ebene grober, fester Schichten. Der Ansatz basiert auf der Platonic Representation Hypothesis (PRH), die postuliert, dass Repräsentationen über verschiedene Modalitäten hinweg konsistente lokale Nachbarschaftsstrukturen (Topologie) teilen, selbst wenn sich ihre globale Geometrie unterscheidet.

Kernkomponenten

Topologische Ausrichtung via MKNN:
Die Methode nutzt die Mutual K-Nearest Neighbor (MKNN) Metrik, um die Übereinstimmung zwischen den lokalen Nachbarschaftsstrukturen von textuellen und visuellen Repräsentationen zu messen. Hohe MKNN-Scores deuten darauf hin, dass semantisch ähnliche Eingaben in sowohl den Sprach- als auch den Vision-Latent-Spaces ähnliche Nachbarn teilen.
Differenzierbare kontrastive Proxy-Funktion:
Da die MKNN-Metrik nicht differenzierbar ist (da sie auf diskreten Nachbarschaftsindizes basiert), führt HeRA eine kontrastive Zielgröße als differenzierbare Proxy ein. Für einen gegebenen multimodalen Input wird das Modell darauf trainiert, seine Repräsentation näher an die Repräsentationen der $k$ -nächsten Nachbarn (berechnet im Raum eines eingefrorenen Teacher-Vision-Encoders) zu ziehen und gleichzeitig von anderen Proben im Batch wegzustoßen. Dies wird mittels einer Multi-Target-Variante des InfoNCE-Loss implementiert.
Granularität auf Head-Ebene:
Anstatt den gesamten gepoolten Output einer Schicht auszurichten, isoliert HeRA den projizierten Beitrag einzelner Attention Heads. Für eine Multi-Head-Attention-Schicht wird der Output in die Beiträge jedes Heads ( $h$ ) in der Schicht ( $l$ ) zerlegt. Der kontrastive Loss wird unabhängig auf diese spezifischen Repräsentationen auf Head-Ebene angewendet.
Strategische Head-Auswahl:
Eine entscheidende Designentscheidung ist die Bestimmung, welche Heads ausgerichtet werden sollen. Die Autoren berechnen die MKNN-Scores für alle Heads des Sprachmodells vor dem multimodalen Training (rein textuelle Repräsentationen). Entgegen der Intuition, dass man die „besten“ Heads ausrichten sollte, zeigen Experimente, dass das Anvisieren der am wenigsten ausgerichteten Heads (die „Worst-5“) die größten Leistungssteigerungen erzielt. Diese Strategie stärkt die falsch ausgerichteten Komponenten, ohne bereits gut ausgerichtete Strukturen oder die Kernaufgabe der Sprachmodellierung zu stören.

Wichtigste Beiträge

Feingliedrige Ausrichtung: Der Übergang von der festen Schicht-Ausrichtung hin zur Arbeit auf der Ebene einzelner Attention Heads ermöglicht atomarere Interventionen im Modell.
Topologischer Fokus: Ein Wechsel vom strikten Merkmalsmatching hin zur Bewahrung lokaler topologischer Strukturen (Nachbarschaftsbeziehungen) über Modalitäten hinweg, passend zur PRH.
Kontraintuitive Selektionsstrategie: Identifizierung, dass die Ausrichtung der am wenigsten ausgerichteten Attention Heads eine überlegene Regularisierung und Leistungsverbesserung bietet im Vergleich zur Ausrichtung bereits gut ausgerichteter Heads oder zufälliger Teilmengen.
Regularisierung gegen Halluzinationen: Demonstration, dass topologische Ausrichtung die Überreaktion des Modells auf linguistische Priors natürlich begrenzt, wodurch visuelle Halluzinationen reduziert werden.

Experimentelle Ergebnisse

Die Autoren evaluierten HeRA über mehrere MLLMs (darunter Vicuna, LLaMA3, Qwen2.5 und Qwen3 Familien im Bereich von 3B bis 14B Parametern) und 18 Benchmarks.

Vision-zentrierte Aufgaben: HeRA verbessert die Leistung auf anspruchsvollen vision-zentrierten Benchmarks konsistent (z. B. RWQA, MMVP, Blink, CVBench). Beispielsweise erreichte Qwen3-8B eine durchschnittliche Verbesserung von +3,6 bei Vision-Aufgaben, und Qwen2.5-14B verzeichnete einen Gewinn von +3,4.
Allgemeine Fähigkeiten: Im Gegensatz zu früheren Methoden, die teilweise die allgemeine Sprachleistung verschlechterten, bewahrt oder verbessert HeRA die Scores bei General Knowledge, OCR und Knowledge-Aufgaben, was auf eine erfolgreiche Vermeidung katastrophaler Interferenz hindeutet.
Reduktion von Halluzinationen: Mit HeRA trainierte Modelle zeigen reduzierte Halluzinationsraten (gemessen an den CHAIR- und AMBER-Benchmarks), während sie gleichzeitig kognitive Scores beibehalten oder verbessern, was auf eine treuere Integration visueller Evidenz hindeutet.
Ablationsstudien:
- Das Ausrichten der „Worst-5“ Heads übertrifft das Ausrichten der „Top-5“ oder zufälliger Heads.
- Das Ausrichten zu vieler Heads (z. B. 10) führt zu einer Leistungsregression, was die Notwendigkeit selektiver Ausrichtung bestätigt.
- Kontrastive Lernziele übertreffen direktes Feature-Matching (Cosine Similarity) bei gleicher Granularität.
- Die Verwendung von DINO-basierten Vision-Encodern als Teacher liefert bessere Ergebnisse als die Verwendung desselben Encoders, der auch als primärer Vision-Input (SigLIP2) dient.

Bedeutung

Das Paper behauptet, dass HeRA einen prinzipiellen Ansatz zur Verbesserung von MLLMs bietet, indem es direkt in die Interaktion zwischen Vision und Sprache eingreift. Durch das Anvisieren spezifischer Attention Heads und das Erzwingen topologischer Konsistenz anstelle von starrem Merkmalsmatching adressiert HeRA das Defizit der visuellen Wahrnehmung in MLLMs, ohne deren linguistische Priors zu beeinträchtigen. Die Arbeit legt nahe, dass die „am wenigsten ausgerichteten“ Komponenten eines multimodalen Modells die kritischsten Ziele für Verbesserungen sind, was eine neue Richtung für Regularisierungsstrategien im multimodalen Lernen eröffnet. Der Code wurde veröffentlicht, um die weitere Forschung zu erleichtern.