Do LLMs and VLMs Share Neurons for Inference? Evidence and Mechanisms of Cross-Modal Transfer

1. Problemstellung

Große Vision-Language-Modelle (LVLMs) haben in den letzten Jahren rapide Fortschritte in Bereichen wie Bildbeschreibung und Objekterkennung gemacht. Dennoch hinken sie bei Aufgaben, die multistep Inference (mehrschrittige Schlussfolgerung) und kompositionelle Entscheidungsfindung erfordern, deutlich hinter starken rein textbasierten Large Language Models (LLMs) zurück.

Bisherige Ansätze, diese Lücke zu schließen, konzentrierten sich auf das Skalieren von LVLMs durch mehr multimodale Daten und größere Modelle. Dies stößt jedoch an Grenzen:

• Es gibt deutlich weniger gepaarte Daten (Bild + Begründung/Reasoning) im Vergleich zu riesigen Textkorpora.
• Es ist unklar, wie die allgemeinen Schlussfolgerungsfähigkeiten von LLMs effizient auf multimodale Settings übertragen werden können, ohne teures Neulernen (Fine-Tuning) zu betreiben.

Die zentrale Forschungsfrage lautet daher: Können wir die ausgereiften Schlussfolgerungsfähigkeiten von LLMs nutzen, um LVLMs mit geringem Aufwand zu verbessern, und teilen diese Modelle eine gemeinsame interne Rechenbasis?

2. Methodik und Kernkonzepte

Das Paper verfolgt einen dreistufigen Ansatz: Empirische Analyse, Kausale Validierung und einen effizienten Transfer-Mechanismus.

A. Empirische Analyse: Identifikation geteilter Neuronen

Die Autoren untersuchen auf Neuronenebene, ob LLMs und LVLMs gemeinsame interne Pfade für Inferenz nutzen.

• Aktivierungsprofilierung: Sie definieren einen „Neuron Detection Corpus" mit Inferenz-Aufgaben (z. B. Mathematik- und Wissenschaftsfragen).
• Messkriterium: Ein Neuron gilt als aktiviert, wenn dessen Deaktivierung (Nullsetzen der Parameter) zu einer signifikanten Änderung im Embedding führt.
• Ergebnis: Es wird eine überraschend große Überlappung festgestellt. Bei repräsentativen Modellen (z. B. Qwen2.5-VL vs. Qwen2.5-Math) teilen sich über 50 % der am stärksten aktivierten Einheiten (Top-Activated Units) während der Inferenz.
• Verteilung: Diese geteilten Neuronen konzentrieren sich stark in den Attention-Key-Matrizen (attn.k) und sekundär in den Attention-Value-Matrizen (attn.v), insbesondere in frühen und späten Schichten des Transformers.

B. Kausale Validierung: Verstärkungsanalyse (Amplification)

Um zu beweisen, dass diese Neuronen funktionell relevant sind und nicht nur zufällig aktiv sind:

• Amplification: Die Aktivierung der identifizierten geteilten Neuronen wird künstlich verstärkt ($\lambda \cdot N$).
• Ergebnis: Die Verstärkung führt zu einer systematischen Verbesserung der Inferenzleistung. Zudem zeigen Wortwolken der generierten Tokens, dass diese Neuronen spezifische Konzepte kodieren (z. B. Algebra, Geometrie, Zahlen), was ihre Rolle als Träger mathematischen Wissens untermauert.
• Ablation: Das gezielte Deaktivieren nur dieser geteilten Neuronen lässt die Inferenzleistung auf 0,0 kollabieren, während das zufällige Deaktivieren gleicher Neuronenanzahl nur moderate Einbußen verursacht. Dies beweist, dass diese Neuronen für die Inferenz unverzichtbar sind.

C. Proposed Solution: Shared Neuron Low-Rank Fusion (SNRF)

Basierend auf diesen Erkenntnissen schlagen die Autoren SNRF vor, ein parameter-effizientes Framework zum Transfer von Inferenz-Circuitry von einem Quell-LLM auf ein Ziel-LVLM.

• Prinzip: Anstatt das gesamte Modell neu zu trainieren, werden nur die empirisch identifizierten „geteilten Neuronen" aktualisiert.
• Algorithmus:
  1. Identifikation der Schnittmenge der Neuronen ($S_{\ell,p}$) zwischen Quell- und Zielmodell.
  2. Berechnung der Gewichtsunterschiede ($\Delta = W_{src} - W_{tgt}$).
  3. Anwendung einer Low-Rank Approximation (SVD) auf diese Differenzen, um eine kompakte Transfer-Signatur zu extrahieren.
  4. Selektives Injecting: Die Low-Rank-Updates werden ausschließlich auf die geteilten Neuronen projiziert, während die für die visuelle Wahrnehmung zuständigen Neuronen intakt bleiben.
• Theoretischer Vorteil: Im Gegensatz zu linearem Merging (Weight Averaging), das auch nicht-geteilte Bereiche (wo die Krümmung der Loss-Landschaft hoch sein kann) verändert, maskiert SNRF diese Bereiche und minimiert so den Verlust an visueller Leistung.

3. Wichtige Ergebnisse

Die Methode wurde auf verschiedenen Benchmarks (MathVista, ScienceQA, MMMU-Pro, MME, POPE) und Modellarchitekturen (Qwen2.5, Intern2.5, Idefics3, LLaVA) evaluiert.

• Leistungssteigerung bei Inferenz: SNRF verbessert die mathematische und wissenschaftliche Schlussfolgerung konsistent.
  • Auf MathVista gab es durchschnittlich +2,0 Punkte bei der Lösung (Solution) und +1,66 bei Chain-of-Thought (CoT).
  • Auf ScienceQA wurden massive Verbesserungen erzielt (z. B. +22,6 Punkte beim Qwen2.5-VL-3B).
  • Auf dem strengen MMMU-Pro (V) wurden signifikante Sprünge erzielt (z. B. von 0,000 auf 0,186 beim Intern2.5-VL-4B).
• Erhaltung visueller Fähigkeiten: Im Gegensatz zu Training-basierten Methoden bleibt die visuelle Wahrnehmung (gemessen durch MME) und die Halluzinationsrate (gemessen durch POPE) stabil oder verbessert sich sogar leicht.
• Vergleich mit Baselines: SNRF übertrifft andere Merging-Strategien (wie Linear Merge, DARE, FRANK) und wettbewerbsfähige Fine-Tuning-Ansätze (SFT, RL) bei Inferenz-Aufgaben, ohne die Notwendigkeit für große multimodale Trainingsdaten.

4. Hauptbeiträge

1. Empirischer Nachweis: Der Nachweis, dass LLMs und LVLMs einen signifikant überlappenden „Neuronen-Subraum" für Inferenzaufgaben teilen, der über Modality und Trainingskorpora hinweg konsistent ist.
2. Kausale Interpretierbarkeit: Durch Amplification wird gezeigt, dass diese geteilten Neuronen interpretierbare, konzeptuelle Bedeutungen (insbesondere mathematische) kodieren und kausal für die Inferenzleistung verantwortlich sind.
3. SNRF Framework: Die Entwicklung einer parameter-effizienten Methode, die reife Text-Inferenzfähigkeiten in multimodale Modelle überträgt, indem sie selektiv nur die relevanten Neuronen aktualisiert. Dies ermöglicht einen „Low-Cost"-Transfer ohne teures Multimodal-Fine-Tuning.

5. Bedeutung und Ausblick

Diese Arbeit liefert einen fundamentalen Einblick in die Architektur von Vision-Language-Modellen: Inferenzfähigkeiten sind nicht strikt an die Modalität gebunden, sondern existieren als modality-invarianter Subraum innerhalb der Transformer-Architektur.

Die Bedeutung liegt in der praktischen Anwendbarkeit:

• Effizienz: Es ist möglich, die starken Reasoning-Fähigkeiten von spezialisierten Text-LLMs (z. B. Math-Experten) auf kleinere oder weniger trainierte LVLMs zu übertragen, ohne die visuelle Intelligenz zu beeinträchtigen.
• Skalierbarkeit: Dies bietet einen Weg, um die Lücke zwischen Text- und Multimodal-Reasoning zu schließen, ohne auf die Verfügbarkeit riesiger Mengen an hochwertigen Bild-Begründungs-Daten angewiesen zu sein.
• Interpretierbarkeit: Das Verständnis, welche Neuronen für Inferenz zuständig sind, eröffnet neue Wege für gezieltes Editing und Debugging von Modellen.

Zusammenfassend demonstriert das Paper, dass der Schlüssel zur Verbesserung von LVLMs nicht unbedingt in mehr Daten liegt, sondern im intelligenten Wiederverwenden und Fokussieren auf die bereits existierende, gemeinsame „Inferenz-Hardware" innerhalb der Modelle.