Counting Circuits: Mechanistic Interpretability of Visual Reasoning in Large Vision-Language Models

1. Problemstellung

Die Arbeit untersucht die Fähigkeit von Large Vision-Language Models (LVLMs), Objekte zu zählen, und nutzt diese Aufgabe als minimalistischen „Probe" (Test), um die internen visuellen Reasoning-Mechanismen zu entschlüsseln.

• Das Paradoxon: Trotz ihrer allgemeinen Fähigkeiten scheitern LVLMs oft an trivialen Zählaufgaben (z. B. weniger als 10 einfache Punkte), während menschliche Kognition hier eine scharfe Diskontinuität aufweist: perfekte Genauigkeit bei kleinen Mengen („Subitizing") und schätzende Unsicherheit bei großen Mengen.
• Die Forschungsfrage: Handelt es sich bei der Zählleistung von LVLMs um einen emergenten Reasoning-Mechanismus oder lediglich um statistische Halluzinationen basierend auf Trainingsdaten-Priors?
• Lücken in der aktuellen Forschung: Bisherige Arbeiten behandeln Zählen oft als isolierte Aufgabe oder nutzen Probing-Methoden auf rein synthetischen Daten, die keine zuverlässigen Einblicke in die schaltkreis-level (circuit-level) Mechanismen der Transformer-Architektur (z. B. spezifische Attention-Heads) bieten.

2. Methodik

Die Autoren kombinieren kontrollierte synthetische Benchmarks mit mechanistischer Interpretierbarkeit, um die interne Funktionsweise zu analysieren und gezielt zu verbessern.

A. Datensätze und Evaluation

Es werden drei synthetische Datensätze verwendet, um visuelle Komplexität zu isolieren:

• SynDot: Schwarze Punkte auf weißem Hintergrund.
• SynPoly: Farbige Polygone (Dreiecke bis Sechsecke) mit variierenden Farben.
• SynReal: Photorealistische Objekte (generiert durch FLUX.1-dev).
  Die Evaluation erfolgt über Genauigkeit (ACC), mittleren absoluten Fehler (MAE), RMSE und „Off-by-one"-Genauigkeit.

B. Mechanistische Interpretierbarkeit (Interpretability)

Zwei neue Methoden wurden entwickelt, um die „Zähl-Schaltkreise" (Counting Circuits) zu identifizieren:

1. Visual Activation Patching (VAP): Eine Erweiterung der klassischen Aktivierungs-Patching-Technik auf multimodale Eingaben. Durch den Austausch von Hidden States zwischen korrekten und manipulierten Bildern (z. B. 3 vs. 5 Punkte) wird kausal nachgewiesen, wie Zählinformationen durch die Schichten fließen.
   • Ergebnis: Visuelle Informationen werden in den mittleren Schichten (ca. Layer 15–22) in den linguistischen Stream geroutet („Cross-Modal Routing"), und die numerische Antwort entsteht in den späteren Schichten.
2. HeadLens: Ein neues Werkzeug zur Dekodierung einzelner Attention-Heads. Anstatt die gesamte Schichtaktivierung zu projizieren, nutzt HeadLens die lineare Additivität der Multi-Head-Self-Attention, um die semantische Bedeutung einzelner Heads zu entschlüsseln.
   • Ergebnis: Identifikation von vier spezifischen Head-Kategorien:
     • Visual Grounding Heads (Frühe Schichten): Extrahieren Basismerkmale (Farbe, Form).
     • Cross-Modal Routing Heads (Mittlere Schichten): Übersetzen visuelle Signale in abstrakte numerische Konzepte.
     • Counting Aggregation Heads (Späte Schichten): Aggregieren die Information und korrelieren stark mit der finalen Vorhersage.
     • Awareness Heads: Kodieren das Vorhandensein von Objekten und die Schwierigkeit der Aufgabe.

C. Interventionsstrategie (Enhancement)

Basierend auf den Erkenntnissen wird eine leichte Fine-Tuning-Strategie entwickelt, die nur synthetische Bilder (8.000 Bilder) nutzt:

• Object-Focused Attention Regularizer: Ein Verlustterm, der die Aufmerksamkeit der Heads auf die Objektzentren lenkt (basierend auf einem Gauß-Kernel).
• Adaptive Head Temperature Tuning: Eine trainingsfreie Methode, die die Temperatur (Entropie) der identifizierten kritischen Heads reduziert, um deren Fokus auf relevante Tokens zu schärfen.
• Ziel: Nur das Zählen wird trainiert, um die zugrundeliegenden Reasoning-Schaltkreise zu stärken.

3. Schlüsselbeiträge (Key Contributions)

1. Kognitive Ausrichtung (Cognitive Alignment): LVLMs zeigen ein menschähnliches Verhalten mit präziser Zählung bei kleinen Mengen und schätzender Unsicherheit bei großen Mengen. Dies wird durch die topologische Verflechtung der Hidden-State-Mannigfaltigkeiten erklärt.
2. Methodische Innovation: Einführung von Visual Activation Patching und HeadLens, um schaltkreis-spezifische Funktionen in LVLMs zu isolieren.
3. Schaltkreis-Entdeckung (Circuit Discovery): Identifikation eines strukturierten „Zähl-Schaltkreises", der aus vier funktionalen Head-Kategorien besteht. Es wird gezeigt, dass ein Großteil dieser Heads auch für allgemeine visuelle Reasoning-Aufgaben fundamental ist.
4. Leistungssteigerung: Eine Interventionsstrategie, die nur synthetische Daten nutzt, verbessert nicht nur die Zählgenauigkeit, sondern auch die allgemeine visuelle Reasoning-Fähigkeit.

4. Ergebnisse

Die Methode wurde an drei LVLMs getestet: Qwen2.5-VL-7B, Qwen3-VL-8B und LLaVA-1.5-7B.

• Out-of-Distribution (OOD) Zählen:
  • Auf realistischen Benchmarks (SynReal, PixMo-Count) erzielte die Methode eine durchschnittliche Genauigkeitssteigerung von +8,36 %.
  • Selbst Modelle, die bereits stark waren (Qwen3-VL), zeigten signifikante Verbesserungen.
• Allgemeine visuelle Reasoning-Aufgaben:
  • Trotz des Trainings nur auf Zählen verbesserte sich die Leistung auf komplexen Benchmarks wie MMMU, RealWorldQA und MathVista um durchschnittlich +1,54 % (für Qwen2.5-VL).
  • Dies widerlegt die Annahme, dass Zählen eine isolierte Fähigkeit sei; es fungiert als fundamentale Komponente für allgemeines Reasoning.
• Ablationsstudie:
  • Eine Kontrollstudie zeigte, dass reines Training auf visuellen Erkennungsaufgaben (Farbe/Form) keine positiven Transfer-Effekte auf Reasoning-Aufgaben hat. Nur das Zählen, das Reasoning-Elemente erfordert, führt zu dieser allgemeinen Verbesserung.
  • Die Überlappung der wichtigsten Attention-Heads zwischen Zählen und komplexen Reasoning-Aufgaben beträgt >33 %, während sie bei reiner Wahrnehmung (Farbe/Form) minimal ist.

5. Bedeutung und Fazit

Die Arbeit demonstriert, dass Zählen nicht nur eine einfache Aufgabe ist, sondern ein kritischer Baustein (Primitive) für das allgemeine visuelle Verständnis in LVLMs.

• Mechanistische Einsicht: Es existieren spezifische, wiederverwendbare Schaltkreise im Transformer, die für das Zählen und komplexeres Reasoning verantwortlich sind.
• Praktische Implikation: Durch gezieltes, kostengünstiges Fine-Tuning auf einfachen synthetischen Zähl-Daten können die Reasoning-Fähigkeiten von LVLMs signifikant und generalisierbar verbessert werden, ohne massive neue Datensätze oder Architekturrevolutionen zu benötigen.
• Zukunftsperspektive: Dies eröffnet einen Weg, um die allgemeinen Reasoning-Fähigkeiten von KI-Modellen durch die Stärkung ihrer grundlegenden kognitiven Primitiven zu optimieren.