Can VLMs Reason Robustly? A Neuro-Symbolic Investigation

Die Studie zeigt, dass herkömmliche Vision-Language-Modelle bei Kovariatenverschiebungen versagen, und stellt VLC vor, eine neuro-symbolische Methode, die VLM-basierte Objekterkennung mit exakt ausführbaren symbolischen Schaltkreisen kombiniert, um robustes logisches Schließen zu gewährleisten.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen sehr klugen, aber manchmal etwas chaotischen Assistenten. Dieser Assistent ist ein Vision-Language Model (VLM). Er kann Bilder sehen und Texte verstehen. Wenn Sie ihm ein Bild von drei Äpfeln zeigen und fragen: „Wie viele Äpfel sind das?", antwortet er sofort: „Drei". Das ist super, wenn die Äpfel immer gleich aussehen.

Aber was passiert, wenn Sie ihm plötzlich ein Bild mit tausend Äpfeln zeigen, oder wenn die Äpfel in einer völlig anderen Anordnung liegen? Oder wenn Sie ihn bitten, eine komplexe Rechenaufgabe zu lösen, bei der die Anzahl der Objekte variiert?

Genau hier liegt das Problem, das diese Forscher untersucht haben.

Das Problem: Der Assistent lernt nur Muster, keine Regeln

Die Forscher stellten fest, dass diese KI-Assistenten oft nur Muster auswendig lernen, anstatt die eigentliche Logik zu verstehen.

• Die Analogie: Stellen Sie sich vor, Sie trainieren einen Schüler, indem Sie ihm immer nur Bilder mit 3 Äpfeln zeigen und ihm sagen: „Das sind 3". Wenn Sie ihn dann testen, wie er mit 100 Äpfeln umgeht, scheitert er oft. Er hat nicht gelernt, zu zählen; er hat nur gelernt, wie ein Bild mit 3 Äpfeln aussieht.
• Das Ergebnis: Wenn sich die Bilder ändern (z. B. mehr Objekte, andere Anordnung), versagt der KI-Assistent, obwohl die Regel (z. B. „addiere alles") genau dieselbe bleibt. Er ist nicht robust.

Der Versuch mit „Neuro-Symbolischen" Methoden

Die Forscher dachten sich: „Okay, lassen wir den KI-Assistenten die Bilder ansehen, aber die eigentliche Logik macht ein Computerprogramm."
Sie testeten zwei moderne Ansätze:

1. Prism: Der Assistent schaut hin, dann gibt er die Daten an einen riesigen Sprach-Chatbot (LLM) weiter, der die Logik lösen soll.
2. ViperGPT: Der Chatbot schreibt ein Computerprogramm, das die Aufgabe löst.

Das Ergebnis war enttäuschend: Auch diese Methoden waren nicht perfekt. Der Chatbot machte manchmal logische Fehler, oder das Programm scheiterte, wenn der Bild-Erkennungs-Assistent einen kleinen Fehler machte. Es war wie ein Team, bei dem jeder auf den anderen wartet und ein einziger Fehler das ganze System zum Kollabieren bringt.

Die Lösung: VLC – Der „Baukasten" aus Mensch und Maschine

Die Forscher entwickelten eine neue Methode namens VLC (Vision-Language Circuit). Hier ist die Idee in einfachen Worten:

Stellen Sie sich VLC als ein perfektes Team aus einem Fotografen und einem strengen Mathematiker vor.

1. Der Fotograf (Die KI): Seine einzige Aufgabe ist es, das Bild zu betrachten und zu sagen: „Ich sehe hier eine 5, eine 3 und eine 7." Er muss nicht rechnen, er muss nur erkennen.
2. Der Mathematiker (Der Schaltkreis): Dieser ist kein KI-Modell, sondern ein festes, unveränderliches Computerprogramm (ein sogenannter „Schaltkreis" oder Circuit). In dieses Programm hat der Mensch die Regeln fest eingebrannt.
   • Beispiel: „Wenn du Zahlen siehst, addiere sie."
   • Der Mathematiker nimmt die Zahlen vom Fotografen (5, 3, 7) und rechnet sie exakt nach der festgelegten Regel aus. Er macht keine Fehler, er rät nicht, er folgt strikt den Regeln.

Warum ist das besser?
Weil die Regel (das Addieren) nicht vom Zufall abhängt. Selbst wenn der Fotograf ein Bild mit 100 Zahlen sieht, rechnet der Mathematiker einfach weiter. Er ist immun gegen die Verwirrung, die bei reinen KI-Modellen auftritt, wenn sich die Bilder ändern.

Was haben die Forscher gelernt?

1. Größer ist nicht immer klüger: Wenn man die KI-Assistenten größer macht (mehr Daten, mehr Parameter), werden sie besser darin, Dinge zu erkennen (z. B. „Das ist eine 5"), aber sie werden nicht unbedingt besser darin, zu logisch zu denken.
2. Logik muss explizit sein: Man kann KI nicht einfach darauf hoffen lassen, dass sie die Logik von selbst lernt. Man muss die Logik (die Regeln) in ein festes System einbauen, das sie nicht vergisst.
3. Trennung ist der Schlüssel: Wenn man das „Sehen" (die KI) vom „Denken" (das feste Programm) trennt, wird das System viel zuverlässiger.

Fazit

Die Botschaft der Studie ist wie folgt: Um KI wirklich robust zu machen, sollten wir sie nicht versuchen, alles auf einmal zu lernen. Stattdessen sollten wir sie als Werkzeug nutzen, um die Welt zu sehen, und dann klare, feste Regeln (wie ein Baukasten) verwenden, um die eigentliche Arbeit zu erledigen. So funktioniert der Assistent nicht nur mit den Bildern, die er kennt, sondern auch mit neuen, schwierigen Situationen.

Technische Zusammenfassung

Problemstellung

Vision-Language Models (VLMs) haben in den letzten Jahren erhebliche Fortschritte bei verschiedenen Aufgaben gemacht, doch es bleibt unklar, ob sie robust unter Kovariatenverschiebungen (Covariate Shifts) reasoning können. Eine Kovariatenverschiebung liegt vor, wenn sich die Verteilung der Eingabedaten (z. B. die Anzahl oder Art der Objekte in einem Bild) ändert, während die zugrunde liegenden Regeln für die Vorhersage unverändert bleiben.

Die Autoren untersuchen diese Frage im Kontext von visuellem deduktivem Reasoning. Dabei erhält das Modell ein Bild mit mehreren Objekten sowie explizite logische Regeln, die definieren, wie aus den Objektkonzepten die Antwort abgeleitet werden soll.

• Hypothese: Herkömmliche VLMs, die durch end-to-end Fine-Tuning (Gradienten-basiert) angepasst werden, lernen zwar statistische Muster für die Trainingsverteilung, scheitern jedoch daran, die zugrunde liegende Reasoning-Funktion zu verallgemeinern.
• Beobachtung: Selbst neuere neuro-symbolische Ansätze, die Wahrnehmung und Reasoning entkoppeln (z. B. Prism, ViperGPT), zeigen oft inkonsistente Robustheit, da sie auf „Black-Box"-Komponenten (wie LLMs) für den Reasoning-Teil angewiesen sind.

Methodik: VLC (Vision-Language Circuit)

Um dieses Problem zu lösen, schlagen die Autoren VLC vor, ein neuro-symbolisches Paradigma, das die Wahrnehmung strikt vom Reasoning trennt. Der Ansatz besteht aus zwei sequentiellen Phasen:

1. Phase I: VLM-basierte Konzept-Erkennung (Perception)

   • Ein VLM (hier Qwen2.5-VL-7B) wird mittels Prompting (inkl. Few-Shot-Learning) verwendet, um die relevanten Objektkonzepte im Bild zu identifizieren (z. B. Ziffern, Farben, Formen).
   • Die Ausgabe des VLM wird extrahiert und in binäre Eingaben für den nächsten Schritt umgewandelt.
   • Wichtig: Das VLM wird hier nur für die Mustererkennung genutzt, nicht für das logische Schließen.

2. Phase II: Circuit-basiertes symbolisches Reasoning

   • Die expliziten Regeln der Aufgabe werden nicht vom neuronalen Netz gelernt, sondern in ein symbolisches Programm kompiliert, speziell in einen Booleschen Schaltkreis (im Paper als Sentential Decision Diagram, SDD, implementiert).
   • Dieser Schaltkreis führt die logischen Regeln exakt und deterministisch über die von Phase I erkannten Konzepte aus.
   • Das Ergebnis des Schaltkreises wird direkt als finale Antwort ausgegeben.

Dieser Ansatz vermeidet das Problem des „Black-Box"-Reasonings, da die Logik explizit kodiert ist und keine Approximation durch neuronale Gewichte erfordert.

Experimente und Datensätze

Die Evaluation erfolgte auf drei visuellen deduktiven Reasoning-Aufgaben mit unterschiedlichen Reasoning-Funktionen:

1. MNAdd: Addition von zwei mehrstelligen Zahlen (aus MNIST-Ziffern).
2. MNLogic: Berechnung des logischen XOR über eine Sequenz von Binärziffern.
3. KandLogic: Relationale Prüfung, ob alle Objekte gleicher Form auch die gleiche Farbe haben.

Kovariatenverschiebung: Die Datensätze wurden so konstruiert, dass das Training auf Bildern mit wenigen Objekten (z. B. 3 Ziffern) erfolgt, während der Test auf Bildern mit mehr Objekten (5 oder 7 Ziffern) durchgeführt wird. Dies simuliert eine Verteilungsverschiebung bei gleichbleibender Reasoning-Logik.

Wichtige Ergebnisse

1. Versagen von End-to-End Fine-Tuning:

   • Herkömmliche VLMs, die auf den Trainingsdaten (wenige Objekte) feinabgestimmt wurden, erreichten hohe Genauigkeit im In-Distribution-Bereich, scheiterten aber katastrophal beim Generalisieren auf Out-of-Distribution (OOD) Daten (mehr Objekte). Die Genauigkeit fiel oft auf das Niveau von Zufallsraten oder der Vorab-Trainingsleistung zurück. Dies zeigt, dass Gradienten-basiertes Fine-Tuning die eigentliche Reasoning-Funktion nicht zuverlässig erlernt.

2. Inkonsistenz bei anderen Neuro-Symbolischen Ansätzen:

   • Prism (nutzt ein LLM für Reasoning): Zeigte gute Ergebnisse bei arithmetischen Aufgaben, versagte aber bei logischen Aufgaben (XOR, Relationen). Das LLM kann die Reasoning-Funktion nicht konsistent über verschiedene Aufgaben hinweg kodieren.
   • ViperGPT (generiert Code): Zeigte hohe Genauigkeit bei KandLogic, aber sehr niedrige bei MNAdd. Der Fehler lag hier oft in der Detektionskomponente (GroundingDINO), die bei komplexeren Bildern versagte und Fehler kaskadierte.

3. Überlegenheit von VLC:

   • VLC erzielte konsistent hohe Genauigkeit über alle Aufgaben und alle Verschiebungen hinweg (z. B. von 3 auf 7 Objekte).
   • Da die Reasoning-Logik im Schaltkreis exakt kodiert ist, hängt die Leistung von VLC primär von der Erkennungsgenauigkeit des VLM ab. Sobald die Konzepte korrekt erkannt werden, ist das Reasoning fehlerfrei.
   • Ablationsstudien:
     • Skalierung des VLM-Modells verbesserte die Konzept-Erkennung, aber nicht unbedingt die Reasoning-Fähigkeit bei reinen End-to-End-Ansätzen.
     • Fine-Tuning des VLM nur für die Konzept-Erkennung (nicht für das Reasoning) verbesserte die OOD-Leistung von VLC signifikant, da die Erkennungsmerkmale robuster gegenüber Verteilungsänderungen sind als Reasoning-Merkmale.

Hauptbeiträge

1. Einführung von VLC: Ein einfacher, aber effektiver neuro-symbolischer Ansatz, der VLMs für die Wahrnehmung und kompilierte Schaltkreise für exaktes Reasoning kombiniert.
2. Empirische Evidenz: Der Nachweis, dass End-to-End Fine-Tuning von VLMs keine robuste Reasoning-Fähigkeit unter Kovariatenverschiebungen garantiert und dass Black-Box-LLMs für Reasoning unzuverlässig sein können.
3. Robustheitsnachweis: Demonstration, dass das explizite Kodieren der Reasoning-Funktion in ein symbolisches Programm (Circuit) die Generalisierungsfähigkeit und Robustheit drastisch erhöht, selbst bei einfachen visuellen Aufgaben.

Bedeutung und Ausblick

Die Arbeit unterstreicht die Grenzen rein datengetriebener, end-to-end trainierter Modelle bei strukturierten Reasoning-Aufgaben. Sie zeigt, dass die Entkopplung von Wahrnehmung und Reasoning durch explizite symbolische Module ein vielversprechender Weg ist, um interpretierbare und robuste KI-Systeme zu bauen.

Limitationen und zukünftige Richtungen:

• Der aktuelle Ansatz setzt voraus, dass die symbolischen Regeln bereits bekannt sind. Die automatische Extraktion dieser Regeln aus natürlichen Sprachbeschreibungen ist eine offene Herausforderung.
• Der symbolische Modul ist derzeit auf eine spezifische Aufgabe zugeschnitten; die Entwicklung flexiblerer Module, die mehrere Reasoning-Funktionen handhaben können, wäre wünschenswert.
• Die Abhängigkeit von der Erkennungsgenauigkeit des VLM bleibt ein kritischer Faktor, der durch robustere Erkennungsmechanismen weiter verbessert werden muss.

Zusammenfassend liefert das Paper einen starken Beleg dafür, dass für robustes Reasoning unter Verteilungsverschiebungen nicht einfach „mehr Daten" oder „größere Modelle" ausreichen, sondern eine strukturelle Integration von symbolischem Wissen notwendig ist.