CoGR-MoE: Concept-Guided Expert Routing with Consistent Selection and Flexible Reasoning for Visual Question Answering

1. Problemstellung

Visuelle Frage-Antwort-Systeme (Visual Question Answering, VQA) erfordern von Modellen, die richtige Antwort aus mehreren Optionen basierend auf visuellen und textuellen Beweisen zu identifizieren.

• Herausforderung bei Mixture-of-Experts (MoE): Aktuelle MoE-Ansätze verbessern das Reasoning, indem sie Experten gruppieren oder basierend auf Beispielen routen. Es gibt jedoch einen fundamentalen Zielkonflikt:
  • Instabiles Routing: Wenn Eingaben semantisch ähnlich sind, aber unterschiedlich formuliert werden, kann das Routing inkonsistent sein (unterschiedliche Experten für dieselbe Frageart).
  • Übermäßige Stabilität: Zu starre Routing-Mechanismen führen dazu, dass immer dieselben Experten aktiviert werden. Dies reduziert die Flexibilität auf Ebene der einzelnen Antwortoptionen, da das Modell Schwierigkeiten hat, feine Unterschiede zwischen den Optionen zu erkennen und spezifische Beweise für jede Option zu gewichten.
• Folge: Das Modell versagt oft beim vergleichenden Reasoning (Option A vs. Option B), da es nicht in der Lage ist, die für jede Option spezifischen diskriminativen Merkmale zu extrahieren, während es gleichzeitig konsistent genug bleibt, um die richtige Antwortkategorie zu treffen.

2. Methodik: CoGR-MoE Framework

Die Autoren schlagen CoGR-MoE (Concept-Guided Routing) vor, ein Framework, das die Semantik der Antwortoptionen nutzt, um das Experten-Routing zu steuern und die Gewichtung dynamisch anzupassen. Der Ansatz besteht aus drei Hauptkomponenten:

A. Semantische Hinweise (Semantic Cues) Generierung

Ein Large Language Model (LLM) generiert für jede Antwortoption positive und negative semantische Hinweise (Cues):

• Positive Cues: Visuelle Merkmale, die im Bild vorhanden sein müssen, damit die Option korrekt ist.
• Negative Cues: Merkmale, die im Bild fehlen müssen, damit die Option korrekt ist.
• Unsicherheitsmessung: Es wird ein „Agreement Score" (Übereinstimmung mit dem Bild) und eine „Variance Score" (Stabilität der Hinweise) berechnet. Daraus wird eine Unsicherheitsmetrik ($unc$) abgeleitet, die zur Gewichtung der Trainingsdaten dient.

B. Konzept-gesteuertes Experten-Routing (Concept-Guided Routing)

Um Routing-Inkonsistenzen zu beheben, wird die Semantik der korrekten Antwort in den Routing-Prozess injiziert:

1. Semantische Richtung ($s_a$): Die Embeddings der positiven und negativen Cues der korrekten Antwort werden differenziert, um eine stabile semantische Richtung zu erzeugen.
2. Teacher-Router (Router T): Dieser Router nutzt die semantische Richtung $s_a$, um die Top-K Experten auszuwählen. Dies erzwingt eine konsistente Auswahl von Experten für Fragen derselben semantischen Kategorie.
3. Student-Router (Router S): Dieser Router wird während des Trainings durch Distillation (KL-Divergenz-Loss) vom Teacher-Router gelernt. Er nutzt keine Cues zur Inferenz, sondern imitiert das Routing-Verhalten des Teachers basierend nur auf Bild und Frage. Dies ermöglicht eine cue-freie Inferenz bei konsistentem Routing.

C. Optionsspezifisches Umgewichtieren (Option-Aware Reweighting)

Nach der Auswahl der gemeinsamen Top-K Experten werden diese für jede einzelne Antwortoption dynamisch neu gewichtet:

• Jede Option $j$ nutzt ihre eigenen Cues, um eine option-spezifische semantische Richtung $s_j$ zu berechnen.
• Diese Richtung wird verwendet, um die Gewichte der bereits ausgewählten Top-K Experten anzupassen ($g_{i,j}$).
• Ergebnis: Alle Optionen teilen sich denselben Satz von Experten, erhalten aber durch die Umgewichtierung eine unterscheidbare Repräsentation ($\tilde{h}_j$). Dies ermöglicht feingranulare Diskriminierung zwischen den Optionen, ohne das Routing zu destabilisieren.

D. Trainingsziel

Das Gesamt-Training kombiniert drei Verlustfunktionen:

1. Hauptverlust ($L_{main}$): Kreuzentropie, gewichtet mit der Unsicherheit der Cues ($unc_j$), um unsichere Beispiele weniger stark zu gewichten.
2. Kontrastiver Verlust ($L_{contrast}$): Zieht die Repräsentation der korrekten Antwort an ihre positiven Cues heran und drückt falsche Antworten von negativen Cues weg.
3. Distillationsverlust ($L_{distill}$): Sichert die Konsistenz zwischen Teacher- und Student-Router.

3. Wichtige Beiträge

1. CoGR-MoE Framework: Ein neuartiger Ansatz, der Routing-Stabilität (durch semantische Injektion) mit Flexibilität auf Optionsebene (durch dynamische Umgewichtierung) vereint.
2. Option-Level Diskriminierung: Die Methode ermöglicht es dem Modell, innerhalb eines festen Expertensets feine Unterschiede zwischen Antwortoptionen zu lernen, was bei herkömmlichen MoE-Ansätzen oft fehlt.
3. Robustheit durch Unsicherheits-Gewichtung: Die Integration von LLM-generierten Cues und deren Unsicherheitsmetrik verbessert die Trainingsstabilität, indem inkonsistente Hinweise heruntergewichtet werden.
4. Interpretierbarkeit: Das Routing wird durch die semantische Richtung transparenter und konsistenter für ähnliche Fragen.

4. Ergebnisse

Die Autoren evaluierten CoGR-MoE auf mehreren Benchmarks (VMCBench, MRAG-Bench) und verglichen es mit starken Baselines wie MoE-LLaVA, MH-MoE und I2MoE.

• Leistung: CoGR-MoE erzielt auf beiden Backbones (MOE-LLaVA und Qwen3-VL) die höchste Gesamtgenauigkeit.
  • Auf MRAG-Bench erreichte es 63,25% (vs. 62,76% bei MoME) mit dem kleineren Backbone und 68,96% (vs. 66,78%) mit dem größeren Backbone.
  • Auf VMCBench (insbesondere VQAv2 und VizWiz) zeigte es signifikante Verbesserungen (z. B. 88,5% auf VQAv2 vs. 83,6% bei MH-MoE).
• Ablationsstudien:
  • Das Entfernen der semantischen Injektion ($s_a$) oder des Distillationsverlusts führte zu den größten Leistungseinbußen.
  • Die optionsspezifische Umgewichtierung ($s_j$) war entscheidend für die Verbesserung in Aufgaben mit räumlichen Transformationen und partieller Sichtbarkeit.
• Routing-Analyse: Heatmaps zeigen, dass CoGR-MoE konsistenter und „schärfer" routet als Baselines. Die Experten-Auswahl ist innerhalb derselben semantischen Kategorie stabiler, was die Reuse von Experten fördert.

5. Bedeutung und Fazit

CoGR-MoE adressiert eine kritische Lücke in der multimodalen Reasoning-Forschung: den Trade-off zwischen stabiler Experten-Zuordnung und flexibler, optionsspezifischer Diskriminierung.

• Innovation: Statt nur auf Eingabe-Embeddings zu vertrauen, nutzt das Modell externe semantische Struktur (via LLM) als Leitfaden für das Routing, ohne diese Struktur zur Inferenzzeit zu benötigen.
• Anwendbarkeit: Die Methode ist besonders effektiv bei Aufgaben, die räumliches Verständnis, Perspektivwechsel oder das Unterscheiden ähnlicher Objekte erfordern.
• Limitationen: Der Ansatz ist abhängig von der Qualität der LLM-generierten Cues (Risiko von Halluzinationen) und wurde bisher nur für Multiple-Choice-VQA getestet, nicht für offene Generierung.

Zusammenfassend demonstriert CoGR-MoE, dass die gezielte Integration von Konzept-Semantik in den Routing-Mechanismus von MoE-Modellen die Genauigkeit und Interpretierbarkeit von VQA-Systemen signifikant steigern kann.