QA-Dragon: Query-Aware Dynamic RAG System for Knowledge-Intensive Visual Question Answering

Das Paper stellt QA-Dragon vor, ein query-bewusstes, dynamisches RAG-System, das durch die Orchestrierung von Text- und Bildsuchagenten sowie spezialisierten Routern die multimodale Mehrstufigkeits- und Mehrschichten-Logik für wissensintensive visuelle Fragebeantwortung verbessert und dabei auf dem Meta CRAG-MM Challenge der KDD Cup 2025 signifikante Leistungssteigerungen gegenüber bestehenden Baselines erzielt.

Das Wesentliche

Stell dir vor, du hast einen sehr klugen, aber manchmal etwas eingebildeten Freund, der alles über die Welt zu wissen glaubt. Das ist eine Multimodale KI (ein großes Sprachmodell, das Bilder und Text versteht). Wenn du ihn fragst: „Was ist das für ein Auto auf dem Foto?", antwortet er oft schnell und selbstbewusst. Aber wenn das Auto ein seltenes Modell ist oder du nach dem genauen Preis von vor fünf Jahren fragst, erfindet er sich die Antwort einfach aus – er „halluziniert".

Das ist das Problem, das die Forscher mit QA-Dragon lösen wollen. Sie haben eine Art „Super-Assistenten" gebaut, der nicht nur antwortet, sondern erst nachschaut, ob die Antwort stimmt.

Hier ist die Erklärung, wie QA-Dragon funktioniert, mit ein paar einfachen Vergleichen:

1. Der große Plan: Ein dynamisches Detektiv-Team

Stell dir QA-Dragon nicht als einen einzelnen Roboter vor, sondern als ein gut organisiertes Detektiv-Team, das für jeden Fall die richtigen Spezialisten heranzieht.

Wenn du eine Frage hast (z. B. „Wie viel kostet dieses blaue Auto?"), passiert Folgendes:

Schritt A: Der „Klassifizierer" (Domain Router)

Zuerst schaut sich ein Spezialist die Frage an und sagt: „Aha, das ist eine Frage über Autos."

• Die Analogie: Stell dir vor, du kommst in ein riesiges Krankenhaus. Ein Pförtner (der Klassifizierer) entscheidet sofort, ob du zum Augenarzt, zum Herzspezialisten oder zum Orthopäden musst. Er weiß, dass man für Autofragen andere Bücher braucht als für Fragen über Essen.

Schritt B: Der „Überlegungs-Modus" (Pre-Answer & D-CoT)

Bevor das Team überhaupt etwas sucht, denkt der Chef-Detektiv kurz nach: „Kann ich das schon allein beantworten?"

• Er schaut auf das Bild. Steht der Preis direkt auf dem Bild? Ja? Super, dann antworten wir sofort.
• Nein? Dann muss er wissen: „Ich weiß es nicht sicher, ich muss nachforschen."
• Die Analogie: Es ist wie bei dir, wenn du eine Frage im Kopf hast. Manchmal weißt du die Antwort sofort (z. B. „Wie viele Beine hat ein Hund?"). Manchmal musst du aber erst googeln („Wie hoch ist der Mount Everest genau?"). QA-Dragon merkt genau, wann es selbst weiß und wann es Hilfe braucht.

Schritt C: Der „Taktiker" (Search & Tool Router)

Jetzt kommt der spannende Teil. Das Team muss entscheiden: Wo suchen wir?

• Sollten wir im Bild suchen? (Vielleicht ist das Auto ein spezielles Modell, das wir visuell erkennen müssen).
• Sollten wir im Internet suchen? (Vielleicht brauchen wir technische Daten, die nicht auf dem Bild stehen).
• Oder beides?
• Die Analogie: Stell dir vor, du hast einen verirrten Brief. Der Taktiker entscheidet: „Soll ich den Brief beim Postamt (Text-Suche) nachschauen oder beim Fotografen (Bild-Suche), der das Bild gemacht hat?" Er wählt das richtige Werkzeug, damit man nicht Zeit verschwendet.

Schritt D: Die „Suche" (Image & Text Agents)

Jetzt gehen die Spezialisten los.

• Der Bild-Sucher schaut sich ähnliche Autos an und findet heraus: „Das ist ein BMW M4!"
• Der Text-Sucher geht ins Internet und findet heraus: „Ein BMW M4 kostet in diesem Jahr 80.000 Euro."
• Die Analogie: Es ist wie ein Team von Bibliothekaren. Einer geht in die Bildergalerie, der andere in die Bücherabteilung. Sie holen genau die Informationen, die der Chef-Detektiv braucht.

Schritt E: Der „Qualitäts-Prüfer" (Reranker & Verifier)

Das ist vielleicht der wichtigste Teil. Oft finden die Sucher 50 Ergebnisse, aber nur 2 sind wirklich gut.

• Der Qualitäts-Prüfer sortiert die Müll-Informationen aus und behält nur die besten Fakten.
• Dann prüft ein Zweiter (der Verifier): „Stimmt das wirklich? Passt das zum Bild?" Wenn die KI unsicher ist, sagt sie lieber: „Ich weiß es nicht", als eine falsche Antwort zu erfinden.
• Die Analogie: Stell dir vor, du hast 100 Zutaten für einen Kuchen gesammelt. Der Qualitäts-Prüfer ist der Koch, der sagt: „Nein, diese Tomate gehört nicht in den Schokoladenkuchen. Wir nehmen nur die Eier und das Mehl." Und am Ende schmeckt der Kuchen (die Antwort) perfekt.

Warum ist das so cool?

Frühere Systeme waren wie ein einäugiger Riese: Sie konnten entweder nur Bilder sehen ODER nur Texte lesen, aber nicht beides gut zusammenbringen. Wenn die Frage kompliziert war (z. B. „Vergleiche das Auto auf dem Foto mit dem Preis, der in diesem Artikel steht"), haben sie oft versagt.

QA-Dragon ist wie ein Schweizer Taschenmesser:

1. Es weiß, wann es nachschauen muss.
2. Es weiß, wo es nachschauen muss (Bild oder Text).
3. Es prüft, ob die Antwort sinnvoll ist.

Das Ergebnis

In einem großen Wettbewerb (dem KDD Cup 2025) hat QA-Dragon gezeigt, dass es viel weniger Fehler macht als andere KI-Systeme. Es antwortet nicht nur schneller, sondern vor allem richtiger, weil es nicht einfach ratet, sondern intelligent recherchiert.

Kurz gesagt: QA-Dragon ist der Freund, der nicht einfach nur „Ich denke mal, es ist rot" sagt, sondern erst kurz googelt, das Bild genau anschaut und dann sagt: „Nein, es ist ein 2025er Buick, und hier ist der Beweis."

Technische Zusammenfassung

1. Problemstellung

Multimodale Large Language Models (MLLMs) haben zwar beeindruckende Fähigkeiten im Bereich des Visual Question Answering (VQA) entwickelt, stoßen jedoch bei wissensintensiven Aufgaben, die langschwanziges Wissen (long-tail knowledge) oder mehrstufiges Schlussfolgern (multi-hop reasoning) erfordern, an ihre Grenzen. Dies führt häufig zu Halluzinationen oder ungenauen Antworten, da das im Training verankerte Wissen oft lückenhaft ist.

Zwar wurde Retrieval-Augmented Generation (RAG) als Lösung eingeführt, um externes Wissen in den Generierungsprozess zu integrieren, doch bestehende Ansätze leiden unter folgenden Einschränkungen:

• Isolierte Suche: Herkömmliche Methoden suchen entweder nur in Texten oder nur in Bildern, was komplexe Abfragen, die beide Modalitäten benötigen, nicht adäquat bearbeiten können.
• Fehlende Dynamik: Die meisten Systeme wählen statische Suchstrategien, anstatt sich dynamisch an die spezifischen Anforderungen der Query (z. B. Domäne, Komplexität, benötigte Beweise) anzupassen.
• Schwierigkeiten bei mehrstufiger Suche: Die Integration von mehrstufigem Schlussfolgern und kontextuellen Wechseln in Multi-Turn-Szenarien bleibt eine Herausforderung.

2. Methodik: Das QA-Dragon-Framework

QA-Dragon ist ein query-bewusstes, dynamisches RAG-System, das speziell für wissensintensive VQA-Aufgaben entwickelt wurde. Es orchestriert Text- und Bildsuche in einem hybriden Setup durch folgende modularen Komponenten:

A. Pre-Answer Module (Vorantwort-Modul)

• Domain Router: Ein auf BLIP-2 basierender Klassifikator identifiziert das semantische Thema der Query (z. B. Fahrzeuge, Lebensmittel, Bücher). Dies ermöglicht die Aktivierung domänenspezifischer Reasoning-Strategien und Prompts.
• D-CoT (Domain-aware Chain-of-Thought): Das MLLM generiert einen strukturierten Denkprozess und eine vorläufige Antwort. Dieser Schritt dient der Selbstreflexion: Das Modell prüft, ob es das Wissen aus dem Bild ableiten kann oder ob Unsicherheiten bestehen, die externe Beweise erfordern.

B. Dynamisches Routing

Basierend auf dem D-CoT-Ausgang und der Domänenanalyse entscheidet das System über den weiteren Pfad:

• Search Router: Klassifiziert die Query in drei Zweige:
  1. Direct Output: Wenn die Antwort sicher aus dem Bild abgeleitet werden kann (z. B. OCR, einfache Zählung).
  2. Search Verify: Wenn eine Antwort vorliegt, aber externe Bestätigung benötigt wird.
  3. RAG-Augment: Wenn externe Informationen (Wissen, Fakten) fehlen.
• Tool Router: Entscheidet basierend auf der Reasoning-Spur, welche Suchmodalität erforderlich ist:
  • Bildsuche: Wenn die Objektkennung fehlt (z. B. „Welches Modell ist das?").
  • Textsuche: Wenn Fakten benötigt werden, die nicht im Bild sichtbar sind (z. B. Preise, Spezifikationen).
  • Kombination: Bei komplexen Abfragen, die beides erfordern.

C. Such-Agenten und Retrieval

• Image Search Agent: Extrahiert relevante Objekte aus dem Bild (mittels DINO-Segmentierung), führt eine visuelle Suche durch und validiert die gefundenen Entitäten, um Fehlzuschreibungen zu vermeiden.
• Text Search Agent: Zerlegt komplexe Queries in Sub-Queries (Query Splitting), rephrasiert diese für bessere Suchergebnisse und nutzt eine Fusionssuche, die Objektnamen aus der Bildanalyse in die Textsuche integriert.

D. Coarse-to-Fine Multimodal Reranker

Um die Qualität der gefundenen Beweise zu sichern, wird ein zweistufiges Reranking-Verfahren angewendet:

1. Grobraster (Coarse-grained): Ein Q-Former-Modell filtert Beweise basierend auf der Ähnlichkeit zwischen Query-Bild-Paar und Text/Attribut-Blöcken.
2. Feinraster (Fine-grained): Ein LLM-basierter Reranker (Qwen3-Reranker) bewertet die Relevanz im Kontext der Frage und sortiert die besten Beweise aus.

E. Post-Answer Module

• Generierung: Ein CoT-basierter Generator erstellt die finale Antwort unter Nutzung der gefilterten Beweise.
• Verifikation: Ein Dual-Verification-Mechanismus prüft die Antwort:
  • White-Box-Verifier: Analysiert die Token-Wahrscheinlichkeiten des Modells zur Unsicherheitsquantifizierung.
  • MLLM-Verifier: Ein separates MLLM prüft die logische Konsistenz und die Unterstützung durch die Beweise. Nur wenn beide Verifizierungen positiv ausfallen, wird die Antwort ausgegeben.

3. Wichtige Beiträge

• Hybride, dynamische Architektur: QA-Dragon ist eines der ersten Systeme, das Text- und Bildsuche nicht isoliert, sondern durch ein intelligentes Routing-System dynamisch orchestriert.
• Domänenbewusstsein: Die Einführung eines Domain Routers ermöglicht eine spezialisierte Behandlung unterschiedlicher Wissensbereiche, was die Reasoning-Fähigkeiten verbessert.
• Robuste Verifikation: Der Dual-Verification-Ansatz (statistisch + semantisch) reduziert Halluzinationen signifikant, indem nur hochkonfidente Antworten ausgegeben werden.
• Skalierbarkeit: Das System unterstützt Single-Source, Multi-Source und Multi-Turn-Szenarien effizient.

4. Ergebnisse

Das System wurde im Rahmen des Meta CRAG-MM Challenge (KDD Cup 2025) evaluiert und zeigte deutliche Verbesserungen gegenüber starken Baselines (LLM Only, CoT, Direct RAG):

• Genauigkeit (Accuracy):
  • Single-Source Task: +5,06 % Verbesserung gegenüber dem besten Baseline.
  • Multi-Source Task: +6,35 % Verbesserung.
  • Multi-Turn Task: +5,03 % Verbesserung.
• Wissensüberlappung (Knowledge Overlap): Das System erreichte signifikant höhere Scores bei der Übereinstimmung mit den Ground-Truth-Evidenzen (bis zu 48,26 % im Multi-Turn-Szenario).
• Effizienz: Trotz der komplexen Pipeline konnte das System die strengen Latenzanforderungen (10 Sekunden pro Query) einhalten, wobei die Abwägung zwischen Genauigkeit und Geschwindigkeit durch das Routing optimiert wurde.
• Ablationsstudie: Die Entfernung einzelner Komponenten (z. B. Domain Router oder Reranking) führte zu messbaren Einbußen in der Genauigkeit, was die Notwendigkeit jedes Moduls unterstreicht.

5. Bedeutung und Ausblick

QA-Dragon demonstriert, dass die Kombination aus domänenspezifischem Routing, adaptiver Tool-Auswahl und strenger Verifikation der Schlüssel zur Bewältigung komplexer, wissensintensiver VQA-Aufgaben ist. Das System adressiert effektiv das Problem der Halluzinationen in MLLMs und bietet einen robusten Rahmen für den Einsatz in realen Szenarien (z. B. tragbare Brillen, Echtzeit-Assistenz). Die Open-Source-Verfügbarkeit des Codes fördert die weitere Forschung im Bereich multimodaler Retrieval-Augmented Generation. Die Ergebnisse zeigen zudem, dass einfache Bilderkennung oft nicht ausreicht und eine tiefe Integration von externem Wissen für präzise Antworten unerlässlich ist.