RMIT-ADM+S at the MMU-RAG NeurIPS 2025 Competition

Technische Zusammenfassung: R2RAG für die MMU-RAG NeurIPS 2025 Competition

1. Problemstellung
Das Paper adressiert die Herausforderungen bei der Entwicklung von Retrieval-Augmented Generation (RAG)-Systemen, die sowohl ressourceneffizient als auch anpassungsfähig an die Komplexität von Benutzeranfragen sind. Herkömmliche RAG-Ansätze verwenden oft statische Pipelines, die für einfache Faktenfragen überdimensioniert oder für komplexe, mehrstufige Forschungsfragen unzureichend sind. Zudem zeigen statische automatische Metriken oft keine Korrelation mit der tatsächlichen Nutzerzufriedenheit oder der Qualität der Schlussfolgerungen in dynamischen, realen Szenarien (wie dem „RAG-Arena"-Format der MMU-RAG-Kompetition). Das Ziel war es, ein System zu entwickeln, das auf einer einzelnen Consumer-GPU läuft, aber dennoch komplexe Recherchenaufgaben bewältigen kann, indem es die Retrieval-Strategie dynamisch anpasst.

2. Methodik: Das R2RAG-Architekturkonzept
Das vorgestellte System, Routing-to-RAG (R2RAG), basiert auf einem adaptiven Ansatz, der Anfragen in zwei Kategorien einteilt und entsprechend unterschiedliche Verarbeitungswege nutzt. Die Architektur besteht aus folgenden Kernkomponenten:

• Query Classifier (Anfragen-Klassifizierer):

  • Jede eingehende Anfrage wird zunächst analysiert, um sie als „einfach" (factoid, einfache Suche) oder „komplex" (mehrschichtig, erfordert tiefgehende Synthese) zu klassifizieren.
  • Anstelle eines einfachen logistischen Regressionsmodells wurde ein LLM-basierter Klassifizierer (Qwen3-4B) gewählt. Dieser nutzt strukturierte Prompts, um semantische Nuancen besser zu erfassen und Anfragen zu bewerten, ob sie mehr als eine einzelne Google-Suche erfordern. Dies ermöglicht eine flexiblere Anpassung ohne erneutes Training.

• Routing-Mechanismus:

  • Pfad A: Vanilla RAG (für einfache Anfragen):
    • Führt einen einzigen Durchlauf durch: Generierung von 3 Query-Varianten (zur Abdeckung), parallele Suche im ClueWeb22-A-Index, Re-Ranking und Antwortgenerierung.
    • Begrenzung auf ca. 5.000 Wörter Kontext für Effizienz.
  • Pfad B: Vanilla Agent (für komplexe Anfragen):
    • Ein iterativer Prozess, der mehrere Suchrunden durchläuft.
    • Der Agent generiert bis zu 5 Query-Varianten pro Runde und sammelt bis zu 25.000 Tokens an Informationen.
    • Stopp-Kriterien: Der Loop endet, wenn die Token-Grenze (20.000) erreicht ist, die Informationsabdeckung (Cov) als ausreichend bewertet wird oder die maximale Iterationszahl (5) überschritten ist.
    • Document Review: Nach jeder Runde bewertet ein LLM-Modell den Fortschritt (Abdeckung aller Teilaspekte, Ausgewogenheit bei kontroversen Themen) und generiert bei Bedarf neue Suchanfragen, um Lücken zu schließen.

• Modell- und Ressourcen-Strategie:

  • Das System nutzt Qwen3-4B für die meisten Aufgaben (Klassifizierung, Query-Generierung, Review, Antwort) und Qwen3-Reranker-0.6B für das Re-Ranking.
  • Ein entscheidendes Designziel war die Laufzeit auf einer Consumer-GPU ohne Quantisierung des Hauptmodells (da Quantisierung die Langkontext-Leistung beeinträchtigen kann). Durch die kompakte Modellgröße und effizientes Serving mit vLLM wird dies ermöglicht.
  • Der Kontextfenster wurde auf 25.000 Tokens reduziert, um die Stabilität zu gewährleisten.

3. Wichtige Beiträge und Innovationen

• Dynamische Routing-Architektur (R2RAG): Die Einführung eines expliziten Routing-Mechanismus, der die Retrieval-Strategie basierend auf der geschätzten Komplexität der Anfrage und der ausreichenden Informationsbasis anpasst, anstatt einen starren Prozess für alle Anfragen zu verwenden.
• Qualitätsbasierte Iteration: Der „Vanilla Agent" nutzt einen LLM-gesteuerten Review-Prozess, der nicht nur nach Dokumenten sucht, sondern aktiv die Informationssuffizienz bewertet und gezielt Lücken schließt, bevor die finale Antwort generiert wird.
• Ressourceneffizienz: Demonstration, dass hochleistungsfähige dynamische RAG-Pipelines mit kleinen, spezialisierten Modellen (4B Parameter) auf einfacher Hardware laufen können, ohne auf große, teure Modelle angewiesen zu sein.
• Qualitative Evaluationsintegration: Das System wurde nicht nur auf Metriken optimiert, sondern basierte auf einer qualitativen Fokusgruppenstudie (N=20), die zeigte, dass Nutzerpräferenzen (z. B. Struktur, Tonfall, Detailgrad) oft von aggregierten Metriken abweichen. Dies führte zu Feinjustierungen der Prompts.

4. Ergebnisse

• Wettbewerbserfolg: Das System gewann den „Best Dynamic Evaluation Award" in der Kategorie „Open Source" bei der MMU-RAG NeurIPS 2025 Competition.
• Leistung: Es zeigte eine hohe Effektivität im Text-to-Text-Track, insbesondere im dynamischen Evaluierungsmodus (RAG-Arena), wo die Fähigkeit, sich an Echtzeit-Feedback und komplexe Suchpfade anzupassen, entscheidend war.
• Vergleich: Die qualitative Analyse zeigte, dass der „Vanilla Agent" komplexe Anfragen deutlich besser bewältigte als ein statischer Ansatz, während der „Vanilla RAG"-Pfad für einfache Anfragen effizienter und prägnanter war.

5. Bedeutung und Fazit
Das Paper unterstreicht, dass für zukünftige RAG-Systeme nicht nur die reine Retrieval-Qualität, sondern auch die Adaptivität und die Nutzerzentriertheit entscheidend sind. Die Arbeit beweist, dass:

1. Statische Metriken allein nicht ausreichen, um die Leistung von RAG-Systemen in realen Szenarien zu bewerten; dynamische und qualitative Evaluierungen sind essenziell.
2. Komplexe Recherchenaufgaben auch mit ressourcenschonenden Architekturen (kleine Modelle, Consumer-Hardware) bewältigt werden können, wenn der Prozess intelligent gesteuert wird.
3. Die Kombination aus automatisierten Metriken und menschlichem Feedback (Qualitative Evaluation) notwendig ist, um Systemgrenzen zu identifizieren und die Benutzererfahrung zu optimieren.

Das System ist als Open-Source-Projekt verfügbar und stellt einen wichtigen Schritt hin zu praktikablen, skalierbaren und nutzerfreundlichen RAG-Lösungen dar.