💬 NLP

NightFeats @ MMU-RAGent NeurIPS 2025: A Context-Optimized Multi-Agent RAG System for the Text-to-Text Track

NightFeats ist ein kontextoptimiertes Multi-Agenten-RAG-System, das durch den Einsatz einer prinzipienbasierten dreiphasigen Pipeline aus Retrieval, Kuration und Komposition den Preis für die beste dynamische Evaluierung bei der NeurIPS 2025 gewann, um proprietäre Baselines durch architektonische Transparenz und verifizierbare evidenzbasierte Fundierung anstatt durch eine eng gefasste Metrikoptimierung zu übertreffen.

Ursprüngliche Autoren: Quentin Fever, Naziha Aslam

Veröffentlicht 2026-06-11

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Quentin Fever, Naziha Aslam

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einen perfekten, vertrauenswürdigen Bericht über ein komplexes Thema zu schreiben, aber Sie haben ein Team aus drei Spezialisten, die zusammenarbeiten, anstatt dass eine einzelne Person alles alleine macht. Das ist im Wesentlichen das, was NightFeats ist: ein intelligentes, dreiköpfiges Team aus KI-Agenten, das darauf ausgelegt ist, Fragen präzise zu beantworten, die eigene Arbeit zu überprüfen und immer seine Hausaufgaben (Zitate) vorzuzeigen.

Das Team hat kürzlich einen großen Wettbewerb namens MMU-RAGent bei NeurIPS 2025 bestritten. Während andere Teams versuchten zu gewinnen, indem sie einfach ihre Antworten so gestalteten, dass sie auf einem Computertest als „korrekt“ erschienen, gewann NightFeats einen speziellen Preis namens „Best Dynamic Evaluation“. Das bedeutet, dass echte Menschen ihre Antworten bevorzugten, weil sie zuverlässiger und leichter zu vertrauen waren, auch wenn die automatische Bewertung des Computers ihnen nicht die höchsten Punkte gab.

So funktioniert das NightFeats-Team, unterteilt in einfache Schritte:

1. Die drei Spezialisten (Die Agenten)

Anstatt dass eine einzige KI versucht, alles gleichzeitig zu erledigen, teilt NightFeats die Aufgabe in drei verschiedene Rollen auf, ähnlich wie in einer Redaktion:

Der Forscher (ResearchAgent): Dies ist der Detektiv. Wenn Sie eine Frage stellen, sucht der Forscher nicht einfach nach dem ersten, was er findet. Er geht aus und sucht nach Informationen aus zwei verschiedenen Quellen:
- Die „frische“ Bibliothek: Für Nachrichten oder aktuelle Ereignisse durchsucht er die allerneuesten Web-Ergebnisse.
- Die „Historische“ Bibliothek: Für alte, grundlegende Fakten durchwühlt er riesige Archive.
- Der Trick: Er verwendet eine spezielle Formel, um Relevanz (wie gut die Antwort ist) mit Aktualität (wie neu sie ist) abzuwägen. Es ist wie ein Bibliothekar, der weiß, dass ein 10 Jahre altes Buch perfekt für die Geschichte sein kann, aber ein 10 Minuten alter Blogpost besser für den heutigen Aktienmarkt ist.
Der Editor (GeneratorAgent): Dies ist der Faktencheck. Der Forscher schickt dem Editor einen Stapel von Dokumenten. Der Editor lift sie, zieht die wichtigsten Fakten heraus und sucht nach Konflikten.
- Der „Widerspruchs“-Check: Wenn eine Quelle sagt „Der Himmel ist blau“ und eine andere sagt „Der Himmel ist grün“, rät der Editor nicht einfach. Er markiert dies als Problem. Wenn der Konflikt schwerwiegend ist, schickt der Editor den Forscher erneut aus, um weitere Beweise zu finden, um die Argumentation zu klären. Er macht dies nur ein paar Mal, um zu vermeiden, dass er in einer Endlosschleife stecken bleibt.
Der Autor (WriterAgent): Dies ist der Geschichtenerzähler. Sobeder Editor eine saubere, verifizierte Liste von Fakten erstellt hat, verwandelt der Autor diese in eine flüssige, lesbare Antwort.
- Die goldene Regel: Jeder einzelne Satz, den der Autor produziert, muss einen „Beleg“ (ein Zitat) angehängt haben. Man kann nicht einfach etwas behaupten; man muss beweisen, woher man es hat. Dies macht die endgültige Antwort vollständig rückverfolgbar.

2. Warum sie gewonnen haben (Der „Best Dynamic Evaluation“-Preis)

Im Wettbewerb gab es zwei Hauptwege, um die Systeme zu bewerten:

Der Roboter-Richter: Ein Computerprogramm, das prüft, ob die Antwort dieselben Wörter verwendet wie die „perfekte“ Antwort.
Der menschliche Richter: Echte Menschen, die die Antworten lesen und diejenige auswählen, die ihnen am besten gefällt.

Das Problem mit dem Roboter-Richter:
NightFeats schnitt beim Test des Roboter-Richters tatsächlich schlechter ab (speziell bei einer Metrik namens ROUGE-L). Warum? Weil NightFeats viele Zitate und Referenzen enthält (wie „Quelle A, Quelle B“). Der Roboter-Richter dachte: „Diese Antwort hat zu viele zusätzliche Wörter und Zahlen, sie stimmt nicht exakt mit der perfekten Antwort überein!“

Der Sieg mit dem menschlichen Richter:
Echte Menschen hingegen liebten NightFeats. Sie bevorzugten es gegenüber teuren, hochtechnologischen Systemen wie „Claude-SonnetV2“ und „Nova-Pro“. Menschen erkannten, dass eine Antwort mit klaren Quellen und verifizierten Fakten viel vertrauenswürdiger ist als eine Antwort, die zwar gut klingt, aber vielleicht erfunden ist.

3. Die Kernphilosophie

Das Paper argumentiert, dass es beim Bau von KI nicht nur darum gehen sollte, einen Computer auszutricksen, damit er eine hohe Punktzahl liefert. Es sollte darum gehen, ein System zu bauen, das:

Seine eigene Arbeit überprüft (wie ein Faktenchecker).
Weiß, wann Dinge alt sind (zeitliche Wahrnehmung).
Seine Quellen zeigt (Zitierbarkeit/Nachvollziehbarkeit).

Der Kompromiss

Das Paper ist ehrlich über einen Nachteil: Da NightFeats den Forscher ausschicken muss, um Fakten zu prüfen, und den Editor, um Widersprüche zu prüfen, dauert es etwas länger, eine Antwort zu erhalten (etwa 10–15 Sekunden) im Vergleich zu einem schnelleren, einfacheren System (6–8 Sekunden).

Zusammenfassend:
NightFeats ist wie eine High-End-Redaktion, die sich weigert, eine Geschichte zu veröffentlichen, bevor drei verschiedene Personen die Fakten geprüft, die Daten verifiziert und Belege für jede Behauptung angehängt haben. Obwohl dies etwas mehr Zeit in Anspruch nimmt und für einen Computer-Scanner vielleicht „unordentlicher“ aussieht, vertrauen echte Menschen ihr mehr, weil sie ehrlich, genau und transparent ist.

Technisches Resümee: NightFeats – Ein kontextoptimiertes Multi-Agenten-RAG-System

Problemstellung
Das Paper adressiert drei strukturelle Limitationen, die herkömmlichen Retrieval-Augmented-Generation-Pipelines (RAG) inhärent sind:

Retrieval-Myopie und Multi-Hop-Fragilität: Bestehende Systeme versagen oft dabei, kausal relevante Informationen für komplexes Schließen zu verketten, was zu einer oberflächlichen Domänenexposition und hallucinierten Schlussfolgerungen führt.
Provenienz-Drift und Zustandskollaps: In iterativen Denkprozessen werden verifizierte Fakten häufig überschrieben, widersprüchliche Evidenzen werden stillschweigend zusammengeführt und die Quellenattribuierung geht verloren, was die Rückverfolgbarkeit untergräbt.
Skalierbarkeit und Domänenanpassungs-Engpässe: Monolithische Pipelines haben Schwierigkeiten mit heterogenen Quellen, temporalem Drift und Domänenverschiebungen, was die Zuverlässigkeit ohne prinzipielle Fallback-Mechanismen beeinträchtigt.

Die Kernherausforderung besteht darin, einen Multi-Agenten-Workflow zu konstruen, der verifizierbare Evidenz abruft, faktische Behauptungen extrahiert, Widersprüche auflöst und eine kohärente, vollständig zitierte Antwort zusammensetzt, während die temporale Relevanz und faktische Strenge gewahrt bleiben.

Methodik
NightFeats ist ein strukturiertes Multi-Agenten-System, das unter Verwendung des OpenAI Agents SDK und GPT-5 implementiert wurde. Es zerlegt die Wissenssynthese in drei koordinierte Phasen, die durch explizite Zwischenrepräsentationen und Handoff-Kontrakte gesteuert werden:

ResearchAgent (Retrieval und Evidenzkonstruktion):
- Adaptives Routing: Wählt dynamisch zwischen dem Recent-Modus (Brave Search API mit Freshness-Filterung), dem Historical-Modus (FineWeb-Korpus für fundamentale Themen) oder dem Direct-answer-Modus (Umgehung des Retrievals bei eindeutigen Anfragen).
- Siebenstufige Pipeline: Beinhaltet Query-Expansion (1–3 Subqueries), Retrieval via Jina Reader, hierarchisches semantisches Chunking (700 Token, 100 Overlap) und Embedding mit text-embedding-3-small.
- Temporale-Semantische Reranking: Verwendet einen Fusionsscore $\tilde{s}_i = (1 - w) * s_i + w * 1/(1 + d_i/365)$ mit $w=0.3$ , um semantische Relevanz ( $s_i$ ) gegen das Alter des Dokuments ( $d_i$ ) abzuwägen.
- Adaptive Filterung: Wendet einen dynamischen Cutoff-Schwellenwert ( $\tau = \max(\tau_{min}, \mu - \alpha * \sigma)$ ) und Deduplizierung (Cosinus-Ähnlichkeit > 0,85) an, um die Diversität der Evidenz sicherzustellen.
GeneratorAgent (Kuration und Rekonziliation):
- Extrahiert atomare, zitierte Fakten und clustert sie, um Überlappungen und Widersprüche zu detektieren.
- Widerspruchsbehandlung: Klassifiziert Widersprüche in drei Schweregrade. Geringfügige Probleme werden über Faktengewichtung gelöst; wichtige und kritische Widersprüche lösen gezielte Sub-Retrievals durch dedizierte Fact- und Reconciliation-Sub-Agenten aus.
- Begrenzte Iteration: Die Verfeinerungsschleife ist auf zwei Iterationen begrenzt, um rekursiven Drift zu verhindern, und gibt einen validierten Faktensatz aus.
WriterAgent (Evidenzbasierte Komposition):
- Synthetisiert kuratierte Fakten zu Prosa, wobei jeder Satz eine explizite, normalisierte Inline-Zitation enthält.
- Generiert eine Referenzliste, die eine Eins-zu-eins-Provenienz bewahrt und so sicherstellt, dass der Output ein verifizierbares Narrativ ist, das strikt mit der abgerufenen Evidenz übereinstimmt.

Hauptbeiträge
Das Paper schlägt drei primäre architektonische Beiträge vor:

Strukturierte Zwischenrepräsentationen: Jede Pipeline-Stufe gibt ein standardisiertes Datenmodell aus, das Provenienz-Metadaten, Widerspruchs-Annotationen und normalisierte Zitationen enthält, wodurch die Argumentationskette inspizierbar und auditierbar wird.
Hybrides Temporales-Semantisches Retrieval: Das System fusioniert semantische Relevanz mit recency-bewusstem Decay-Scoring und adaptiver Cutoff-Filterung, um topische Genauigkeit und temporale Aktualität zu gewährleisten.
Begrenzte Iterative Kuration: Eine kontrollierte Verfeinerungsschleife erzwingt eine gezielte Rekonziliation für hochgradige Widersprüche (bis zu 2 Iterationen) und stellt so die faktische Kohärenz sicher, ohne die Latenz oder den Drift unbeschränkter Iterationen zu verursachen.

Ergebnisse
NightFeats wurde im MMU-RAGent NeurIPS 2025 Wettbewerb gegen proprietäre Baselines (Claude-SonnetV2 und Nova-Pro) mittels automatischer Metriken, LLM-as-a-Judge-Assessments, menschlicher Likert-Bewertungen und Live-Pairwise-Präferenzen auf der RAG-Arena Plattform evaluiert.

Automatische Metriken: NightFeats erzielte einen niedrigeren ROUGE-L-Wert (0,159) im Vergleich zu den Baselines (0,181–0,200). Die Autoren führen dies auf die strukturelle Strafe durch die Einbeziehung expliziter numerischer Zitationen zurück, was die lexikalische Überlappung mit Referenzantworten reduziert, die solche Annotationen nicht enthalten. Der BERTScore blieb vergleichbar (0,840 vs. 0,850–0,851).
Menschliche und Dynamische Evaluation: NightFeats wurde als Best Dynamic Evaluation im Text-zu-Text-Track ausgezeichnet. In der Live-RAG-Arena Plattform, in der echte Nutzer bevorzugte Antworten auswählten, übertraf NightFeats die Baselines. Dies deutet darauf hin, dass der Fokus auf faktische Rückverfolgbarkeit, temporale Aktualität und begrenzte Rekonziliation stärker mit menschlichen Nutzerpräferenzen harmoniert als Systeme, die auf lexikalische Ähnlichkeit optimiert sind.

Bedeutung und Ansprüche
Das Paper positioniert NightFeats nicht als einen Anspruch auf State-of-the-Art bezüglich eines einzelnen Metrik-Werts, sondern als eine reproduzierbare, modulare Architektur für Multi-Agenten-RAG-Reasoning. Seine Bedeutung liegt in der Demonstration, dass:

Architektonische Transparenz: Systeme, die um verifizierbare evidenzbasierte Fundierung und Zitationsrückverfolgbarkeit gebaut sind, besser mit realen Nutzerpräferenzen übereinstimmen als solche, die eng auf automatische Ähnlichkeitsmetriken optimiert sind.
Prinzipielle Dekomposition: Die Zerlegung der Wissenssynthese in Phasen der Abfrage, Kuration und Komposition mit expliziten Handoff-Kontrakten adressiert die strukturellen Limitationen monolithischer RAG-Pipelines.
Evaluationsverschiebung: Die Ergebnisse validieren die Notwendigkeit von Evaluationsframeworks, die Zitationsqualität, Quellverlässlichkeit und faktische Fundierung explizit belohnen, anstatt die strukturellen Artefakte (Zitationen) zu bestrafen, die zur Erreichung dieser Ziele erforderlich sind.

Die Autoren räumen Einschränkungen ein, insbesondere hinsichtlich einer Produktionslatenz von 10–15 Sekunden pro Abfrage aufgrund der iterativen Kuration und externer API-Aufrufe, verglichen mit 6–8 Sekunden in der Entwicklung. Zukünftige Arbeiten sollen die Latenz durch Parallelisierung adressieren und Metriken entwickeln, die Zitationsqualität belohnen statt sie zu bestrafen.

1. Die drei Spezialisten (Die Agenten)

2. Warum sie gewonnen haben (Der „Best Dynamic Evaluation“-Preis)

3. Die Kernphilosophie

Der Kompromiss

Technisches Resümee: NightFeats – Ein kontextoptimiertes Multi-Agenten-RAG-System

Mehr davon