NightFeats @ MMU-RAGent NeurIPS 2025: A Context-Optimized Multi-Agent RAG System for the Text-to-Text Track

Technische Samenvatting: NightFeats – Een Context-Geoptimaliseerd Multi-Agent RAG-Systeem

Probleemstelling
Het paper behandelt drie structurele beperkingen die inherent zijn aan conventionele Retrieval-Augmented Generation (RAG) pipelines:

1. Retrieval Myopia en Multi-Hop Fragiliteit: Bestaande systemen falen vaak in het ketenen van causaal relevante informatie voor complexe redeneringen, wat leidt tot oppervlakkige domeinexpositie en gehallucineerde conclusies.
2. Provenance Drift en State Collapse: In iteratieve redenering worden geverifieerde feiten vaak overschreven, conflicterende bewijslast wordt stilzwijgend samengevoegd en bronattributie gaat verloren, wat de traceerbaarheid ondermijnt.
3. Schaalbaarheid en Domein-Adaptatie Bottlenecks: Monolithische pipelines worstelen met heterogene bronnen, temporele drift en domeinverschuivingen, wat de betrouwbaarheid verslechtert zonder principiële fallback-mechanismen.

De kernuitdaging is het construeren van een multi-agent workflow die verifieerbaar bewijs verzamelt, feitelijke beweringen extraheert, tegenstrijdigheden oplost en een coherent, volledig geciteerd antwoord samenstelt, terwijl de temporele relevantie en feitelijke strengheid behouden blijven.

Methodologie
NightFeats is een gestructureerd multi-agent systeem, geïmplementeerd met de OpenAI Agents SDK en GPT-5. Het deelt kennissynthese op in drie gecoördineerde fasen die worden beheerd door expliciete intermediaire representaties en handoff-contracten:

1. ResearchAgent (Retrieval en Bewijskonstructie):

   • Adaptieve Routering: Selecteert dynamisch tussen Recent mode (Brave Search API met freshness filtering), Historical mode (FineWeb corpus voor fundamentele onderwerpen), of Direct-answer mode (het omzeilen van retrieval voor ondubbelzinnige queries).
   • Zevenstaps-pipeline: Omvat query expansie (1–3 subqueries), retrieval via Jina Reader, hiërarchische semantische chunking (700 tokens, 100 overlap), en embedding met text-embedding-3-small.
   • Temporeel-Semantische Reranking: Gebruikt een fusiescore $\tilde{s}_i = (1 - w) * s_i + w * 1/(1 + d_i/365)$ met $w=0.3$, waarbij een balans wordt gevonden tussen semantische relevantie ($s_i$) en de ouderdom van het document ($d_i$).
   • Adaptieve Filtering: Past een dynamische afkapdrempel toe ($\tau = \max(\tau_{min}, \mu - \alpha * \sigma)$) en deduplicatie (cosine similarity > 0.85) toe om de diversiteit van het bewijs te waarborgen.

2. GeneratorAgent (Curatie en Reconciliatie):

   • Extraheert atomische, geciteerde feiten en clustert deze om overlappingen en tegenstrijdigheden te detecteren.
   • Contradictie-afhandeling: Classificeert tegenstrijdigheden in drie ernstgraden. Minder ernstige kwesties worden opgelost via fact weighting; belangrijke en kritieke tegenstrijdigheden triggeren gerichte sub-retrievals door toegewezen Fact en Reconciliation sub-agents.
   • Begrensde Iteratie: De verfijningslus is beperkt tot twee iteraties om recursieve drift te voorkomen, waarbij een gevalideerde feitenset als output dient.

3. WriterAgent (Bewijs-Gegronde Compositie):

   • Synthetiseert gecureerde feiten tot proza waarbij elke zin een expliciete, genormaliseerde inline citatie bevat.
   • Genereert een referentielijst die één-op-één provenance behoudt, waardoor de output een verifieerbaar narratief is dat strikt in lijn is met het opgehaalde bewijs.

Kernbijdragen
Het paper stelt drie primaire architecturale bijdragen voor:

1. Gestructureerde Intermediaire Representaties: Elke fase van de pipeline produceert een gestandaardiseerd datamodel met provenance-metadata, contradictie-annotaties en genormaliseerde citaties, waardoor de redeneerketen inspecteerbaar en auditeerbaar is.
2. Hybride Temporeel-Semantische Retrieval: Het systeem fuseert semantische relevantie met recency-bewuste decay scoring en adaptieve afkapfiltering om de topicale accuratesse en temporele versheid te handhaven.
3. Begrensde Iteratieve Curatie: Een gecontroleerde verfijningslus dwingt gerichte reconciliatie af voor hoog-ernstige tegenstrijdigheden (tot 2 iteraties), wat feitelijke coherentie garandeert zonder de latentie of drift van onbeperkte iteratie te veroorzaken.

Resultaten
NightFeats werd geëvalueerd in de MMU-RAGent NeurIPS 2025 competitie tegen propriëtaire baselines (Claude-SonnetV2 en Nova-Pro) met behulp van automatische metrieken, LLM-as-a-Judge beoordelingen, menselijke Likert-ratings en live pairwise voorkeuren op het RAG-Arena platform.

• Automatische Metrieken: NightFeats scoorde lager op ROUGE-L (0.159) vergeleken met baselines (0.181–0.200). De auteurs schrijven dit toe aan de structurele straf van het opnemen van expliciete numerieke citaties, wat de lexicale overlap met referentieantwoorden die dergelijke annotaties missen, vermindert. BERTScore bleef vergelijkbaar (0.840 vs. 0.850–0.851).
• Menselijke en Dynamische Evaluatie: NightFeats werd bekroond met Best Dynamic Evaluation in de text-to-text track. In het live RAG-Arena platform, waar echte gebruikers voorkeursreacties selecteerden, presteerde NightFeats beter dan de baselines. Dit geeft aan dat de focus op feitelijke traceerbaarheid, temporele actualiteit en begrensde reconciliatie nauwer aansluit bij menselijke gebruikersvoorkeuren dan systemen die optimaliseren voor lexicale gelijkenis.

Betekenis en Claims
Het paper positioneert NightFeats niet als een claim op state-of-the-art op een enkele metriek, maar als een reproduceerbare, modulaire architectuur voor multi-agent RAG-redenering. De significantie ligt in het aantonen dat:

• Architecturale Transparantie: Systemen gebouwd rond verifieerbare bewijsvoering en citatie-traceerbaarheid beter zijn afgestemd op de voorkeuren van echte gebruikers dan systemen die optimaliseren voor smalle automatische gelijkenis-metrieken.
• Principiële Decompositie: Het opdelen van kennissynthese in fasen van retrieval, curatie en compositie met expliciete handoff-contracten pakt de structurele beperkingen van monolithische RAG-pipelines aan.
• Evaluatieverschuiving: De resultaten valideren de noodzaak voor evaluatiekaders die expliciet de kwaliteit van citaties, bronbetrouwbaarheid en feitelijke gronding belonen, in plaats van de structurele artefacten (citaties) te bestraffen die nodig zijn om deze te bereiken.

De auteurs erkennen beperkingen, waarbij zij specifiek wijzen op een productielatentie van 10–15 seconden per query door iteratieve curatie en externe API-aanroepen, vergeleken met 6–8 seconden tijdens de ontwikkeling. Toekomstig werk wordt voorgesteld om de latentie aan te pakken via parallellisatie en om metrieken te ontwikkelen die de kwaliteit van citaties belonen in plaats van bestraffen.