💬 NLP

NightFeats @ MMU-RAGent NeurIPS 2025: A Context-Optimized Multi-Agent RAG System for the Text-to-Text Track

NightFeats est un système RAG multi-agents optimisé pour le contexte qui a remporté le prix Best Dynamic Evaluation à NeurIPS 2025 en employant un pipeline principled de trois phases de récupération, de curation et de composition pour surpasser les bases de référence propriétaires grâce à une transparence architecturale et un ancrage par preuves vérifiables plutôt que par une optimisation de métriques étroites.

Auteurs originaux : Quentin Fever, Naziha Aslam

Publié 2026-06-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Quentin Fever, Naziha Aslam

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'écrire un rapport parfait et digne de confiance sur un sujet complexe, mais que vous avez une équipe de trois spécialistes travaillant ensemble au lieu d'une seule personne faisant tout toute seule. C'est essentiellement ce qu'est NightFeats : une équipe intelligente de trois agents IA conçue pour répondre aux questions avec précision, vérifier son propre travail et toujours montrer ses devoirs (citations).

L'équipe a récemment participé à une grande compétition appelée MMU-RAGent à NeurIPS 2025. Alors que d'autres équipes tentaient de gagner en faisant simplement en sorte que leurs réponses ressemblent aux réponses « correctes » sur un test informatique, NightFeats a remporté un prix spécial appelé « Best Dynamic Evaluation » (Meilleure évaluation dynamique). Cela signifie que des humains réels ont préféré leurs réponses car elles étaient plus fiables et plus faciles à faire confiance, même si le score automatique de l'ordinateur ne leur donnait pas les points les plus élevés.

Voici comment fonctionne l'équipe NightFeats, décomposée en étapes simples :

1. Les trois spécialistes (Les Agents)

Au lieu d'une seule IA essayant de tout faire à la fois, NightFeats divise le travail en trois rôles distincts, comme une salle de rédaction :

Le Chercheur (ResearchAgent) : C'est le détective. Quand vous posez une question, le Chercheur ne se contente pas de saisir la première chose qu'il trouve. Il part chercher des informations dans deux endroits différents :
- La bibliothèque « Fraîche » : Pour les actualités ou les événements récents, il cherche dans les résultats web les plus récents.
- La bibliothèque « Historique » : Pour les faits fondamentaux anciens, il fouille dans de vastes archives.
- L'astuce : Il utilise une formule spéciale pour équilibrer la pertinence (à quel point la réponse est bonne) et la fraîcheur (à quel point elle est récente). C'est comme un bibliothécaire qui sait qu'un livre de 10 ans peut être parfait pour l'histoire, mais qu'un article de blog datant de 10 minutes est meilleur pour la bourse d'aujourd'hui.
L'Éditeur (GeneratorAgent) : C'est le vérificateur de faits. Le Chercheur envoie une pile de documents à l'Éditeur. L'Éditeur les lit, extrait les faits clés et recherche les conflits.
- La vérification de la « Contradiction » : Si une source dit « Le ciel est bleu » et qu'une autre dit « Le ciel est vert », l'Éditeur ne devine pas. Il signale cela comme un problème. Si le conflit est sérieux, l'Éditeur renvoie le Chercheur chercher plus de preuves pour régler l'argument. Il ne fait cela que quelques fois pour éviter de s'enfermer dans une boucle infinie.
Le Rédacteur (WriterAgent) : C'est le conteur. Une fois que l'Éditeur a une liste de faits propre et vérifiée, le Rédacteur les transforme en une réponse fluide et lisible.
- La règle d'or : Chaque phrase produite par le Rédacteur doit avoir un « reçu » attaché à elle (une citation). On ne peut pas simplement dire quelque chose ; il faut prouver d'où on l'a entendu. Cela rend la réponse finale entièrement traçable.

2. Pourquoi ils ont gagné (Le prix « Dynamic Evaluation »)

Dans la compétition, il y avait deux manières principales de juger les systèmes :

Le Juge Robot : Un programme informatique qui vérifie si la réponse utilise les mêmes mots que la réponse « parfaite ».
Le Juge Humain : Des personnes réelles qui lisent les réponses et choisissent celle qu'elles préfèrent.

Le problème avec le Juge Robot :
NightFeats a en réalité obtenu un score plus bas au test du Juge Robot (plus précisément sur une métrique appelée ROUGE-L). Pourquoi ? Parce que NightFeats inclut beaucoup de citations et de références (comme « Source A, Source B »). Le Juge Robot a pensé : « Cette réponse contient trop de mots et de chiffres supplémentaires, elle ne correspond pas exactement à la réponse parfaite ! »

La victoire avec le Juge Humain :
Les humains réels, cependant, ont adoré NightFeats. Ils l'ont préféré à des systèmes coûteux et de haute technologie comme « Claude-SonnetV2 » et « Nova-Pro ». Les humains ont réalisé qu'une réponse avec des sources claires et des faits vérifiés est bien plus digne de confiance qu'une réponse qui a simplement l'air bonne mais qui pourrait être inventée.

3. La philosophie centrale

L'article soutient que construire l'IA ne devrait pas seulement consister à tromper un ordinateur pour obtenir un score élevé. Cela devrait consister à construire un système qui :

Vérifie son propre travail (comme un vérificateur de faits).
Sait quand les choses sont anciennes (conscience temporelle).
Montre ses sources (traçabilité des citations).

Le compromis

L'article est honnête sur un inconvénient : parce que NightFeats doit envoyer le Chercheur vérifier les faits et l'Éditeur vérifier les contradictions, il prend un peu plus de temps pour obtenir une réponse (environ 10 à 15 secondes) par rapport à un système plus rapide et plus simple (6 à 8 secondes).

En résumé :
NightFeats est comme une salle de rédaction haut de gamme qui refuse de publier une histoire avant que trois personnes différentes n'aient vérifié les faits, vérifié les dates et joint des reçus à chaque affirmation. Bien que cela prenne un peu plus de temps et puisse paraître plus « désordonné » pour un scanner informatique, les vraies personnes lui font plus confiance car il est honnête, précis et transparent.

Résumé Technique : NightFeats – Un système RAG multi-agents optimisé par le contexte

Énoncé du Problème
Le document traite de trois limitations structurelles inhérentes aux pipelines de Génération Augmentée par Récupération (RAG) conventionnels :

Myopie de la récupération et fragilité du multi-hop : Les systèmes existants échouent souvent à enchaîner des informations causalement pertinentes pour un raisonnement complexe, ce qui conduit à une exposition superficielle du domaine et à des conclusions hallucinées.
Dérive de la provenance et effondrement de l'état : Dans un raisonnement itératif, les faits vérifiés sont fréquemment écrasés, les preuves conflictuelles sont fusionnées silencieusement et l'attribution des sources est perdue, érodant ainsi la traçabilité.
Goulots d'étranglement de la scalabilité et de l'adaptation au domaine : Les pipelines monolithiques peinent face aux sources hétérogènes, à la dérive temporelle et aux changements de domaine, dégradant la fiabilité sans mécanismes de repli fondés sur des principes.

Le défi central consiste à construire un flux de travail multi-agents capable de récupérer des preuves vérifiables, d'extraire des assertions factuelles, de résoudre les contradictions et de composer une réponse cohérente et entièrement citée, tout en préservant la pertinence temporelle et la rigueur factuelle.

Méthodologie
NightFeats est un système multi-agents structuré, implémenté à l'aide du SDK OpenAI Agents et de GPT-5. Il décompose la synthèse des connaissances en trois phases coordonnées, régies par des représentations intermédiaires explicites et des contrats de transfert :

ResearchAgent (Récupération et construction de preuves) :
- Routage adaptatif : Sélectionne dynamiquement entre le mode Récent (API Brave Search avec filtrage de fraîcheur), le mode Historique (corpus FineWeb pour les sujets fondamentaux), ou le mode Réponse directe (contournant la récupération pour les requêtes univoques).
- Pipeline en sept étapes : Comprend l'expansion de requête (1 à 3 sous-requêtes), la récupération via Jina Reader, le découpage sémantique hiérarchique (700 tokens, 100 de chevauchement) et l'embedding avec text-embedding-3-small.
- Reclassement Temporel-Sémantique : Utilise un score de fusion $s_i\_tilde = (1 - w) * s_i + w * 1/(1 + d_i/365)$ avec $w=0.3$ , équilibrant la pertinence sémantique ( $s_i$ ) et l'ancienneté du document ( $d_i$ ).
- Filtrage adaptatif : Applique un seuil de coupure dynamique ( $\tau = \max(\tau_{min}, \mu - \alpha * \sigma)$ ) et une déduplication (similarité cosinus > 0,85) pour garantir la diversité des preuves.
GeneratorAgent (Curation et réconciliation) :
- Extrait des faits atomiques cités et les regroupe pour détecter les chevauchements et les contradictions.
- Gestion des contradictions : Classifie les contradictions en trois niveaux de gravité. Les problèmes mineurs sont résolus par pondération des faits ; les contradictions importantes et critiques déclenchent des sous-récupérations ciblées par des sous-agents dédiés aux Faits et à la Réconciliation.
- Itération bornée : La boucle de raffinement est limitée à deux itérations pour éviter la dérive récursive, produisant un ensemble de faits validés.
WriterAgent (Composition fondée sur les preuves) :
- Synthétise les faits curés en une prose où chaque phrase inclut des citations intégrées explicites et normalisées.
- Génère une liste de références préservant une provenance de un-à-un, garantissant que la sortie est un récit vérifiable strictement aligné sur les preuves récupérées.

Contributions Clés
Le document propose trois contributions architecturales primaires :

Représentations Intermédiaires Structurées : Chaque étape du pipeline produit un modèle de données standardisé contenant des métadonnées de provenance, des annotations de contradiction et des citations normalisées, rendant la chaîne de raisonnement inspectable et auditable.
Récupération Hybride Temporelle-Sémantique : Le système fusionne la pertinence sémantique avec un score de décomposition sensible à la récence et un filtrage de coupure adaptatif pour maintenir l'exactitude thématique et la fraîcheur temporelle.
Curation Itérative Bornée : Une boucle de raffinement contrôlée impose une réconciliation ciblée pour les contradictions de haute sévérité (jusqu'à 2 itérations), garantissant la cohérence factuelle sans subir la latence ou la dérive d'une itération non contrainte.

Résultats
NightFeats a été évalué lors de la compétition MMU-RAGent NeurIPS 2025 contre des bases propriétaires (Claude-SonnetV2 et Nova-Pro) en utilisant des métriques automatiques, des évaluations LLM-as-a-Judge, des évaluations humaines de type Likert et des préférences par paires en direct sur la plateforme RAG-Arena.

Métriques Automatiques : NightFeats a obtenu un score plus faible sur ROUGE-L (0,159) par rapport aux bases de référence (0,181–0,200). Les auteurs attribuent cela à la pénalité structurelle de l'inclusion de citations numériques explicites, ce qui réduit le chevauchement lexical avec les réponses de référence qui ne comportent pas de telles annotations. Le score BERTScore est resté comparable (0,840 contre 0,850–0,851).
Évaluation Humaine et Dynamique : NightFeats a reçu le prix de la Meilleure Évaluation Dynamique dans la catégorie texte-vers-texte. Sur la plateforme RAG-Arena en direct, où de vrais utilisateurs choisissaient les réponses préférées, NightFeats a surpassé les bases de référence. Cela indique que son accent sur la traçabilité factuelle, l'actualité temporelle et la réconciliation bornée s'aligne plus étroitement sur les préférences réelles des utilisateurs que les systèmes optimisés pour la similitude lexicale.

Signification et Revendications
Le document positionne NightFeats non pas comme une prétention d'état de l'art sur une métrique unique, mais comme une architecture modulaire et reproductible pour le raisonnement RAG multi-agents. Sa signification réside dans la démonstration que :

Transparence Architecturale : Les systèmes construits autour de l'ancrage des preuves vérifiables et de la traçabilité des citations sont mieux alignés sur les préférences réelles des utilisateurs que ceux qui optimisent étroitement la similitude automatique.
Décomposition Fondée : La division de la synthèse des connaissances en phases de récupération, de curation et de composition avec des contrats de transfert explicites répond aux limitations structurelles des pipelines RAG monolithiques.
Changement d'Évaluation : Les résultats valident la nécessité de cadres d'évaluation qui récompensent explicitement la qualité des citations, la fiabilité des sources et l'ancrage factuel, plutôt que de pénaliser les artefacts structurels (citations) nécessaires pour les atteindre.

Les auteurs reconnaissent des limitations, notant spécifiquement une latence de production de 10 à 15 secondes par requête en raison de la curation itérative et des appels API externes, contre 6 à 8 secondes en développement. Des travaux futurs sont proposés pour traiter la latence par la parallélisation et pour développer des métriques qui récompensent la qualité des citations plutôt que de la pénaliser.

1. Les trois spécialistes (Les Agents)

2. Pourquoi ils ont gagné (Le prix « Dynamic Evaluation »)

3. La philosophie centrale

Le compromis

Résumé Technique : NightFeats – Un système RAG multi-agents optimisé par le contexte

Articles similaires