NightFeats @ MMU-RAGent NeurIPS 2025: A Context-Optimized Multi-Agent RAG System for the Text-to-Text Track

Sintesi Tecnica: NightFeats – Un sistema RAG multi-agente ottimizzato per il contesto

Problematica
Il documento affronta tre limitazioni strutturali inerenti alle convenzionali pipeline di Retrieval-Augmented Generation (RAG):

1. Miopia del recupero e fragilità multi-hop: I sistemi esistenti spesso falliscono nel concatenare informazioni causalmente rilevanti per ragionamenti complessi, portando a un'esposizione superficiale del dominio e a conclusioni allucinate.
2. Deriva della provenienza e collasso dello stato: Nel ragionamento iterativo, i fatti verificati vengono frequentemente sovrascritti, le evidenze contrastanti vengono fuse silenziosamente e l'attribuzione delle fonti viene persa, erodendo la tracciabilità.
3. Colli di bottiglia della scalabilità e dell'adattamento al dominio: Le pipeline monolithic faticano a gestire fonti eterogenee, deriva temporale e shift del dominio, degradando l'affidabilità in assenza di meccanismi di fallback strutturati.

La sfida centrale è la costruzione di un workflow multi-agente che recuperi evidenze verificabili, estragga asserzioni fattuali, risolva le contraddizioni e componga una risposta coerente e interamente citata, preservando la rilevanza temporale e il rigore fattuale.

Metodologia
NightFeats è un sistema multi-agente strutturato, implementato utilizzando l'OpenAI Agents SDK e GPT-5. Decompone la sintesi della conoscenza in tre fasi coordinate, governate da rappresentazioni intermedie esplicite e contratti di passaggio (handoff contracts):

1. ResearchAgent (Recupero e costruzione delle evidenze):

   • Routing Adattivo: Seleziona dinamicamente tra modalità Recent (Brave Search API con filtraggio della freschezza), modalità Historical (corpus FineWeb per soggetti fondamentali) o modalità Direct-answer (bypassando il recupero per query univoche).
   • Pipeline a sette fasi: Include l'espansione della query (1–3 sub-query), il recupero tramite Jina Reader, la segmentazione semantica gerarchica (700 token, 100 di overlap) e l'embedding con text-embedding-3-small.
   • Reranking Temporale-Semantico: Utilizza un punteggio di fusione $s_i\_tilde = (1 - w) * s_i + w * 1/(1 + d_i/365)$ con $w=0.3$, bilanciando la rilevanza semantica ($s_i$) rispetto all'età del documento ($d_i$).
   • Filtraggio Adattivo: Applica una soglia di cutoff dinamica ($\tau = \max(\tau_{min}, \mu - \alpha * \sigma)$) e deduplicazione (similarità del coseno > 0.85) per garantire la diversità delle evidenze.

2. GeneratorAgent (Curatela e riconciliazione):

   • Estrae fatti atomici e citati, raggruppandoli per rilevare sovrapposizioni e contraddizioni.
   • Gestione delle contraddizioni: Classifica le contraddizioni in tre livelli di severità. I problemi minori sono risolti tramite il peso dei fatti; le contraddizioni importanti e critiche innescano sub-recuperi mirati da parte di sub-agenti dedicati (Fact e Reconciliation).
   • Iterazione limitata: Il ciclo di raffinamento è limitato a due iterazioni per prevenire la deriva ricorsiva, producendo un set di fatti validato.

3. WriterAgent (Composizione basata sulle evidenze):

   • Sintetizza i fatti curati in prosa dove ogni frase include citazioni inline esplicite e normalizzate.
   • Genera un elenco di riferimenti preservando la provenienza uno-a-uno, garantendo che l'output sia una narrazione verificabile allineata strettamente con le evidenze recuperate.

Contributi Chiave
Il documento propone tre contributi architettonici primari:

1. Rappresentazioni Intermedie Strutturate: Ogni fase della pipeline produce un modello di dati standardizzato contenente metadati di provenienza, annotazioni di contraddizione e citazioni normalizzate, rendendo la catena di ragionamento ispezionabile e auditabile.
2. Recupero Ibrido Temporale-Semantico: Il sistema fonde la rilevanza semantica con un punteggio di decadimento consapevole della freschezza e un filtraggio di cutoff adattivo per mantenere l'accuratezza topica e la freschezza temporale.
3. Curatela Iterativa Limitata: Un ciclo di raffinamento controllato impone una riconciliazione mirata per contraddizioni ad alta severità (fino a 2 iterazioni), garantendo la coerenza fattuale senza incorrere nella latenza o nella deriva di un'iterazione non vincolata.

Risultati
NightFeats è stato valutato nella competizione MMU-RAGent NeurIPS 2025 contro baseline proprietarie (Claude-SonnetV2 e Nova-Pro) utilizzando metriche automatiche, valutazioni LLM-as-a-Judge, rating Likert umani e preferenze pairwise dal vivo sulla piattaforma RAG-Arena.

• Metriche Automatiche: NightFeats ha ottenuto un punteggio inferiore su ROUGE-L (0.159) rispetto alle baseline (0.181–0.200). Gli autori attribuiscono ciò alla penalità strutturale derivante dall'inclusione di citazioni numeriche esplicite, che riduce la sovrapposizione lessicale con le risposte di riferimento prive di tali annotazioni. BERTScore è rimasto comparabile (0.840 vs 0.850–0.851).
• Valutazione Umana e Dinamica: NightFeats è stato premiato come Best Dynamic Evaluation nel track text-to-text. Nella piattaforma RAG-Arena dal vivo, dove utenti reali hanno selezionato le risposte preferite, NightFeats ha superato le baseline. Ciò indica che il suo focus sulla tracciabilità fattuale, la attualità temporale e la riconciliazione limitata si allinea più strettamente alle preferenze degli utenti umani rispetto ai sistemi ottimizzati per la similarità lessicale.

Significato e Rivendicazioni
Il documento posiziona NightFeats non come una pretesa di stato dell'arte su una singola metrica, ma come un'architettura modulare e riproducibile per il ragionamento RAG multi-agente. La sua importanza risiede nel dimostrare che:

• Trasparenza Architetturale: I sistemi costruiti attorno al radicamento delle evidenze verificabili e alla tracciabilità delle citazioni sono meglio allineati con le preferenze reali degli utenti rispetto a quelli che ottimizzano strettamente la similarità automatica.
• Decomposizione Principata: Suddividere la sintesi della conoscenza in fasi di recupero, curatela e composizione con espliciti contratti di passaggio affronta i limiti strutturali delle pipeline RAG monolithiche.
• Spostamento della Valutazione: I risultati validano la necessità di framework di valutazione che premino esplicitamente la qualità delle citazioni, l'affidabilità della fonte e il radicamento fattuale, piuttosto che penalizzare gli artefatti strutturali (citazioni) necessari per ottenerli.

Gli autori riconoscono i limiti, notando specificamente una latenza di produzione di 10–15 secondi per query a causa della curatela iterativa e delle chiamate API esterne, rispetto ai 6–8 secondi in fase di sviluppo. Il lavoro futuro proposto mira ad affrontare la latenza attraverso la parallelizzazione e a sviluppare metriche che premino la qualità delle citazioni anziché penalizzarla.