NightFeats @ MMU-RAGent NeurIPS 2025: A Context-Optimized Multi-Agent RAG System for the Text-to-Text Track

Resumo Técnico: NightFeats – Um Sistema RAG Multi-Agente Otimizado por Contexto

Declaração do Problema
O artigo aborda três limitações estruturais inerentes aos pipelines de Geração Aumentada por Recuperação (RAG) convencionais:

1. Miopia de Recuperação e Fragilidade Multi-Hop: Sistemas existentes frequentemente falham em encadear informações causalmente relevantes para raciocínios complexos, levando a uma exposição superficial do domínio e conclusões alucinadas.
2. Deriva de Proveniência e Colapso de Estado: No raciocínio iterativo, fatos verificados são frequentemente sobrescritos, evidências conflitantes são fundidas silenciosamente e a atribuição de fontes é perdida, erodindo a rastreabilidade.
3. Gargalos de Escalabilidade e Adaptação de Domínio: Pipelines monolíticos lutam com fontes heterogêneas, deriva temporal e mudanças de domínio, degradando a confiabilidade sem mecanismos de fallback principados.

O desafio central é construir um fluxo de trabalho multi-agente que recupere evidências verificáveis, extraia asserções fáticas, resolva contradições e componha uma resposta coerente e totalmente citada, preservando a relevância temporal e o rigor factual.

Metodologia
O NightFeats é um sistema multi-agente estruturado, implementado usando o OpenAI Agents SDK e o GPT-5. Ele decompõe a síntese de conhecimento em três fases coordenadas, governadas por representações intermediárias explícitas e contratos de transferência (handoff contracts):

1. ResearchAgent (Recuperação e Construção de Evidências):

   • Roteamento Adaptativo: Seleciona dinamicamente entre o modo Recente (Brave Search API com filtragem de atualidade), modo Histórico (corpus FineWeb para assuntos fundamentais) ou modo Resposta Direta (ignorando a recuperação para consultas inequívocas).
   • Pipeline de Sete Etapas: Inclui expansão de consulta (1–3 subconsultas), recuperação via Jato Reader, fragmentação semântica hierárquica (700 tokens, 100 de sobreposição) e embedding com text-embedding-3-small.
   • Reclassificação Temporal-Semântica: Utiliza uma pontuação de fusão $s_i\_tilde = (1 - w) * s_i + w * 1/(1 + d_i/365)$ com $w=0.3$, equilibrando a relevância semântica ($s_i$) contra a idade do documento ($d_i$).
   • Filtragem Adaptativa: Aplica um limiar de corte dinâmico ($\tau = \max(\tau_{min}, \mu - \alpha * \sigma)$) e deduplicação (similaridade de cosseno > 0.85) para garantir a diversidade das evidências.

2. GeneratorAgent (Curadoria e Reconciliação):

   • Extrai fatos atômicos e citados e os agrupa para detectar sobreposições e contradições.
   • Tratamento de Contradições: Classifica as contradições em três níveis de severidade. Problemas menores são resolvidos via ponderação de fatos; contradições importantes e críticas disparam sub-recuperações direcionadas por sub-agentes dedicados de Fato e Reconciliação.
   • Iteração Limitada: O loop de refinamento é limitado a duas iterações para evitar a deriva recursiva, gerando um conjunto de fatos validados.

3. WriterAgent (Composição Baseada em Evidências):

   • Sintetiza fatos curados em prosa onde cada sentença inclui citações inline explícitas e normalizadas.
   • Gera uma lista de referências preservando a proveniência um-para-um, garantindo que o output seja uma narrativa verificável estritamente alinhada com a evidência recuperada.

Principais Contribuições
O artigo propõe três contribuições arquitetônicas primárias:

1. Representações Intermediárias Estruturadas: Cada estágio do pipeline gera um modelo de dados padronizado contendo metadados de proveniência, anotações de contradição e citações normalizadas, tornando a cadeia de raciocínio inspecionável e auditável.
2. Recuperação Híbrida Temporal-Semântica: O sistema funde a relevância semântica com uma pontuação de decaimento consciente da recência e filtragem de corte adaptativa para manter a precisão tópica e o frescor temporal.
3. Curadoria Iterativa Limitada: Um loop de refinamento controlado impõe a reconciliação direcionada para contradições de alta severidade (até 2 iterações), garantindo a coerência factual sem incorrer na latência ou deriva de uma iteração não restringida.

Resultados
O NightFeats foi avaliado na competição MMU-RAGent NeurIPS 2025 contra baselines proprietários (Claude-SonnetV2 e Nova-Pro) usando métricas automáticas, avaliações de LLM-as-a-Judge, classificações humanas Likert e preferências pareadas ao vivo na plataforma RAG-Arena.

• Métricas Automáticas: O NightFeats pontuou abaixo no ROUGE-L (0.159) em comparação com os baselines (0.181–0.200). Os autores atribuem isso à penalidade estrutural de incluir citações numéricas explícitas, o que reduz a sobreposição lexical com respostas de referência que carecem de tais anotações. O BERTScore permaneceu comparável (0.840 vs. 0.850–0.851).
• Avaliação Humana e Dinâmica: O NightFeats recebeu o prêmio de Melhor Avaliação Dinâmica na trilha de texto-para-texto. Na plataforma RAG-Arena ao vivo, onde usuários reais selecionavam respostas preferidas, o NightFeats superou os baselines. Isso indica que seu foco em rastreabilidade factual, atualidade temporal e reconciliação limitada se alinha mais proximamente às preferências dos usuários humanos do que sistemas otimizados para similaridade lexical.

Significância e Alegações
O artigo posiciona o NightFeats não como uma afirmação de estado da arte em uma única métrica, mas como uma arquitetia modular e reproduzível para o raciocínio RAG multi-agente. Sua significância reside em demonstrar que:

• Transparência Arquitetônica: Sistemas construídos em torno de fundamentação de evidência verificável e rastreabilidade de citação estão melhor alinhados com as preferências reais dos usuários do que aqueles que otimizam apenas para similaridade automática estreita.
• Decomposição Principada: A divisão da síntese de conhecimento nas fases de recuperação, curadoria e composição com contratos de transferência explícitos aborda as limitações estruturais dos pipelines RAG monolíticos.
• Mudança de Avaliação: Os resultados validam a necessidade de frameworks de avaliação que recompensem explicitamente a qualidade da citação, a confiabilidade da fonte e o embasamento factual, em vez de penalizar os artefatos estruturais (citações) necessários para alcançá-los.

Os autores reconhecem limitações, observando especificamente uma latência de produção de 10–15 segundos por consulta devido à curadoria iterativa e chamadas de API externas, comparado a 6–8 segundos em desenvolvimento. O trabalho futuro proposto visa abordar a latência através de paralelização e desenvolver métricas que recompensem a qualidade da citação em vez de penalizá-la.