NightFeats @ MMU-RAGent NeurIPS 2025: A Context-Optimized Multi-Agent RAG System for the Text-to-Text Track

Resumen Técnico: NightFeats – Un Sistema RAG Multi-Agente Optimizado por Contexto

Planteamiento del Problema
El artículo aborda tres limitaciones estructurales inherentes a los flujos de trabajo convencionales de Generación Aumentada por Recuperación (RAG):

1. Miopía de Recuperación y Fragilidad de Múltiples Saltos (Multi-Hop): Los sistemas existentes suelen fallar al encadenar información causalmente relevante para razonamientos complejos, lo que conduce a una exposición superficial del dominio y conclusiones alucinadas.
2. Deriva de Procedencia y Colapso de Estado: En el razonamiento iterativo, los hechos verificados son frecuentemente sobrescritos, la evidencia conflictiva se fusiona silenciosamente y la atribución de la fuente se pierde, erosionando la trazabilidad.
3. Cuellos de Botella de Escalabilidad y Adaptación al Dominio: Los flujos de trabajo monolíticos luchan con fuentes heterogéneas, deriva temporal y cambios de dominio, degradando la fiabilidad sin mecanismos de contingencia fundamentados.

El desafío central es construir un flujo de trabajo multi-agente que recupere evidencia verificable, extraiga afirmaciones fácticas, resuelva contradicciones y componga una respuesta coherente y totalmente citada, preservando la relevancia temporal y el rigor fáctico.

Metodología
NightFeats es un sistema multi-agente estructurado, implementado utilizando el SDK de Agentes de OpenAI y GPT-5. Descompone la síntesis de conocimiento en tres fases coordinadas gobernadas por representaciones intermedias explícitas y contratos de transferencia (handoff contracts):

1. ResearchAgent (Recuperación y Construcción de Evidencia):

   • Enrutamiento Adaptativo: Selecciona dinámicamente entre el modo Reciente (Brave Search API con filtrado de frescura), el modo Histórico (corpus FineWeb para temas fundacionales) o el modo Respuesta Directa (evitando la recuperación para consultas inequívocas).
   • Pipeline de Siete Pasos: Incluye expansión de consultas (1–3 subconsultas), recuperación vía Jaden Reader, fragmentación semántica jerárquica (700 tokens, 100 de solapamiento) y generación de embeddings con text-embedding-3-small.
   • Reclasificación (Reranking) Temporal-Semántica: Utiliza una puntuación de fusión $s_i\_tilde = (1 - w) * s_i + w * 1/(1 + d_i/365)$ con $w=0.3$, equilibrando la relevancia semántica ($s_i$) contra la antigüedad del documento ($d_i$).
   • Filtrado Adaptativo: Aplica un umbral de corte dinámico ($\tau = \max(\tau_{min}, \mu - \alpha * \sigma)$) y deduplicación (similitud de coseno > 0.85) para asegurar la diversidad de la evidencia.

2. GeneratorAgent (Curaduría y Reconciliación):

   • Extrae hechos atómicos y citados, y los agrupa para detectar solapamientos y contradicciones.
   • Gestión de Contradicciones: Clasifica las contradicciones en tres niveles de severidad. Los problemas menores se resuelven mediante el pesaje de hechos; las contradicciones importantes y críticas activan sub-recuperaciones dirigidas por sub-agentes dedicados de Hechos (Fact) y Reconciliación (Reconciliation).
   • Iteración Acotada: El bucle de refinamiento se limita a dos iteraciones para evitar la deriva recursiva, produciendo un conjunto de hechos validados.

3. WriterAgent (Composición Basada en Evidencia):

   • Sintetiza los hechos curados en prosa donde cada oración incluye citas en línea explícitas y normalizadas.
   • Genera una lista de referencias que preserva la procedencia uno a uno, asegurando que el resultado sea una narrativa verificable alineada estrictamente con la evidencia recuperada.

Contribuciones Clave
El artículo propone tres contribuciones arquitectónicas primarias:

1. Representaciones Intermedias Estructuradas: Cada etapa del pipeline genera un modelo de datos estandarizado que contiene metadatos de procedencia, anotaciones de contradicción y citas normalizadas, haciendo que la cadena de razonamiento sea inspeccionable y auditable.
2. Recuperación Híbrida Temporal-Semántica: El sistema fusiona la relevancia semántica con una puntuación de decaimiento consciente de la actualidad y un filtrado de corte adaptativo para mantener la precisión tópica y la frescura temporal.
3. Curaduría Iterativa Acotada: Un bucle de refinamiento controlado impone una reconciliación dirigida para contradicciones de alta severidad (hasta 2 iteraciones), asegurando la coherencia fáctica sin incurrir en la latencia o la deriva de una iteración sin restricciones.

Resultados
NightFeats fue evaluado en la competencia MMU-RAGent NeurIPS 2025 contra baselines propietarios (Claude-SonnetV2 y Nova-Pro) utilizando métricas automáticas, evaluaciones de LLM-as-a-Judge, calificaciones humanas de Likert y preferencias emparejadas en vivo en la plataforma RAG-Arena.

• Métricas Automáticas: NightFeats obtuvo una puntuación más baja en ROUGE-L (0.159) en comparación con los baselines (0.181–0.200). Los autores atribuyen esto a la penalización estructural de incluir citas numéricas explícitas, lo que reduce el solapamiento léxico con las respuestas de referencia que carecen de tales anotaciones. El BERTScore se mantuvo comparable (0.840 vs. 0.850–0.851).
• Evaluación Humana y Dinámica: NightFeats fue galardonado con el Mejor en Evaluación Dinámica en la categoría de texto-a-texto. En la plataforma RAG-Arena en vivo, donde usuarios reales seleccionaban las respuestas preferidas, NightFeats superó a los baselines. Esto indica que su enfoque en la trazabilidad fáctica, la actualidad temporal y la reconciliación acotada se alinea más estrechamente con las preferencias de los usuarios humanos que los sistemas optimizados para la similitud léxica.

Significancia y Reivindicaciones
El artículo posiciona a NightFeats no como una pretensión de estado del arte en una única métrica, sino como una arquitectura modular y reproducible para el razonamiento RAG multi-agente. Su significancia radica en demostrar que:

• Transparencia Arquitectónica: Los sistemas construidos en torno a la fundamentación de evidencia verificable y la trazabilidad de citas están mejor alineados con las preferencias reales de los usuarios que aquellos que optimizan únicamente para la similitud automática.
• Descomposición Principialista: Dividir la síntesis de conocimiento en fases de recuperación, curaduría y composición con contratos de transferencia explícitos aborda las limitaciones estructurales de los pipelines RAG monolíticos.
• Cambio de Evaluación: Los resultados validan la necesidad de marcos de evaluación que recompensen explícitamente la calidad de las citas, la fiabilidad de las fuentes y la fundamentación fáctica, en lugar de penalizar los artefactos estructurales (citas) necesarios para lograrlo.

Los autores reconocen limitaciones, señalando específicamente una latencia de producción de 10–15 segundos por consulta debido a la curaduría iterativa y las llamadas a APIs externas, en comparación con los 6–8 segundos en desarrollo. Se propone trabajo futuro para abordar la latencia mediante la paralelización y para desarrollar métricas que recompensen la calidad de la cita en lugar de penalizarla.