Resumen Técnico de MPR-CiteG: Mejora de RAG mediante la Recuperación de Multi-Portafolio y la Generación con Base en Citación

1. Planteamiento del Problema

Los Modelos de Lenguaje Extensos (LLMs) enfrentan limitaciones inherentes cuando dependen únicamente de su conocimiento interno, particularmente en lo que respecta a la provisión de respuestas actualizadas y con base fáctica. Si bien la Generación Aumentada por Recuperación (RAG) aborda esto aprovechando evidencia externa, los enfoques existentes sufren de dos ineficiencias primarias:

1. Recuperación Ineficiente: Los métodos centrados en la consulta suelen pasar por alto restricciones prácticas como los costos de recuperación y la coordinación de recuperadores heterogéneos bajo presupuestos de cómputo limitados.
2. Falta de Verificación de Fuentes: Los enfoques orientados a la citación mejoran la fidelidad, pero frecuentemente dependen de procesos de múltiples etapas que consumen muchos recursos, los cuales no son adecuados para entornos de API públicas con estrictas restricciones de latencia y la necesidad de fundamentación a nivel de fragmentos (snippets).

El ScienceON AI Challenge evalúa específicamente los sistemas mediante la generación de respuestas a partir de resultados de búsqueda públicos bajo un presupuesto fijo de GPU, lo que requiere que los participantes equilibren la eficiencia de la recuperación con la producción de respuestas basadas en evidencia.

2. Metodología: El Marco de Trabajo MPR-CiteG

Los autores proponen MPR-CiteG, un sistema de dos componentes diseñado para convertir las restricciones del sistema en ganancias de rendimiento. El marco consiste en un Recuperador de Multi-Portafolio (MPR) para una recopilación de información eficiente y diversa, y un módulo de Generación con Base en Citación (CiteG) para una salida atribuida y fácticamente consistente.

2.1. Recuperador de Multi-Portafolio (MPR)

El MPR aborda el problema del desajuste de vocabulario y las restricciones de presupuesto expandiendo una única consulta de usuario en cuatro Portafolios de Consulta paralelos, que luego son agregados y re-clasificados.

• Expansión de Consulta: Utilizando un LLM (Qwen2.5-14B-Instruct), el sistema extrae dos conjuntos de palabras clave:
  • Palabras Clave Primarias: Cinco términos con sinónimos que actúan como anclajes semánticos.
  • Palabras Clave Expandidas: Tres términos adicionales que amplían el alcance de la búsqueda con terminología específica del dominio o parafraseada.
• Cuatro Portafolios de Consulta: Estas palabras clave se combinan mediante operadores booleanos para formar cuatro estrategias distintas:
  • Q (Expansión de consulta): Maximiza la recuperación (recall) al emparejar palabras clave primarias con conceptos expandidos utilizando lógica OR/AND.
  • S (Robustez de sinónimos): Mejora la precisión incorporando sinónimos y comodines de prefijo mientras filtra términos ruidosos (ej. "patente").
  • F (Equilibrio de enfoque): Equilibra la amplitud y la selectividad agrupando las principales palabras clave con lógica OR y combinándolas con las palabras clave restantes mediante lógica AND.
  • G (Traducción global): Aborda la cobertura multilingüe traduciendo consultas (Coreano $\leftrightarrow$ Inglés) utilizando el modelo NLLB-200.
• Agregación de Candidatos y Re-clasificación: Los resultados de todos los portafolios se fusionan, se eliminan duplicados (basándose en Números de Control o títulos) y se re-clasifican utilizando un Cross-Encoder (BGE-Reranker-v2-m3). Esto destila el grupo inicial (aprox. 270 elementos) a los 50 documentos más relevantes, asegurando un contexto de alta precisión para la generación.

2.2. Generación con Base en Citación (CiteG)

El módulo CiteG utiliza el LLM Qwen2.5-14B-Instruct en un proceso de dos etapas para asegurar la legibilidad y la responsabilidad fáctica.

1. Generación de Respuesta Condicionada por Documentos:
   • El modelo genera una respuesta borrador estrictamente a partir de los 10 documentos recuperados principales.
   • Los prompts imponen un estilo de escritura científica (Título, Introducción, Cuerpo, Conclusión) y restringen al modelo a usar únicamente las fuentes proporcionadas.
   • La salida es una narrativa fluida y semánticamente fiel sin citas explícitas.
2. Fundamentación de Citación a Nivel de Oración:
   • El borrador se segmenta en oraciones.
   • Cada oración se evalúa frente a los documentos candidatos para seleccionar las fuentes de apoyo.
   • Reglas: Las afirmaciones fácticas deben incluir citas; las oraciones genéricas o de transición pueden omitirlas.
   • Asignación de Marcadores: Las citas se asignan incrementalmente, reutilizando marcadores para múltiples oraciones que referencian el mismo documento para preservar la legibilidad.
   • Serialización: La salida final incluye la narrativa con marcadores en línea (ej. "[1]") y un bloque de citación estructurado que mapea los marcadores a enlaces de fuentes.

3. Resultados Clave

El marco fue evaluado en el conjunto de datos del ScienceON AI Challenge utilizando BLEU, METEOR, Exactitud de Recuperación (similitud de coseno entre las oraciones de citación y los títulos/resúmenes de las fuentes) y Tiempo de Ejecución.

• Comparación de la Columna Vertebral (Backbone) del LLM: Entre varios modelos (incluyendo Llama3.1 y variantes de KONI-Llama3.1), Qwen2.5-14B logró el mayor rendimiento general (Puntuación Final: 0.5415), demostrando una robustez multilingüe y calidad de citación superiores en comparación con modelos más pequeños o adaptados al coreano.
• Estudio de Ablación (Portafolios de Consulta):
  • La configuración completa (Q+S+F+G) produjo los mejores resultados en todas las métricas.
  • Eliminar el bloque Q (Expansión de consulta) causó la caída de rendimiento más significativa, resaltando el papel crítico de la expansión semántica.
  • Eliminar el bloque S (Robustez de sinónimos) tuvo el menor impacto en la calidad pero mejoró el tiempo de ejecución, sugiriendo un compromiso entre las ganancias marginales de recuperación y la latencia.
• Casos de Estudio:
  • Caso de Éxito: El sistema sintetizó con éxito la información de múltiples citas para una consulta sobre detección de diabetes, distinguiendo explícitamente entre hechos verificables (citados) y declaraciones narrativas generales (no citadas), evitando eficazmente la alucinación.
  • Caso de Error: El sistema tuvo dificultades con consultas complejas y multifacéticas (ej. estrategias de integración HMM/NN), fallando en abordar todos los requisitos estructurales debido a un grupo de evidencia estático de Top-10 y un sesgo de palabras clave.

4. Significado y Reivindicaciones

El artículo afirma que MPR-CiteG representa un paso significativo hacia la construcción de LLMs confiables al:

• Mitigar la Alucinación: Al fundamentar estrictamente cada afirmación fáctica en la evidencia recuperada y separar explícitamente las declaraciones generales de los hechos citados.
• Optimizar la Eficiencia: Al convertir las restricciones de un presupuesto fijo de GPU y una API pública en una estrategia de recuperación de multi-portafolio estructurada que maximiza la recuperación sin sacrificar la precisión.
• Garantizar la Verificabilidad: A través del módulo CiteG, que proporciona una cadena de evidencia transparente, permitiendo a los usuarios rastrear cada afirmación hasta un documento fuente específico.

Los autores concluyen que, si bien el proceso estático funciona bien para consultas estándar, el trabajo futuro debe evolucionar hacia mecanismos dinámicos (ej. intercalar el razonamiento con la recuperación) para manejar necesidades de información complejas y multifacéticas sin el sesgo del grupo de documentos. El marco obtuvo el segundo lugar en el ScienceON AI Challenge, validando su efectividad para equilibrar la eficiencia de la recuperación con la generación basada en citación.