Resumen Técnico: LatentRAG

Enunciado del Problema

Los sistemas tradicionales de Generación Aumentada por Recuperación (RAG) suelen depender de un proceso de recuperación de un solo paso, que lucha con preguntas complejas que requieren razonamiento iterativo. Aunque el RAG Agente aborda esto empleando Modelos de Lenguaje Grande (LLM) como agentes de búsqueda que generan iterativamente pensamientos intermedios y subconsultas para recuperar información, este enfoque introduce una latencia significativa.

El principal cuello de botella en los métodos existentes de RAG Agente (por ejemplo, Search-R1, AutoRefine) es la generación autoregresiva, token por token, de pensamientos y subconsultas en lenguaje natural. Como demuestra el análisis del artículo, estas etapas de generación representan aproximadamente el 90% de la latencia total de inferencia, lo que hace que el RAG Agente sea de 15 a 20 veces más lento que el RAG de un solo paso ingenuo. Además, la generación explícita de secuencias largas de texto impide una paralelización eficiente y obstaculiza la optimización conjunta de extremo a extremo del LLM y el modelo de recuperación debido a la naturaleza discreta de los tokens de salida.

Metodología: LatentRAG

Los autores proponen LatentRAG, un marco que traslada tanto el razonamiento como la recuperación del espacio discreto del lenguaje al espacio latente continuo. En lugar de generar tokens explícitos de lenguaje natural para pensamientos y subconsultas, el modelo opera sobre "tokens latentes": los estados ocultos de la última capa de tokens marcadores especiales.

Componentes Principales

1. Generación Latente:

   • El LLM se solicita con tokens especiales (por ejemplo, <think1>...<thinkm> para pensamientos y <query1>...<queryn> para subconsultas).
   • Durante la etapa de prellenado, estos tokens especiales se procesan en paralelo. El modelo extrae los estados ocultos finales de estos tokens para servir como tokens de pensamiento latente ($H^\tau_t$) y de subconsulta latente ($H^s_t$).
   • Esto permite que el modelo asigne computación interna sin la sobrecarga secuencial de la generación de texto autoregresiva.

2. Recuperación Latente:

   • Dado que los tokens latentes residen en el espacio de salida del LLM, un módulo proyector ligero ($Proj_{ret}$) cierra la brecha hacia el espacio de entrada del modelo de recuperación.
   • La subconsulta latente proyectada se introduce en un modelo de recuperación denso entrenable para generar incrustaciones.
   • Objetivo de Entrenamiento: Para alinear las incrustaciones de la subconsulta latente con el comportamiento de recuperación de las subconsultas en lenguaje natural sin requerir anotaciones de documentos de verdad fundamental para cada paso intermedio, los autores introducen una pérdida de divergencia KL. Esta pérdida minimiza la divergencia entre la distribución de similitud de documentos inducida por la subconsulta latente y la inducida por una subconsulta de referencia en lenguaje natural (congelada). Esto permite una optimización conjunta de extremo a extremo totalmente diferenciable del LLM y el modelo de recuperación.

3. Decodificación Latente Paralela (Opcional):

   • Para abordar la naturaleza de "caja negra" del razonamiento latente y garantizar la transparencia, se incorpora un mecanismo de decodificación paralelo.
   • Los módulos proyectores mapean los tokens latentes de nuevo al espacio de entrada del LLM, permitiendo que el modelo decodifique los pensamientos y subconsultas en lenguaje natural correspondientes.
   • Crucialmente, como los tokens latentes se generan en una sola pasada hacia adelante, la decodificación subsiguiente de pensamientos y subconsultas en diferentes pasos puede realizarse en paralelo, reduciendo significativamente la latencia de decodificación en comparación con la generación autoregresiva secuencial.

Contribuciones Clave

1. Marco LatentRAG: Un sistema novedoso de RAG Agente que realiza el razonamiento y la recuperación completamente dentro del espacio latente, eliminando la sobrecarga de latencia asociada con la generación explícita token por token de pensamientos y subconsultas.
2. Alineación en Espacio Latente: Un objetivo de entrenamiento basado en la divergencia KL que alinea las representaciones de subconsultas latentes del LLM con un modelo de recuperación denso preentrenado. Esto facilita la optimización conjunta de extremo a extremo y permite que los tokens latentes sirvan como consultas de recuperación efectivas a pesar de la escasez de datos en los pasos intermedios.
3. Mecanismo de Decodificación Paralela: Un método para traducir tokens latentes de nuevo a lenguaje natural para la transparencia. Este mecanismo soporta la decodificación paralela a través de múltiples pasos de razonamiento, ofreciendo un equilibrio entre eficiencia e interpretabilidad mientras mantiene una ventaja significativa de velocidad sobre los métodos explícitos.

Resultados Experimentales

Los autores evaluaron LatentRAG en siete conjuntos de datos de referencia (NQ, TriviaQA, PopQA, HotpotQA, 2Wiki, Musique, Bamboogle) utilizando diversos modelos de recuperación y escalas de LLM.

• Rendimiento: LatentRAG logra un rendimiento comparable a los métodos explícitos de RAG Agente más avanzados (por ejemplo, Search-R1, AutoRefine), con diferencias de rendimiento relativas generalmente dentro del 5%.
• Eficiencia: El método reduce la latencia de inferencia en aproximadamente un 90% en comparación con las líneas base explícitas de RAG Agente.
  • En promedio, LatentRAG reduce la latencia de ~5,000 ms (Search-R1) a ~600 ms.
  • Esto reduce la latencia del RAG Agente a niveles comparables con el RAG tradicional de un solo paso (por ejemplo, ~400–500 ms).
• Escalabilidad: Las ganancias de eficiencia se mantienen a través de diferentes tamaños de modelo (LLMs de 3B a 14B y modelos de recuperación de 0.6B a 8B). Escalar el tamaño del LLM aumenta significativamente la latencia para los métodos explícitos debido a secuencias de decodificación más largas, mientras que LatentRAG mantiene la eficiencia.
• Estudios de Ablación: Se demostró que el objetivo de recuperación de divergencia KL es superior a la pérdida de coseno o la pérdida InfoNCE. Eliminar el modelo de recuperación preentrenado o la pérdida de decodificación latente resultó en una degradación del rendimiento, confirmando la necesidad del sesgo inductivo del modelo de recuperación y la regularización proporcionada por la decodificación.

Significado y Afirmaciones

El artículo afirma que LatentRAG cierra exitosamente la brecha entre el alto rendimiento del RAG Agente de múltiples pasos y la eficiencia del RAG de un solo paso. Al trasladar el razonamiento y la recuperación al espacio latente, el marco evita las ineficiencias computacionales de la generación de texto autoregresiva mientras mantiene la capacidad de descomponer preguntas complejas.

Los autores enfatizan que, aunque el razonamiento latente ha sido explorado para tareas de solo generación, su aplicación al RAG Agente introduce desafíos únicos relacionados con la escasez de datos y la transparencia. LatentRAG aborda esto proponiendo una estrategia de optimización conjunta y un mecanismo de decodificación paralelo opcional. El trabajo sugiere un cambio de motores de búsqueda basados en texto orientados a humanos hacia motores de búsqueda basados en incrustaciones orientados a agentes, ofreciendo un paradigma más eficiente para agentes de búsqueda de información en la era de los modelos de lenguaje grande. Los autores notan modestamente que su enfoque actual depende del ajuste fino supervisado (SFT) utilizando trayectorias de agentes existentes, y que el trabajo futuro podría explorar el aprendizaje por refuerzo para optimizar aún más las políticas de recuperación.