Resumen Técnico: ConCise – Compresión de Estado de Cadena de Conclusiones Libre de Entrenamiento para RAG de Múltiples Pasos

1. Planteamiento del Problema

La Generación Aumentada por Recuperación (RAG) de múltiples pasos se ha convertido en un paradigma estándar para la resolución de preguntas complejas, utilizando rondas iterativas de recuperación y razonamiento para lograr una precisión multi-salto. Sin embargo, este enfoque sufre de inflación del contexto histórico. Bajo el paradigma tradicional de "contexto completo", todos los documentos recuperados y los rastros de razonamiento de rondas anteriores se concatenan en la entrada para cada paso subsiguiente. Esto causa que los tokens de entrada acumulados crezcan de forma cuadrática, aproximadamente $O(N^2)$, donde $N$ es el número de pasos de razonamiento.

En arquitecturas de servicio basadas en API (por ejemplo, despliegues serverless o en el borde/edge), este crecimiento cuadrático conduce a tres problemas críticos:

1. Costo: La facturación por solicitud está directamente ligada al recuento de tokens de entrada, lo que hace que las cadenas de razonamiento profundas sean prohibitivamente costosas.
2. Latencia: Las cargas útiles más grandes aumentan el tiempo de transmisión de red y la latencia de respuesta.
3. Ruido: A medida que el contexto se expande, la densidad de información irrelevante aumenta, lo que puede causar deriva de atención y degradación de la precisión del razonamiento.

Los métodos de compresión existentes (por ejemplo, poda de tokens, optimización de caché KV, compresión de vectores suaves o resumen recursivo) no son adecuados para este entorno dinámico. O bien requieren acceso al modelo (incompatibles con APIs de caja negra), demandan entrenamiento/ajuste fino offline, o sufren de pérdida de información debido a la reescritura repetida de los estados históricos (resumen recursivo). Existe una falta de soluciones libres de entrenamiento y plug-and-play diseñadas específicamente para la naturaleza de solo añadir (append-only) de la gestión de estado de RAG iterativo.

2. Metodología: ConCise

El artículo propone ConCise, un protocolo de capa de estado libre de entrenamiento que reestructura la transmisión del contexto entre rondas. Opera al nivel de la concatenación de prompts sin requerir la modificación del modelo o entrenamiento adicional.

Mecanismos Centrales

1. Iteración de Cadena de Conclusiones:
   En lugar de propagar todo el historial de documentos brutos ($D_t$) y rastros de razonamiento ($r_t$), ConCise mantiene una cadena de conclusiones estructuradas de solo añadir ($C_t$).

   • En cada ronda $t$, el sistema recupera un conjunto de documentos $D_t$ basado en la consulta $q$ y la cadena de conclusiones actual $C_{t-1}$.
   • El generador produce una trayectoria de razonamiento $r_t$ y una conclusión estructurada $c_t$.
   • El estado pasado a la siguiente ronda es $S_t = (q, C_t)$, donde $C_t = \text{Append}(C_{t-1}, c_t)$.
   • Los documentos brutos $D_t$ se descartan después de la ronda actual.
   • Reducción de Complejidad: Esto reduce el crecimiento del contexto acumulado de $O(N^2)$ a aproximadamente $O(N)$.

2. Generación Fusionada:
   Para eliminar la sobrecarga de la invocación dual serial (una llamada para el razonamiento, una para el resumen), ConCise introduce un modo de generación fusionada. En una sola llamada a la API, el modelo emite conjuntamente la trayectoria de razonamiento, la conclusión estructurada y la siguiente acción. Esto elimina el costo de facturación por entrada repetida asociado con el envío del contexto dos veces.

3. Arquitectura Pluggable (Conectable):
   El módulo de actualización de estado está diseñado como un componente pluggable con dos modos:

   • Modo Fusionado: Una sola llamada a la API para mayor eficiencia (recomendado para edge/serverless).
   • Modo de Dos Etapas: Llamadas separadas para el razonamiento y la extracción de conclusiones, útil cuando se dispone de un modelo de resumen dedicado o se requiere una mayor calidad de extracción.

Justificación Teórica

El artículo proporciona un análisis de teoría de la información comparando ConCise con el resumen recursivo.

• Resumen Recursivo: La reescritura repetida de resúmenes previos crea una cadena de Markov donde la fidelidad de la información decae de forma monótona ($I(\sigma_t; Z_k) \leq I(\sigma_{t-1}; Z_k)$).
• Regla de Solo Añadir (Append-Only): Al retener las conclusiones verbatim sin recompresión, ConCise asegura que la entropía condicional de las conclusiones pasadas dado la cadena actual sea cero ($H(c_k | C_t) = 0$). Esto evita la degradación en cascada de los hechos de las rondas iniciales mientras mantiene una carga útil de $O(N)$.

3. Contribuciones Clave

1. Paradigma Iterativo de Cadena de Conclusiones: Una novedosa estrategia de gestión de estado que reemplaza la acumulación de texto bruto con una cadena de solo añadir de conclusiones estructuradas, reduciendo el crecimiento del contexto de $O(N^2)$ a $O(N)$ y eliminando la propagación de ruido entre rondas.
2. Arquitectura Pluggable Libre de Entrenamiento: Un método de cero entrenamiento compatible con APIs de caja negra. Incluye un mecanismo de generación fusionada que reduce la sobrecarga por paso combinando el razonamiento y la extracción de conclusiones en una sola llamada a la API.
3. Evaluación Empírica Sistemática: Experimentos extensos a través de 12 configuraciones emparejadas (3 modelos, 2 conjuntos de datos, 2 frameworks) que demuestran ahorros significativos de tokens con compromisos de precisión aceptables.

4. Resultados Experimentales

La evaluación utilizó los conjuntos de datos HotpotQA y 2WikiMultihopQA con tres modelos (GPT-5, Qwen2.5-72B, DeepSeek V3.2) y dos líneas base (IRCoT, Search-R1). La profundidad máxima de razonamiento se fijó en 4 pasos.

• Eficiencia de Tokens: ConCise logró un ahorro de tokens promedio del 64.63% en el paso 4. Los ahorros aumentaron con la profundidad del razonamiento (efecto de amplificación de profundidad), oscilando entre el 49.6% y el 74.1% en todas las configuraciones.
• Impacto en la Precisión: El impacto en la precisión varió según el método de la línea base:
  • IRCoT (Impulsado por Prompts): Mostró mejoras significativas de precisión (promedio +8.37 pp), sugiriendo que la cadena de conclusiones ayuda a mitigar la deriva de atención y la redundancia inherente a los métodos impulsados por prompts.
  • Search-R1 (Entrenado por RL): Mostró ligeros descensos de precisión (promedio -1.07 pp). Los autores lo atribuyen a la posible pérdida de pistas finas (por ejemplo, detalles numéricos, asociaciones débiles) en las que la política de RL depende, las cuales se descartan durante la compresión.
• Métricas de Servicio: Las reducciones de tokens se tradujeron directamente en reducciones proporcionales en la carga útil de red estimada y en los costos de facturación de entrada.

Modos de Fallo Identificados

El artículo identifica tres modos de fallo específicos:

1. Información Faltante: Extracción incompleta de detalles clave en la conclusión.
2. Pérdida de Granularidad: Degradación de la información de alta densidad (números, marcas de tiempo) durante la compresión.
3. Propagación de Errores: Las conclusiones incorrectas comprometidas en las primeras etapas se preservan verbatim y no pueden corregirse en las rondas subsiguientes debido a la naturaleza de solo añadir.

5. Significación y Reivindicaciones

El artículo afirma que ConCise proporciona una solución amigable para el despliegue y eficiente en costos para servicios de RAG de múltiples pasos, particularmente para entornos API-nativos, serverless y de borde donde el acceso al modelo está restringido y el costo es una restricción primaria.

• Eficiencia de Costos: Al comprimir el crecimiento del contexto a $O(N)$ y utilizar la generación fusionada, ConCise ofrece un método plug-and-play para reducir drásticamente los costos de facturación de la API sin reentrenar modelos.
• Preservación de la Calidad: Para métodos susceptibles al ruido de contexto largo (como IRCoT), la cadena de conclusiones estructurada puede incluso mejorar la calidad del razonamiento al actuar como un "ancla de atención", evitando que el modelo sea secuestrado por menciones repetidas de entidades incorrectas.
• Limitaciones: Los autores reconocen modestamente que el método depende de la calidad de la extracción de la conclusión inicial. Si una conclusión temprana es incorrecta, el diseño de solo añadir impide la autocorrección. Sugieren que trabajos futuros podrían explorar la inserción de la cadena retardada o ventanas de evidencia deslizantes para mitigar esto.

En resumen, ConCise aborda el cuello de botella de escalabilidad del RAG iterativo desplazando la representación del estado de la acumulación de texto bruto a una cadena de conclusiones estructurada y compacta, ofreciendo un compromiso práctico entre costo, latencia y fidelidad del razonamiento.