Principled Context Engineering for RAG: Statistical Guarantees via Conformal Prediction

Resumen Técnico: Ingeniería de Contexto Principiada para RAG mediante Predicción Conformal

1. El Problema

Los sistemas de Generación Aumentada por Recuperación (RAG) mejoran la precisión factual de los Modelos de Lenguaje Grande (LLM) al incorporar evidencia recuperada. Sin embargo, enfrentan dos desafíos críticos:

• Degradación por Ruido y Longitud: La precisión de los LLM disminuye cuando el contexto es demasiado largo o ruidoso, superando su "rango de atención efectivo" (fenómeno conocido como lost-in-the-middle).
• Falta de Control Estadístico: Los métodos actuales de filtrado previo a la generación dependen de heurísticas (como los top-k) o de puntuaciones de confianza de LLM no calibradas. Estas aproximaciones no ofrecen garantías estadísticas sobre qué fracción de la evidencia relevante se retiene, lo que lleva a la inclusión de contenido irrelevante o redundante que diluye la señal útil y aumenta los costos de tokens.

2. Metodología

El artículo propone un marco de Ingeniería de Contexto basado en la Predicción Conformal (Conformal Prediction - CP) para el filtrado de snippets (fragmentos de texto) antes de la generación.

• Formulación del Problema:

  • Dada una consulta $q$, un recuperador devuelve documentos que se segmentan en snippets $S_q$.
  • El objetivo es seleccionar un subconjunto filtrado $K_q \subseteq S_q$ que garantice retener una proporción específica de snippets relevantes, controlada por una tasa de error de cobertura $\alpha$ (donde $1-\alpha$ es la cobertura deseada).
  • Formalmente, se busca cumplir: $P(s \in K_q \mid r(q, s) = 1) \geq 1 - \alpha$.

• Predicción Conformal Dividida (Split Conformal Prediction):

  • Se utiliza un conjunto de calibración ($D_{cal}$) y un conjunto de prueba ($D_{test}$) disjuntos (con temas distintos para preservar la intercambiabilidad).
  • Funciones de Puntuación: Se evalúan dos paradigmas para asignar puntuaciones de "no conformidad" (menor puntuación = más relevante):
    1. Conformal-Embedding: Usa embeddings densos (Qwen3-Embedding-8B) y la distancia del coseno.
    2. Conformal-LLM: Usa un LLM (GPT-4o) para puntuar la relevancia en una escala [0, 1].
  • Umbral de Filtrado ($\hat{\tau}_\alpha$): Se calcula el cuantil $(1-\alpha)$ de las puntuaciones de los snippets relevantes en el conjunto de calibración.
  • Regla de Decisión: En tiempo de prueba, un snippet $s$ se retiene si su puntuación $A(q, s) \leq \hat{\tau}_\alpha$. Esto garantiza matemáticamente que la cobertura de los snippets relevantes se mantenga por encima del umbral especificado sin necesidad de reentrenar el modelo.

• Evaluación:

  • Se probaron en los conjuntos de datos NeuCLIR y RAGTIME.
  • Las etiquetas de relevancia se generaron automáticamente con Llama 3.3-70B.
  • La calidad de la respuesta final se midió en NeuCLIR utilizando ARGUE F1 (una métrica basada en "nuggets" o fragmentos de verdad humana).

3. Contribuciones Clave

1. Marco de Ingeniería de Contexto Principiada: Introducen el uso de la predicción conformal post-recuperación para garantizar la cobertura de la evidencia relevante, transformando el filtrado de una heurística a un proceso con fundamentos estadísticos.
2. Eficiencia y Garantías Empíricas: Demuestran que el filtrado conformal logra la cobertura objetivo mientras reduce el tamaño del contexto entre 2 y 3 veces en comparación con la recuperación sin filtrar, manteniendo la precisión factual.
3. Independencia del Modelo (Model-Agnostic): El enfoque no requiere reentrenamiento de los LLM y es compatible tanto con funciones de puntuación basadas en embeddings como con las basadas en LLM.

4. Resultados

• Garantías de Cobertura: En ambos conjuntos de datos, tanto el método basado en embeddings como el basado en LLM cumplieron o superaron ligeramente las garantías teóricas de cobertura (ej. si se pide 90% de cobertura, se obtuvo $\geq$ 90%). El método basado en embeddings mostró un seguimiento más suave de la línea objetivo, mientras que el basado en LLM tuvo pasos más discretos debido a la cuantificación de sus puntuaciones.
• Reducción de Contexto:
  • Bajo cobertura estricta ($\alpha \leq 0.20$), el método Conformal-Embedding eliminó entre un 25% y un 55% de los snippets recuperados.
  • El método Conformal-LLM fue más agresivo, eliminando entre un 46% y un 70% del contenido.
• Calidad de la Respuesta (NeuCLIR):
  • La métrica ARGUE F1 mejoró significativamente bajo filtrado estricto ($\alpha = 0.05$ y $0.10$) en comparación con la línea base sin filtrar (0.69 F1 vs. 0.72 y 0.71 respectivamente).
  • A niveles de cobertura moderados ($\alpha = 0.20$), la precisión se mantuvo estable (0.68 F1), indicando que más de la mitad de los snippets recuperados eran redundantes o irrelevantes y su eliminación no perjudicó la generación.
• Comparación con Baselines: Los métodos heurísticos (top-k o umbrales fijos de coseno) no lograron controlar la cobertura, mostrando variabilidad alta y a menudo perdiendo evidencia crítica (ej. top-k=30 solo logró 76% de cobertura).

5. Significado e Impacto

Este trabajo establece un nuevo estándar para la ingeniería de contextos en RAG:

• Fiabilidad: Proporciona un mecanismo ligero y matemáticamente sólido para controlar el ruido de recuperación, asegurando que los LLM reciban solo la información necesaria y relevante.
• Optimización de Costos: Al reducir el contexto en un factor de 2-3x sin sacrificar la precisión, se disminuyen significativamente los costos de inferencia y la latencia.
• Fundamento para Futuras Investigaciones: La capacidad de filtrar "en vuelo" (on-the-fly) con garantías de cobertura sienta las bases para sistemas de RAG adaptativos que puedan recalibrarse ante cambios de dominio o distribución, abordando el problema de la saturación de prompts y la degradación de la atención en modelos de largo contexto.

En conclusión, la predicción conformal se presenta como una herramienta esencial para hacer que los sistemas RAG sean más robustos, eficientes y predecibles, pasando de la intuición a la garantía estadística en la gestión del contexto.