Resumen Técnico: La Compresión de Esquemas de Herramientas Habilita RAG Agéntico Bajo Presupuestos de Contexto Restringidos

Enunciado del Problema

Los sistemas de Generación Aumentada por Recuperación (RAG) agénticos enfrentan un conflicto crítico de recursos: la ventana de contexto requerida para la generación aumentada por recuperación es consumida por las definiciones de herramientas necesarias para que el agente funcione. En entornos de producción, los agentes a menudo requieren 20–100+ definiciones de herramientas, típicamente representadas como objetos JSON Schema verbosos. Estos esquemas consumen 300–500 tokens por herramienta. En consecuencia, con presupuestos de contexto modestos (por ejemplo, 8K tokens) y tan pocas como 28 herramientas, el bloque de esquemas por sí solo (~11,000 tokens) excede completamente la ventana de contexto. Este "desbordamiento de contexto" deja cero presupuesto para fragmentos de recuperación, prompts del sistema o historial de conversión, haciendo que el sistema RAG sea no funcional.

La investigación existente sobre compresión de prompts se dirige principalmente al lenguaje natural, fallando en abordar las invariantes estructurales (sintaxis, tipos de parámetros, enumeraciones) requeridas para definiciones de herramientas legibles por máquina. Además, trabajos anteriores no han evaluado sistemáticamente la compensación entre el tamaño del esquema y el rendimiento de recuperación en flujos de trabajo agénticos.

Metodología

Los autores presentan el primer estudio controlado de compresión de esquemas de herramientas en RAG agéntico, utilizando un diseño experimental riguroso:

• Benchmarks: Un benchmark construido a propósito "NovaTech-28" que presenta 28 definiciones de herramientas (base de datos, recuperación de documentos, computación, comunicación) y 100 preguntas en cinco categorías (salto único, múltiples saltos, que requieren herramientas, etc.). El corpus de recuperación consiste en 40 fragmentos (350 tokens cada uno).
• Técnica de Compresión: El estudio emplea TSCG (Generador de Compresión de Esquemas de Herramientas), un método de compresión determinista y basado en reglas que preserva la sintaxis JSON Schema mientras logra ahorros de tokens del 44–50%.
• Alcance Experimental:
  • Modelos: 14 modelos que van desde 1.5B hasta 32B parámetros (locales) más un modelo de API de vanguardia (Claude Sonnet 4).
  • Presupuestos de Contexto: Tres niveles: 8K, 16K y 32K tokens.
  • Escala: 6,566 llamadas a API controladas.
  • Diseño: Comparaciones emparejadas (mismas preguntas, mismos modelos) variando solo el formato del esquema (JSON vs. TSCG) y la asignación resultante del presupuesto de contexto.
• Métricas: Las métricas principales incluyen Coincidencia Exacta (EM) y Token F1. Las métricas secundarias incluyen precisión de selección de herramientas y detección de desbordamiento de contexto. La significancia estadística se evalúa mediante pruebas de rangos con signo de Wilcoxon e intervalos de confianza bootstrap.
• Validación: Validación externa en HotpotQA (50 preguntas de múltiples saltos) y pruebas de escalado de vanguardia hasta 800 herramientas utilizando una ventana de contexto de 200K.

Resultados Clave

1. Habilitación Binaria en Presupuestos Restringidos (8K)

Con un presupuesto de contexto de 8K y 28 herramientas, los esquemas JSON sin comprimir causan un desbordamiento de contexto del 100%, resultando en puntuaciones de Coincidencia Exacta (EM) cercanas a cero (promedio 2.6%).

• Efecto de la Compresión: Aplicar la compresión TSCG reduce los tokens del esquema en ~50%, liberando suficiente espacio para ajustar al menos un fragmento de recuperación.
• Impulso de Rendimiento: Esta restauración de la funcionalidad produce un enorme aumento promedio de EM de +20.5 puntos porcentuales (pp) en los ocho modelos probados a 8K. Los modelos que exhibieron "habilitación completa" vieron un aumento promedio de +24.7 pp.
• Mecanismo: La ganancia se atribuye a convertir el sistema de un estado de fallo total ($k=0$ fragmentos) a un estado funcional ($k \ge 1$ fragmento), capturando la porción más pronunciada de la curva de utilización de contexto.

2. Efectos Impulsados por el Presupuesto vs. Efectos Intrínsecos del Formato

• Presupuesto de 16K: Ambos formatos caben sin desbordamiento. TSCG permite ~26 fragmentos en comparación con los ~9 fragmentos de JSON. A pesar del aumento de 3x en el contexto de recuperación, la diferencia de precisión es insignificante (mediana $\Delta$EM = -1 pp). Esto confirma que las ganancias de 8K se deben puramente a la reasignación del presupuesto, no a una superioridad intrínseca del formato comprimido.
• Presupuesto de 32K: Ambos formatos caben cómodamente todos los 40 fragmentos. Cuatro de cinco modelos muestran $\Delta$EM $\le$ 1 pp, confirmando que cuando se eliminan las restricciones de presupuesto, el formato de compresión no tiene un impacto significativo en la precisión.

3. Validación Externa y Escalado

• HotpotQA: En un conjunto de datos independiente, TSCG permitió una ganancia de +48 pp en EM a un contexto de 8K, donde los esquemas JSON fallaron completamente.
• Escalado de Vanguardia: Las pruebas con Claude Sonnet 4 en un contexto de 200K revelaron que los esquemas JSON se desbordan aproximadamente a las 494 herramientas, causando un fallo total del sistema. Los esquemas TSCG permanecieron operativos más allá de las 800 herramientas, extendiendo el rango operativo en un 63%.

4. Modos de Fallo y Análisis

• Dilución de Distractores: En modelos pequeños ($\le$8B parámetros) a 16K, proporcionar más fragmentos mediante TSCG a veces redujo la precisión. Los autores atribuyen esto a la "dilución de distractores", donde la capacidad limitada de atención se ve abrumada por el contexto irrelevante, haciendo eco del fenómeno "perdido en el medio".
• Modelo de Utilización de Contexto: Los autores ajustaron un modelo descriptivo $C(k) = C_{max}(1 - e^{-\lambda k}) + C_0$, mostrando que la ganancia marginal del primer fragmento de recuperación es la más grande, con rendimientos decrecientes a partir de entonces. Esto explica por qué recuperar solo un fragmento a 8K produce ganancias de precisión desproporcionadas.

Significancia y Afirmaciones

El artículo replantea la compresión de esquemas de herramientas de una optimización de costos opcional a una capa de infraestructura necesaria para RAG agéntico en despliegues con contexto restringido.

• Habilitación Categórica: La contribución principal es el descubrimiento de un efecto de "habilitación binaria". Sin compresión, el RAG agéntico a 8K está fundamentalmente roto (rendimiento cercano a cero); con compresión, se vuelve funcional. Esta es una diferencia categórica entre un sistema que no puede operar y uno que puede mejorarse iterativamente.
• Fidelidad Sin Pérdidas: El estudio demuestra que la compresión TSCG es sin pérdidas en la práctica; cuando los presupuestos de contexto son suficientes (32K), los esquemas comprimidos y sin comprimir producen una precisión idéntica, demostrando que la compresión no introduce artefactos de precisión.
• Necesidad de Escalabilidad: A medida que crece la cantidad de herramientas en producción (por ejemplo, implementaciones MCP), la compresión de esquemas se vuelve una necesidad práctica para prevenir el desbordamiento de contexto, extendiendo la cantidad viable de herramientas en más de un 60% incluso en ventanas de contexto grandes.

Los autores concluyen que para implementaciones de modelos locales y entornos restringidos, la compresión de esquemas de herramientas no es meramente un ajuste de rendimiento, sino un prerrequisito para habilitar el razonamiento aumentado por recuperación. Todo el código, los datos y los puntos de control están disponibles públicamente.