Squeez: Task-Conditioned Tool-Output Pruning for Coding Agents

1. Planteamiento del Problema

Los agentes de codificación (coding agents) operan consumiendo flujos continuos de observaciones generadas por herramientas (lecturas de archivos, resultados de grep, trazas de pila, logs de compilación, respuestas de API, historial de control de versiones, etc.).

• El desafío: Aunque solo una pequeña fracción de los tokens en estas observaciones es relevante para la siguiente decisión del agente, los sistemas actuales suelen tener que releer la salida completa. Esto genera ineficiencias significativas en el uso de tokens y latencia.
• La limitación de enfoques previos: Los métodos existentes de compresión de prompts (como LLMLingua) o resumen abstractivo no son ideales porque:
  1. Suelen operar sobre documentos de prosa o pasajes recuperados, no sobre salidas de herramientas mixtas (código, logs, metadatos).
  2. El resumen abstractivo reescribe el contenido, mientras que los agentes necesitan evidencia literal (verbatim) para mantener la trazabilidad y evitar errores de interpretación.
• El objetivo: Definir una tarea de poda de salida de herramientas condicionada a la tarea: dado una consulta enfocada y una sola observación de herramienta, devolver el bloque de evidencia literal más pequeño que el agente debe inspeccionar a continuación.

2. Metodología y Propuesta (Squeez)

Definición de la Tarea

El sistema recibe un par $(q, o)$, donde $q$ es una consulta corta y concreta sobre una necesidad de información local, y $o$ es una observación cruda de una herramienta. La salida es un conjunto de rangos contiguos de líneas en $o$ que constituyen la evidencia mínima necesaria.

Dataset y Benchmark

Los autores crearon un nuevo benchmark llamado Squeez con las siguientes características:

• Volumen: 11,477 ejemplos en total.
• Fuentes:
  • Derivado de SWE-bench: 9,205 ejemplos extraídos de interacciones reales en repositorios de Python, ejecutando 14 tipos de herramientas (file reads, grep, git log, pytest, etc.).
  • Sintético Multi-ecosistema: 2,039 ejemplos positivos y 575 negativos generados para cubrir TypeScript, Go, Rust, Java, Docker, Kubernetes, etc., utilizando el modelo openai/gpt-oss-120b como "maestro" para etiquetar.
• Curación: El conjunto de prueba final (618 ejemplos) fue curado manualmente para eliminar duplicados, salidas triviales y anotaciones incorrectas.
• Diversidad: Cubre 27 tipos de herramientas con longitudes de entrada muy variables (desde excepciones de Python cortas hasta logs de contenedores largos).

Modelo Propuesto

• Arquitectura: Se utiliza Qwen 3.5 2B (una versión pequeña de 2 mil millones de parámetros) fine-tuned con LoRA (Low-Rank Adaptation).
• Entrenamiento: El modelo se entrena para emitir el texto extraído literalmente, envuelto en etiquetas XML (<relevant lines>).
• Filosofía: En lugar de usar un modelo generador masivo para razonar, se entrena una política de extracción supervisada y específica para la tarea que sea barata y rápida de ejecutar dentro del bucle del agente.
• Despliegue: El modelo se puede servir mediante vLLM o usarse como un filtro CLI en tuberías de salida de herramientas, permitiendo su integración en agentes existentes (como Codex o Claude Code) con cambios mínimos.

3. Contribuciones Clave

1. Formulación del problema: Definición formal de la poda de salida de herramientas como una tarea de benchmark para agentes de codificación.
2. Recursos públicos: Liberación de un dataset masivo y diverso (SWE-bench + sintético) y un modelo pre-entrenado bajo licencia Apache 2.0.
3. Evidencia empírica: Demostración de que un modelo pequeño fine-tuned supera significativamente a modelos generativos grandes en zero-shot y a baselines heurísticos en la tarea de extracción de evidencia literal.

4. Resultados Experimentales

El modelo Squeez-2B fue evaluado en el conjunto de prueba de 618 ejemplos y comparado contra:

• Modelos Zero-shot: Qwen 3.5 35B A3B, Kimi K2, y la base Qwen 3.5 2B sin fine-tuning.
• Baselines Heurísticos: BM25, First-N (primeras líneas), Last-N (últimas líneas) y Aleatorio (manteniendo ~10% de las líneas de entrada).

Métricas Principales:

• Recall (Recuperación): 0.86 (Squeez-2B) vs 0.75 (Qwen 35B) y 0.22 (BM25).
• F1 Score: 0.80 (Squeez-2B).
• Compresión: El modelo elimina el 92% de los tokens de entrada manteniendo un alto recall.
• Comparativa:
  • Supera al modelo 18 veces más grande (Qwen 35B) en 11 puntos de recall.
  • Supera a la base 2B sin fine-tuning en 33 puntos de recall.
  • Supera a todos los baselines heurísticos por un margen amplio (los heurísticos tienen recalls entre 0.05 y 0.22).

Análisis Cualitativo:

• Squeez-2B es superior en la selección precisa de hits en salidas estructuradas (ej. git log, grep) y en la extracción de bloques de fallos compactos en logs ruidosos.
• Es notablemente mejor en casos negativos (cuando no hay evidencia relevante), devolviendo salida vacía el 80% de las veces, frente al 7% de Qwen 35B.
• Los errores residuales suelen ser selecciones semánticamente adyacentes (ej. incluir un bloque de contexto extra cercano) en lugar de contenido totalmente irrelevante.

5. Significado e Impacto

El trabajo demuestra que el código y las salidas de herramientas mixtas no se manejan bien con modelos generativos zero-shot generales ni con heurísticas de recuperación de texto simple.

• Eficiencia: La poda de salida de herramientas es un problema crítico para la escalabilidad de los agentes. Squeez permite reducir drásticamente la carga de contexto (92% de compresión) sin sacrificar la información crítica.
• Enfoque Específico: La lección principal es que la supervisión estrecha y específica de la tarea (fine-tuning para extracción literal) es más efectiva que intentar que un modelo grande "razone" sobre la compresión en tiempo de inferencia.
• Integrabilidad: Al ser un modelo pequeño y eficiente, Squeez puede insertarse fácilmente en pilas de agentes existentes como un paso de pre-procesamiento, mejorando la eficiencia de sistemas como Codex o Claude Code sin alterar su lógica de planificación central.

En resumen, Squeez ofrece una solución práctica y altamente eficiente para el cuello de botella de la gestión de contexto en agentes de IA, validando que modelos pequeños especializados superan a gigantes generalistas en tareas de extracción de evidencia técnica.