AgentFloor: How Far Up the tool use Ladder Can Small Open-Weight Models Go?

Aquí se presenta un resumen técnico detallado del artículo "AgentFloor: ¿Hasta dónde pueden llegar los modelos pequeños de peso abierto en la escalera del uso de herramientas?"

1. Declaración del Problema

Los sistemas agénticos de producción realizan frecuentemente numerosas llamadas al modelo por solicitud de usuario. Una parte significativa de estas llamadas son breves, estructuradas y rutinarias (por ejemplo, consultas, extracción de registros, envíos únicos). Actualmente, el estándar de la industria consiste en enrutar todas estas llamadas a modelos "frontera" grandes y costosos (por ejemplo, GPT-5).

• La Pregunta Central: Las evaluaciones existentes no responden directamente qué partes de un flujo de trabajo agéntico requieren verdaderamente inteligencia de frontera y cuáles pueden ser gestionadas por modelos más pequeños de peso abierto.
• La Brecha: Los benchmarks de un solo turno (por ejemplo, BFCL) ignoran las dependencias secuenciales, mientras que las suites complejas de múltiples pasos (por ejemplo, SWE-Bench) se ven confundidas por la deriva de API, la fundamentación web y la contaminación de datos. No existe un mapa controlado que indique dónde los modelos pequeños igualan el rendimiento de frontera y dónde se desvían.

2. Metodología: El Benchmark AgentFloor

Los autores introducen AgentFloor, un benchmark determinista de 30 tareas diseñado para aislar las demandas cognitivas en el uso de herramientas.

• Estructura: El benchmark se organiza como una escalera de capacidades de seis niveles (de A0 a E), donde cada nivel introduce exactamente una nueva demanda cognitiva:
  • A0: Seguimiento de instrucciones (sin herramientas).
  • A: Invocación de una sola herramienta.
  • B: Encadenamiento secuencial de 2 herramientas (la salida de la Herramienta 1 alimenta la Herramienta 2).
  • C: Ramificación condicional basada en resultados intermedios.
  • D: Síntesis de múltiples fuentes con recuperación de conflictos.
  • E: Planificación de largo alcance bajo restricciones persistentes (8–12 pasos).
• Entorno: Las tareas se ejecutan en un entorno de herramientas abstracto y fijo con una base de datos de fixtures en memoria. No hay sistemas de archivos, APIs en vivo ni estados variables en el tiempo, lo que elimina el ruido ambiental y la contaminación por preentrenamiento.
• Modelos Evaluados: 16 modelos de peso abierto que van desde 0.27B hasta 32B parámetros (incluyendo Gemma, Qwen, Mistral, Granite, Ministral) junto con GPT-5.
• Protocolo de Evaluación:
  • Ejecuciones: 16,542 ejecuciones puntuadas.
  • Puntuación: Aprobado/Reprobado binario basado en cuatro familias de verificadores (coincidencia de respuesta final, validación de envío, satisfacción de la trayectoria y ausencia de comportamientos prohibidos como herramientas alucinadas).
  • Rigor Estadístico: Utiliza análisis de bootstrap apareado (10,000 remuestreos) y la Prueba de Dos Lados Únicos (TOST) para equivalencia con un margen pre-registrado de ±10 puntos porcentuales (pp).
  • Taxonomía de Fallos: Los fallos se clasifican en una cascada estricta (F1: Herramienta alucinada, F4: Presupuesto de pasos agotado, F5: Renuncia anticipada, etc.).

3. Contribuciones Clave

1. Benchmark AgentFloor: Una escalera controlada y determinista de 30 tareas que aísla demandas cognitivas específicas en el uso de herramientas agénticas, eliminando factores de confusión como la deriva de API.
2. Mapa de Capacidad y Costo: Una comparación pre-registrada que muestra que el mejor modelo de peso abierto (Gemma 4:26b) logra paridad agregada con GPT-5 siendo significativamente más barato y rápido.
3. Análisis de Modos de Fallo: Un análisis granular que revela que la "brecha de largo alcance" no es universal; diferentes modelos fallan por razones distintas (por ejemplo, quedarse sin pasos vs. renunciar temprano), lo que significa que las intervenciones son específicas del modelo y no universales.

4. Resultados Clave

A. Paridad Agregada y Eficiencia de Costos

• Rendimiento: En las 30 tareas, Gemma 4:26b es estadísticamente equivalente a GPT-5 (Δ apareado = +0.4 pp, IC 90% [-4.0, +5.1]).
• Costo: Con una precisión agregada comparable (~60% TCR), Gemma 4:26b es 15 veces más barato que GPT-5 en Macs auto-alojados y 3 veces más barato en GPUs en la nube.
• Latencia: Gemma 4:26b es 2.5 veces más rápido por tarea aprobada que GPT-5.
• Frontera de Pareto: Los modelos de peso abierto ocupan toda la frontera de Pareto de costo por tarea aprobada en cada punto de fiabilidad medido.

B. Desglose Nivel por Nivel

• A0 (Instrucción): Los modelos de peso abierto (por ejemplo, Gemma 4:26b) superan estrictamente a GPT-5 (100% vs 80%). Los fallos de GPT-5 se debieron a menudo a una sobre-parafraseo del vocabulario técnico.
• A (Herramienta Única): Los modelos de peso abierto son formalmente equivalentes a GPT-5.
• B, C, D (Encadenamiento, Ramificación, Síntesis): Las estimaciones puntuales están cerca de GPT-5 (dentro de 9 pp), pero los tamaños de muestra fueron insuficientes para certificar formalmente la equivalencia en el margen de ±10 pp.
• E (Planificación de Largo Alcance): Este es el único nivel donde GPT-5 es estrictamente superior (10% de tasa de aprobación vs. 0% para Gemma 4:26b). Sin embargo, ninguno de los dos modelos alcanza una fiabilidad "relevante para el practicante" (>80%) en este nivel.

C. El "Acantilado" y el Dimensionamiento de Modelos

• Modelos Pequeños Suficientes para Trabajo Rutinario: Para los niveles A0 y A, modelos tan pequeños como 0.6B–4B parámetros son suficientes para superar objetivos de fiabilidad del 80–90%.
• La Transición B→C: Hay una caída brusca en el rendimiento al pasar del encadenamiento secuencial (B) a la ramificación (C). Ningún modelo de peso abierto en cero disparos del corpus superó la barra de fiabilidad del 80% en los niveles C, D o E.
• Escalado No Monótono: El rendimiento no escala estrictamente con la cantidad de parámetros. Por ejemplo, un modelo de 4B (Nemotron) superó a un modelo de 26B en el Nivel D, y un modelo de 14B fue superado por su hermano de 8B en la misma familia.

D. Análisis de Intervención (Por qué existe la Brecha)

Los autores probaron intervenciones para cerrar la brecha del Nivel E, pero no encontraron ninguna solución universal:

• Prompt de Envío Explícito: Elevó a Ministral-3:8b en una tarea específica del 0% al 100%, pero tuvo cero efecto en GPT-5 o Gemma 4:26b.
• Duplicación del Presupuesto de Pasos: Ayudó a GPT-5 en una tarea específica (E1) pero fue nulo en otras.
• Modo de Razonamiento: Desactivar el razonamiento ayudó al modelo Qwen de 32B en el Nivel B, pero perjudicó a las versiones de 8B y 14B.
• Prompts Estructurados (Planificar/Ejecutar/Enviar): Esta palanca "obvia" y universal degradó el rendimiento en todos los modelos probados, provocando que planificaran pero fallaran al ejecutar.
• Firmas de Fallo:
  • GPT-5 falla principalmente mediante F5 (Renuncia Anticipada): Planifica pero se rinde.
  • Gemma 4:26b falla mediante F4 (Agotamiento de Pasos) y F1 (Herramientas Alucinadas): Se queda sin pasos o inventa herramientas.
  • Conclusión: Dado que los mecanismos de fallo difieren, una sola intervención no puede solucionar ambos.

5. Significado y Principios de Diseño

El artículo proporciona una guía concreta y basada en datos para el enrutamiento de sistemas agénticos:

1. Enrutar lo Rutinario a Modelos Pequeños: La gran mayoría de las llamadas agénticas (A0, A y probablemente B) pueden ser gestionadas por modelos pequeños de peso abierto (<5B parámetros) sin pérdida medible en precisión y con ganancias masivas en costo y latencia.
2. Reservar la Frontera para Largo Alcance: Los modelos frontera deben reservarse estrictamente para la estrecha clase de tareas que requieren coordinación sostenida y seguimiento de restricciones (Nivel E), aunque incluso allí, la fiabilidad sigue siendo baja.
3. Las Intervenciones son Específicas del Modelo: No existe un prompt "balas de plata" ni un ajuste de arquitectura que solucione universalmente la planificación de largo alcance. Las estrategias de enrutamiento deben adaptarse a los modos de fallo específicos del modelo elegido.

Conclusión Final: La "escalera de uso de herramientas" tiene un límite claro. Los modelos pequeños de peso abierto ya son suficientes para la amplia base de trabajo agéntico estructurado y de corto alcance, desafiando la estrategia de implementación predeterminada de enrutar todo a modelos frontera.