💬 NLP

Eta Given Delta: Defining LLM Tool Efficiency With Marginal Tool Utility

Este artículo introduce la "eficiencia de herramientas" y la "utilidad marginal de la herramienta" como nuevas métricas cuantitativas para evaluar y optimizar directamente la tasa de llamadas útiles a herramientas en las trayectorias de agentes de LLM, con el objetivo de guiar la creación de conjuntos de herramientas más esbeltos que complementen las evaluaciones tradicionales basadas en la precisión.

Autores originales: Nyx Iskandar

Publicado 2026-07-17

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Nyx Iskandar

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde las computadoras no solo charlan, sino que realmente hacen cosas. Este es el reino de los Agentes de IA. Piensa en un modelo de lenguaje extenso (LLM) estándar como un estudiante brillante pero estudioso que sabe muchos hechos, pero no puede salir de la biblioteca. Para hacer que este estudiante sea útil en el mundo real, le damos un conjunto de "herramientas"—como una calculadora, un motor de búsqueda o un editor de código—para que pueda resolver problemas, corregir errores o encontrar información. Esta es la emocionante frontera de la IA moderna: convertir un cerebro pasivo en un trabajador activo.

Sin embargo, hay un inconveniente. El hecho de que tengas una caja de herramientas no significa que cada herramienta sea útil. A veces, agarrar un martillo cuando necesitas un destornillador solo hace perder el tiempo y confunde al trabajador. En el pasado, a los científicos les importaba principalmente si el trabajo final se hacía correctamente (la "precisión"). Pero rara vez preguntaban: "¿Cuántos giros erróneos tomó el robot para llegar allí?" o "¿Desperdició tiempo usando herramientas que no ayudaron?". Este artículo se adentra en ese vacío, planteando una pregunta simple pero poderosa: ¿Qué tan eficiente es el uso de herramientas de la IA? Los autores quieren medir no solo si la IA tuvo éxito, sino qué tan bien usó sus herramientas para lograrlo, con la esperanza de construir trabajadores de IA más ágiles, rápidos y más inteligentes para el futuro.

El detective de las "Herramientas Inútiles"

En este artículo, los autores presentan una nueva forma de observar cómo los agentes de IA utilizan sus herramientas. Llaman a esta nueva métrica "Eficiencia de Herramientas". Para entender esto, imagina que estás observando a un detective resolver un misterio. El detective tiene una bolsa de artilugios: una lupa, un kit de huellas dactilares, un walkie-talkie y una bola de cristal.

Si el detective usa la lupa para encontrar una pista, ese es un movimiento útil. Si usa la bola de cristal para adivinar la respuesta y resulta ser incorrecta, eso es un desperdicio. Los autores se dieron cuenta de que, aunque usualmente solo comprobamos si el detective resolvió el caso, no solemos contar cuántas veces agarró el gadget equivocado. Querían una forma de contar los usos de herramientas "buenos" frente a los "malos".

El ingrediente secreto: Utilidad Marginal de la Herramienta

Para determinar si el uso de una herramienta fue bueno o malo, los autores inventaron un concepto llamado Utilidad Marginal de la Herramienta. Esto suena sofisticado, pero en realidad es bastante simple. Pregunta: "¿Esta llamada de herramienta específica ayudó a la IA a acercarse a la respuesta correcta, o solo añadió ruido?".

Para probar esto, utilizaron un truco ingenioso llamado "LLM-como-Juez". Imagina a un árbitro superinteligente observando cada movimiento del detective. Después de que el detective usa una herramienta, el árbitro observa la situación antes de que se usara la herramienta y después de que se usó.

Si la situación parece más clara y el detective tiene más probabilidades de resolver el caso, el árbitro da un pulgar arriba (utilidad positiva).
Si el detective simplemente se confundió o dio vueltas en círculos, el árbitro da un pulgar abajo (utilidad no positiva).

Los autores descubrieron que no necesitaban saber la matemática exacta de cuánto mejoraron las cosas; solo necesitaban saber el signo (positivo o negativo) del cambio. Esto les permitió etiquetar cada llamada de herramienta en el viaje de una IA como "útil" o "no útil".

El Experimento: Limpiando el Desorden

Para demostrar que su idea funciona, los autores establecieron una prueba del mundo real utilizando un benchmark llamado APEX-SWE Observability. Este es un desafío difícil donde los agentes de IA tienen que corregir errores en código de computadora mirando registros (logs) y comunicándose con otros sistemas.

Los agentes recibieron un "conjunto de herramientas" que contenía:

Grafana/Loki: Una herramienta para leer registros del sistema (como leer las fotos de la escena del crimen).
Mattermost: Una herramienta para leer mensajes de chat de equipo (como leer los chismes de los sospechosos).
Plane: Una herramienta para leer tickets de proyectos (como leer el expediente del caso).

Los autores sospechaban que leer los registros reales (Grafana/Loki) sería súper útil, pero leer los chats y los tickets podría distraer a la IA. Para probar esto, ejecutaron la misma tarea difícil 25 veces con tres conjuntos de herramientas diferentes:

El Kit Completo: Las tres herramientas disponibles.
El Kit de Solo Registros: Solo la herramienta de registros (Grafana/Loki).
El Kit Sin Herramientas Extra: Sin herramientas de chat o de tickets en absoluto.

Lo que Encontraron

Los resultados fueron una confirmación clara de su hipótesis.

1. La precisión no cayó cuando eliminaron el "charla".
Cuando quitaron las herramientas de chat (Mattermost) y de tickets (Plane), la tasa de éxito de la IA se mantuvo aproximadamente igual. De hecho, para un modelo (GPT-5.3-Codex), la precisión aumentó ligeramente de 0.32 a 0.36 cuando se eliminaron las herramientas extra. Esto demostró que esas herramientas extra no estaban ayudando; eran solo desorden.

2. La herramienta de "Registros" fue la verdadera heroína.
Cuando eliminaron la herramienta de registros (Grafana/Loki), el rendimiento de la IA se desplomó. La precisión cayó a 0.24 para el modelo GPT y a 0.20 para el modelo Gemini. Esto confirmó que la herramienta de registros era esencial, mientras que las otras eran simplemente "peso muerto".

3. La eficiencia se disparó cuando limpiaron el desorden.
Aquí es donde la nueva métrica brilló. Al eliminar las herramientas inútiles, la "Eficiencia de Herramientas" aumentó drásticamente.

Para el modelo GPT, la eficiencia pasó de 0.359 (aproximadamente el 36% de las llamadas de herramientas fueron útiles) en el kit completo a 0.720 (72% útiles) en el kit de solo registros.
Para el modelo Gemini, pasó de 0.367 a 0.593.

En palabras sencillas: Cuando la IA dejó de perder el tiempo revisando mensajes de chat y tickets de proyectos, pasó casi el doble de su tiempo haciendo cosas que realmente eran útiles.

El Misterio de la "Llamada Intermedia"

Los autores también notaron algo curioso sobre cuándo cometía errores la IA. Descubrieron que la IA a menudo comenzaba con fuerza, usando las herramientas correctas (como leer registros) al principio. Pero en el medio de su trabajo, a menudo se distraía, usando herramientas que no ayudaban (como leer chats) y desperdiciando pasos. Era como un detective que comienza examinando la escena del crimen, luego pasa una hora leyendo el diario del sospechoso, y solo después regresa a la escena. Los autores sugieren que los futuros sistemas de IA podrían programarse para reconocer este "bajón intermedio" y dejar de usar herramientas que no están ayudando, esencialmente enseñando a la IA a "retroceder" antes de que pierda demasiado tiempo.

Por qué esto importa

El artículo concluye que no debemos construir agentes de IA con todas las herramientas bajo el sol. En su lugar, deberíamos usar estas nuevas métricas para construir conjuntos de herramientas "esbeltos" (lean). Así como un carpintero no lleva un martillo, una sierra y un taladro para arreglar un tornillo flojo, una IA no debería cargar con herramientas que no necesita.

Los autores sugieren que, al medir la Utilidad Marginal de la Herramienta y la Eficiencia de la Herramienta, los desarrolladores pueden crear agentes de IA que no solo sean precisos, sino también más rápidos y económicos de ejecutar. Argumentan que este es un paso crucial hacia la creación de agentes de IA que sean verdaderamente eficientes, en lugar de solo "inteligentes pero torpes". No pretenden haberlo resuelto todo, pero le han entregado a la comunidad una nueva regla para medir qué tan bien están trabajando realmente nuestros trabajadores de IA.

Resumen Técnico: Eta Dado Delta – Definiendo la Eficiencia de Herramientas de LLM con la Utilidad Marginal de la Herramienta

Declaración del Problema

Si bien los Modelos de Lenguaje de Gran Escala (LLMs) están siendo equipados cada vez más con herramientas para funcionar como agentes, los paradigmas de evaluación actuales dependen casi exclusivamente de la precisión del resultado como un sustituto de la eficiencia en el uso de herramientas. Este enfoque no logra medir directamente la tasa de llamadas a herramientas útiles dentro de la trayectoria de un agente. En consecuencia, existe una falta de métricas cuantitativas para determinar si las llamadas a herramientas específicas contribuyen al éxito de la tarea o si son redundantes, lo que potencialmente conduce a suites de herramientas infladas que no mejoran la precisión pero aumentan los costos de inferencia y la latencia. El artículo identifica una brecha en la literatura: la ausencia de un método directo y cuantitativo para medir la eficiencia de las herramientas (la tasa de llamadas útiles a herramientas) y para identificar qué llamadas a herramientas específicas pueden eliminarse de forma segura sin degradar el rendimiento.

Metodología

1. Definición de la Utilidad Marginal de la Herramienta ( $\Delta\alpha$ )

Los autores introducen la Utilidad Marginal de la Herramienta como una métrica definida por cada llamada individual a una herramienta ( $\alpha_i$ ) dentro de una trayectoria de un agente.

Definición: $\Delta\alpha(\alpha_i)$ representa la diferencia en la probabilidad de que la tarea se resuelva correctamente dados los llamados a herramientas hasta e incluyendo $\alpha_i$ frente a aquellos excluyendo $\alpha_i$ .
Determinación del Signo: En lugar de realizar rollouts de política computacionalmente costosos, el artículo utiliza un enfoque de LLM-como-Juez (LLM-as-a-Judge). Un LLM juez ( $\pi^{(J)}$ $π^{(J)}$ ) analiza la trayectoria antes y después de una llamada a herramienta específica para determinar el signo de $\Delta\alpha(\alpha_i)$ $Δ α (α_{i})$ :
- $\Delta\alpha(\alpha_i) > 0$ : La llamada a la herramienta es útil.
- $\Delta\alpha(\alpha_i) \leq 0$ : La llamada a la herramienta es no útil (segura para eliminar).
Utilidad Agregada: Al sumar $\Delta\alpha$ a través de todas las llamadas de una herramienta específica, el artículo determina si la herramienta en sí es necesaria para la precisión del agente.

2. Definición de la Eficiencia de la Herramienta ( $\eta_\alpha$ )

Basándose en los signos de la utilidad marginal de la herramienta, la Eficiencia de la Herramienta se define como la relación entre las llamadas a herramientas útiles y el número total de llamadas a herramientas en una trayectoria:
$\eta_\alpha(\tau) = \frac{|\{\alpha_i | \Delta\alpha(\alpha_i) > 0\}|}{N}$
donde $N$ es el número total de llamadas a herramientas. El artículo plantea la hipótesis de que eliminar las herramientas con utilidad agregada no positiva aumentará $\eta_\alpha$ sin impactar negativamente la precisión.

3. Configuración Experimental

Benchmark: El estudio utiliza el benchmark APEX-SWE Observability, que contiene 25 tareas públicas donde los modelos de frontera luchan por lograr una precisión >40%.
Harness del Agente: El harness por defecto incluye herramientas nativas (bash, búsqueda, etc.) y tres herramientas MCP de solo lectura: Grafana/Loki (logs), Mattermost (discusiones) y Plane (tickets/especificaciones).
Estudio de Ablación: Se probaron tres variantes:
1. Default: Todas las herramientas incluidas.
2. Grafana: Solo se incluye Grafana/Loki.
3. No-MCP: Sin herramientas MCP incluidas.
Modelos: Los experimentos se ejecutaron utilizando GPT-5.3-Codex y Gemini 3.1 Pro, generando un total de 150 trayectorias.
Modelo Juez: Se utilizó GPT-5.4 como el LLM-como-Juez para clasificar la utilidad de cada llamada a la herramienta.

Resultados Clave

Precisión de la Tarea

Eliminación de Herramientas Redundantes: Eliminar Mattermost y Plane (comparando Default vs. Grafana) resultó en ninguna disminución significativa en la precisión de la tarea. En algunos casos, la precisión mejoró ligeramente o se mantuvo estable.
Eliminación de Herramientas Necesarias: Eliminar Grafana/Loki (comparando Grafana vs. No-MCP) causó una disminución notable en la precisión (por ejemplo, cayendo de 0.36 a 0.24 para GPT-5.3-Codex).
Conclusión: Grafana/Loki es una herramienta necesaria para estas tareas de observabilidad, mientras que Mattermost y Plane son redundantes.

Utilidad Marginal de la Herramienta

Utilidad Agregada: El LLM-como-Juez confirmó la hipótesis. Grafana/Loki mostró una utilidad agregada positiva ( $\sum \Delta\alpha > 0$ ), mientras que Mattermost y Plane mostraron una utilidad agregada no positiva ( $\sum \Delta\alpha \leq 0$ ).
Patrones de Llamada: El análisis de las racionalidades del juez reveló que:
- Las llamadas útiles ( $\Delta\alpha > 0$ ) ocurrieron frecuentemente temprano en la trayectoria, proporcionando logs de error concretos.
- Las llamadas no útiles ( $\Delta\alpha \leq 0$ ) ocurrieron frecuentemente en la mitad de las trayectorias, involucrando a menudo consultas genéricas, contexto ruidoso o reintentos de consultas mal formadas.

Eficiencia de la Herramienta

Ganancias de Eficiencia: Eliminar las herramientas no útiles (Mattermost y Plane) aumentó significamente la eficiencia de la herramienta.
- GPT-5.3-Codex: La eficiencia aumentó de 0.359 (Default) a 0.720 (Grafana).
- Gemini 3.1 Pro: La eficiencia aumentó de 0.367 (Default) a 0.593 (Grafana).
Esto demuestra que una suite de herramientas más ligera puede mantener la precisión mientras mejora drásticamente la relación de acciones útiles.

Contribuciones Clave

Utilidad Marginal de la Herramienta ( $\Delta\alpha$ ): Una nueva métrica definida por cada llamada a la herramienta para determinar si una invocación específica aumenta la probabilidad de éxito de la tarea.
Utilidad Agregada de la Herramienta: Un método para predecir si una herramienta específica afecta la precisión del agente cuando se ablaciona, basándose en la suma de sus utilidades a nivel de llamada.
Eficiencia de la Herramienta ( $\eta_\alpha$ ): Una métrica cuantitativa que representa la tasa de llamadas a herramientas útiles en una trayectoria.
Implementación de LLM-como-Juez: Un método costo-eficiente para determinar el signo de $\Delta\alpha$ sin requerir rollouts de política repetidos, validado mediante estudios de ablación empíricos.

Significado y Reivindicaciones

El artículo afirma que su contribución principal es establecer un marco directo y cuantitativo para medir la eficiencia de las herramientas, distinto de la precisión del resultado. Al introducir la utilidad marginal de la herramienta, los autores proporcionan un mecanismo para:

Diseñar Suites de Herramientas más Ligeras: Permitir a los ingenieros de la capa de aplicación identificar y eliminar herramientas redundantes que no contribuyen a la precisión, reduciendo así los costos de inferencia y la complejidad.
Optimizar los Harnesses de Agentes: Ir más allá de las configuraciones de herramientas de "talla única" mediante el ajuste de las suites de herramientas a modelos base y tareas específicas basadas en datos de utilidad empíricos.
Informar la Investigación Futura: Servir como punto de partida para nuevos diseños de benchmarks y la ingeniería de agentes que optimicen las métricas de eficiencia complementarias a la precisión.

Los autores enfatizan que, mientras que el trabajo previo se ha centrado en mejorar el uso de herramientas mediante el aprendizaje por refuerzo o la recuperación, este trabajo se centra en el análisis de trayectoria post-hoc para derivar métricas accionables para la ingeniería de sistemas de agentes más ligeros y mantenibles. Los hallazgos sugieren que los juicios intuitivos sobre la necesidad de las herramientas se alinean con las métricas propuestas, validando el enfoque para su despliegue práctico.