Resumen Técnico: ¿Cuántas Herramientas Debería Ver un Agente LLM? Una Respuesta Corregida por Azar

1. Enunciado del Problema

Los agentes de Modelos de Lenguaje Grande (LLM) requieren un sistema de recuperación para seleccionar una lista corta de herramientas candidatas de un registro antes de que el modelo intente ejecutar una tarea. Una decisión de diseño crítica es determinar la profundidad de búsqueda $K$ (el número de herramientas presentadas). Los sistemas actuales suelen emplear una $K$ fija (por ejemplo, mostrar las 5 o 10 mejores herramientas) independientemente de la dificultad de la consulta. Este enfoque enfrenta dos desafíos conflictivos:

• Demasiadas pocas herramientas: La herramienta correcta puede quedar excluida de la lista corta, lo que lleva a un fallo inmediato.
• Demasiadas herramientas: El modelo tiene dificultades para identificar la herramienta correcta entre distractores excesivos, y los costos de tokens aumentan significativamente (aprox. 20k tokens para 100 herramientas).

No existe una métrica estándar para evaluar si una profundidad elegida $K$ es apropiada para una consulta o registro específico. Las métricas de recuperación existentes (como $nDCG@K$) están diseñadas para la recuperación de documentos y no tienen en cuenta las restricciones específicas de la selección de herramientas, donde el tamaño del grupo es pequeño (50–500 herramientas) y el azar aleatorio juega un papel significativo en el éxito.

2. Metodología

2.1 La Métrica Bits-over-Random (BoR)

El artículo introduce la métrica Bits-over-Random (BoR) como una herramienta de evaluación corregida por azar para la profundidad de búsqueda. BoR mide la tasa de éxito del sistema en relación con la probabilidad de éxito mediante selección aleatoria a la misma profundidad.

• Fórmula: $BoR = \log_2(P_{obs} / P_{rand})$
  • $P_{obs}$: La tasa de éxito observada (fracción de consultas donde la herramienta correcta está en el top $K$).
  • $P_{rand}$: La probabilidad de incluir al menos un elemento relevante por azar, calculada usando la distribución hipergeométrica. Para consultas de una sola herramienta ($R_q=1$), $P_{rand} = K/N$, donde $N$ es el tamaño del registro.
• Interpretación:
  • $BoR = 0$: El rendimiento es equivalente al azar aleatorio.
  • $BoR > 0$: El rendimiento supera al azar aleatorio.
  • Propiedad de Auto-Poda: A medida que $K$ aumenta, $P_{rand}$ aumenta. En consecuencia, la señal de recompensa (BoR) disminuye naturalmente a medida que crece la lista corta, incluso si $P_{obs}$ permanece constante. Esto crea una penalización intrínseca para la profundidad innecesaria sin requerir penalizaciones de profundidad diseñadas.

2.2 Formulación de Aprendizaje por Refuerzo (RL)

Los autores enmarcan la selección de $K$ como un Proceso de Decisión de Markov (MDP) para probar la utilidad de la métrica BoR:

• Estado: El agente observa las puntuaciones de similitud de las herramientas examinadas hasta el momento, la profundidad actual $k_t$, el tamaño del registro $N$ y el techo de BoR.
• Acción: Decisión binaria: DETENER (presentar la lista corta actual al LLM) o CONTINUAR (examinar el siguiente candidato).
• Recompensa:
  • Si el agente se detiene y la herramienta correcta está presente: Recompensa = $-\log_2(P_{rand})$.
  • Si la herramienta correcta no está presente: Recompensa = 0.
  • Un pequeño costo por paso desalienta la exploración innecesaria pero no codifica una preferencia de profundidad específica.
• Agentes: El estudio utiliza agentes deliberadamente simples (DQNs y aprendizaje Q tabular) para sondear las propiedades de la métrica en lugar de proponer una arquitectura de producción.

2.3 Líneas Base

El enfoque BoR se compara contra:

1. $K$-Fija: Presentar las mejores $K$ herramientas para todas las consultas.
2. Ablación F1: Un agente RL entrenado con una recompensa basada en F1 ($F1 = 2/(K+1)$ cuando la recuperación=1) para probar si la conciencia de la profundidad por sí sola, sin corrección por azar, induce un comportamiento adaptativo.

3. Resultados Clave

La evaluación abarca tres puntos de referencia (BFCL, MetaTool, ToolBench), múltiples evaluadores (BM25, MiniLM, BGE) y tamaños de registro que van desde 20 hasta 3,251 herramientas.

3.1 Profundidad Adaptativa vs. Profundidad Fija

• BFCL (370 herramientas): El agente BoR logró una cobertura del 90.3% con una profundidad promedio de $K=7.4$, igualando casi la cobertura de una profundidad fija de $K=50$ (90.8%) mientras presentaba 7 veces menos herramientas.
• ToolBench (3,251 herramientas): Una profundidad fija de $K=5$ logró una cobertura agregada más alta (64.7%) que el agente BoR (61.9%). Sin embargo, la línea base fija falló completamente en consultas "difíciles" (donde la herramienta correcta estaba clasificada entre la 6ª y la 20ª). El agente BoR adaptó su profundidad a $K=5.7$ en estas consultas difíciles, recuperando el 16.7% de los casos que la $K$-fija perdió por completo.
• MetaTool: El agente BoR demostró sensibilidad al tamaño del registro y a la calidad del evaluador. Con un evaluador BM25 débil, expandió significativamente la profundidad ($K=80.7$) para compensar un mal ranking, mientras que la línea base F1 se mantuvo superficial independientemente de la calidad del evaluador.

3.2 Calidad del Evaluador y Adaptación

La señal de recompensa BoR se adapta a la calidad del evaluador subyacente:

• Con evaluadores de incrustación fuertes (MiniLM), el agente se detuvo temprano ($K \approx 1.4$) porque la herramienta correcta apareció en la parte superior.
• Con evaluadores débiles (BM25 en MetaTool), el agente expandió la búsqueda ($K \approx 80.7$) para mantener la selectividad, mientras que la línea base F1 no se adaptó, deteniéndose temprano y perdiendo la herramienta correcta.

3.3 Validación de Elección de Herramienta Aguas Abajo

Utilizando Claude Sonnet 4.6 en BFCL, los autores validaron si listas más cortas y adaptativas mejoran la capacidad del LLM para seleccionar la herramienta correcta del conjunto presentado:

• Precisión de Elección: Cuando la herramienta correcta estaba presente, Claude la seleccionó el 93.1% de las veces con las listas cortas del agente BoR ($K=2.2$), en comparación con el 87.1% con una $K=5$ fija.
• Dificultad Media: En consultas donde la herramienta correcta estaba clasificada entre la 2ª y la 5ª posición, el agente BoR mejoró la precisión de elección al 76.8% frente al 60.9% para una $K=5$ fija.
• Conclusión: Reducir el número de distractores (carga de distractores) mejora la precisión en la toma de decisiones del LLM, incluso si la tasa agregada de "encontrado" es ligeramente inferior a una línea base de $K$-fija alta.

4. Significado y Afirmaciones

El artículo afirma las siguientes contribuciones y significados:

1. Primera Métrica Corregida por Azar para Profundidad: Introduce BoR como la primera métrica diseñada específicamente para evaluar la profundidad de búsqueda en la selección de herramientas al corregir la probabilidad de éxito aleatorio, un factor a menudo ignorado en las métricas de recuperación estándar.
2. Recompensa de Auto-Poda: Demuestra que BoR proporciona naturalmente una señal de recompensa que disminuye con la profundidad, permitiendo que un agente RL aprenda puntos de parada óptimos sin penalizaciones de profundidad diseñadas.
3. Eficiencia Adaptativa: El estudio muestra que las políticas adaptativas pueden lograr una cobertura comparable a listas cortas fijas grandes mientras reducen significativamente el consumo de tokens y la confusión del modelo.
4. Utilidad Diagnóstica: La métrica puede identificar evaluadores rotos o débiles (por ejemplo, cuando un agente se ve obligado a buscar en todo el registro para encontrar una herramienta, lo que indica que el evaluador es ineficaz).
5. Impacto Aguas Abajo: Proporciona evidencia de que la profundidad adaptativa no solo recupera herramientas de manera más eficiente, sino que también mejora la capacidad aguas abajo del LLM para elegir la herramienta correcta al reducir la carga cognitiva.

Limitaciones Reconocidas:
Los autores señalan que BoR optimiza la selectividad en lugar de la recuperación máxima; por lo tanto, las líneas base de $K$-fija a veces pueden lograr una cobertura agregada más alta si una profundidad uniforme resulta suficiente para la mayoría de las consultas. Los agentes RL utilizados son sondas simples, no sistemas de producción, y la evaluación se centra en si la herramienta está presentada, no en la corrección de los argumentos de ejecución de la herramienta.