💻 computer science

Tunable Tool-Call Rates in LLM Agents via Representation Steering

Este artículo demuestra que las tasas de llamada a herramientas en agentes de LLM pueden controlarse con precisión en el momento de la inferencia sin reentrenamiento mediante la aplicación de una única dirección de guía lineal libre de entrenamiento extraída de la corriente residual del modelo, la cual ajusta de forma monótona la propensión de la llamada para optimizar la relación entre precisión y costo a través de diversas arquitecturas y tipos de herramientas.

Autores originales: Yuqi Chen, Vincent Siu, Yang Liu, Dawn Song, Chenguang Wang

Publicado 2026-08-27

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yuqi Chen, Vincent Siu, Yang Liu, Dawn Song, Chenguang Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los modelos de lenguaje extensos son potentes motores de texto, capaces de responder preguntas, escribir historias y resolver problemas. Sin embargo, estos sistemas operan con una limitación fundamental: dependen enteramente de la información almacenada en su memoria interna. Cuando una pregunta requiere hechos que son demasiado oscuros, demasiado recientes o demasiado complejos para ser memorizados, el modelo a menudo adivina con una confianza peligrosa, produciendo respuestas que suenan plausibles pero que son completamente erróneas. Para solucionar esto, los desarrolladores han enseñado a estos modelos a utilizar herramientas externas, como motores de búsqueda web o calculadoras, para buscar información antes de responder. Sin embargo, enseñar a un modelo cuándo detenerse y recurrir a una herramienta es sorprendentemente difícil. Si el modelo llama a una herramienta con demasiada frecuencia, pierde tiempo y dinero, y corre el riesgo de activar acciones no deseadas. Si llama a una herramienta con demasiada poca frecuencia, pierde la oportunidad de encontrar la respuesta correcta y permanece erróneamente confiado.

Los investigadores han buscado durante mucho tiempo formas de hacer que estas decisiones sean más fiables, generalmente reentrenando al modelo con nuevos ejemplos o reescribiendo cuidadosamente las instrucciones que se le dan. Estos métodos son costosos y rígidos; una vez que un modelo ha sido entrenado o instruido de cierta manera, cambiar su comportamiento requiere reiniciar el proceso. Un nuevo estudio de investigadores de la UC Santa Cruz y la UC Berkeley sugiere un enfoque diferente. Descubrieron que la decisión de usar una herramienta no es un proceso complejo y oculto que requiera un reentrenamiento para cambiar. En cambio, está controlada por una señal única y simple dentro del funcionamiento interno del modelo que puede ajustarse en tiempo real, como girar un dial, sin alterar el entrenamiento del modelo ni sus instrucciones.

Los investigadores comenzaron observando cómo se comporta un modelo de lenguaje cuando se le presenta una lista de herramientas disponibles, como un motor de búsqueda, una calculadora y un intérprete de código. Notaron que, antes de que el modelo realmente hable o escriba una respuesta, genera una señal interna específica que indica si tiene la intención de usar alguna herramienta en absoluto. Al comparar el estado interno del modelo cuando decide usar una herramienta frente a cuando decide responder desde la memoria, el equipo identificó una dirección específica en el espacio matemático del modelo que representa el "impulso" de llamar a una herramienta. Esta dirección no está ligada a una herramienta específica como una calculadora o un motor de búsqueda; más bien, es una señal general que simplemente significa "usar una herramienta".

Para probar este descubrimiento, los investigadores no reentrenaron el modelo ni cambiaron sus instrucciones. En su lugar, tomaron esta dirección identificada y la añadieron al procesamiento interno del modelo durante la generación de una respuesta. Al añadir una pequeña cantidad de esta señal, pudieron fomentar que el modelo usara herramientas con más frecuencia. Al restarla, pudieron suprimir el impulso de usar herramientas por completo. Descubrieron que este ajuste funcionaba con una precisión notable. A medida que aumentaban la fuerza de la señal, la tasa de llamadas a herramientas del modelo aumentaba suavemente de casi cero a casi el cien por ciento. Crucialmente, el modelo no empezó a llamar a las herramientas de forma aleatoria. Cuando los investigadores impulsaron al modelo a llamar a herramientas con más frecuencia, este se dirigió específicamente a las preguntas que no podía responder por sí mismo, como hechos históricos oscuros o cálculos complejos, mientras ignoraba las preguntas que ya sabía responder.

El estudio también reveló que este mecanismo de control es altamente adaptable. Los investigadores extrajeron la señal de "uso de herramientas" de una configuración con tres herramientas específicas y luego la aplicaron a un conjunto de herramientas completamente diferente, que incluía pronósticos meteorológicos, consultas del mercado de valores y envío de correos electrónicos. La misma señal indujo con éxito al modelo a usar estas nuevas herramientas con la misma eficacia que si hubiera sido entrenado específicamente para ellas. Además, este método funcionó en una amplia variedad de arquitecturas de modelos diferentes, desde modelos pequeños y estándar hasta sistemas masivos y complejos utilizados en la industria. En cada caso, la señal única permitió a los investigadores subir o bajar el comportamiento de llamada de herramientas sin romper la capacidad del modelo para formar frases correctas o seleccionar la herramienta apropiada una vez realizada la llamada.

Cuando los investigadores probaron este método en un entorno real donde el modelo podía realizar búsquedas web, los resultados fueron impactantes. En un conjunto de preguntas fácticas difíciles, el modelo sin ajustar respondió correctamente solo alrededor del 29 por ciento de las veces, adivinando a menudo cuando debería haber buscado. Al aplicar la señal de dirección para fomentar el uso de herramientas, la precisión saltó al 56 por ciento, casi duplicando el rendimiento del modelo. Este aumento vino acompañado de un costo manejable, ya que el modelo realizó aproximadamente una llamada de búsqueda por pregunta. Los investigadores pudieron trazar un camino claro entre el costo de usar herramientas y la precisión de las respuestas, mostrando que los operadores podrían elegir un equilibrio específico que se adapte a sus necesidades.

Este trabajo desafía la suposición de que controlar el comportamiento de una IA requiere un reentrenamiento pesado o una ingeniería de prompts compleja. Demuestra que un proceso de toma de decisiones crítico —saber cuándo recurrir a la ayuda externa— está codificado en una dirección simple y lineal dentro del estado interno del modelo. Al encontrar y ajustar esta dirección, los investigadores pueden hacer que los agentes de IA sean más fiables y eficientes sin cambiar su entrenamiento fundamental. El método ofrece una forma ligera de ajustar el costo y la precisión de los sistemas de IA, asegurando que utilicen sus herramientas solo cuando sea necesario y eviten los peligros tanto de la dependencia excesiva como de las conjeturas peligrosas. Si bien la técnica no corrige los errores en la forma en que se ejecuta una herramienta, proporciona una nueva y poderosa palanca para gestionar la elección más básica y costosa que hace un agente de IA: si actuar por su cuenta o buscar ayuda.

Resumen Técnico: Tasas de Llamada a Herramientas Ajustables en Agentes LLM mediante el Control de la Representación

Declaración del Problema

Los agentes de Modelos de Lenguaje Grande (LLM) enfrentan un compromiso crítico al decidir si deben invocar herramientas externas. Las decisiones incorrectas son costosas:

Subuso: Los agentes no llaman a las herramientas cuando es necesario, lo que conduce a respuestas seguras pero incorrectas en preguntas que requieren conocimiento externo (p. ej., hechos de cola larga).
Sobreuso: Los agentes llaman a las herramientas innecesariamente (p. ej., para aritmética simple), lo que incurre en latencia, costos financieros y posibles efectos secundarios irreversibles (p. ej., enviar correos electrónicos).

Las estrategias de mitigación existentes, como el ajuste fino (fine-tuning) o la ingeniería de prompts, son computacionalmente costosas y difíciles de modificar dinámicamente en el tiempo de inferencia. Además, aunque trabajos previos han demostrado que qué herramienta seleccionar puede representarse linealmente, sigue sin estar claro si la decisión binaria de si llamar o no a una herramienta posee una representación interna similar de lectura y controlabilidad.

Metodología

Los autores proponen un método de intervención en el tiempo de inferencia basado en la dirección de la representación (representation steering) que no requiere entrenamiento. El flujo de trabajo consta de tres componentes principales:

1. Proxy de Propensión

En lugar de depender de la generación completa, el método extrae una señal de "propensión al uso de herramientas" de una única pasada hacia adelante (forward pass). En un entorno de múltiples herramientas, el formato de llamada a la herramienta del modelo comienza con un token especial ( $t^\star$ , p. ej., <tool_call>) compartido por todas las herramientas disponibles. La puntuación de propensión $s(q)$ para una consulta $q$ se define como el logaritmo de la probabilidad de emitir este token en la primera posición de generación:
$s(q) = \log p_\theta(t^\star | x(q))$
Esta métrica sirve como una señal de clasificación fiel para el uso real de herramientas sin requerir la generación de contenido.

2. Extracción de Dirección (Diferencia de Medias)

Utilizando un entorno de múltiples herramientas (prompt de sistema neutral, lista de herramientas disponibles), los autores:

Clasifican las consultas según $s(q)$ .
Forman un conjunto de alta propensión ( $H$ ) y un conjunto de baja propensión ( $L$ ).
Computan el vector de dirección $v_\ell$ en cada capa de la corriente residual $\ell$ como la diferencia de medias entre los dos conjuntos:
$v_\ell = \frac{1}{|H|} \sum_{q \in H} h_\ell(q) - \frac{1}{|L|} \sum_{q \in L} h_\ell(q)$
Este vector captura una señal general de "propensión de llamada" en lugar de una específica de una herramienta, ya que el conjunto de alta propensión contiene una mezcla de tipos de preguntas.

3. Control en el Tiempo de Inferencia (Inference-Time Steering)

Durante la inferencia, el vector extraído se añade a la corriente residual en una capa de decodificación específica $\ell$ :
$h'_\ell = h_\ell + \alpha v_\ell$
donde $\alpha$ es un coeficiente de control escalar.

$\alpha > 0$ : Fomenta las llamadas a herramientas.
$\alpha < 0$ : Suprime las llamadas a herramientas.
$\alpha = 0$ : Recupera el comportamiento original del modelo.

Los autores también prueban intervenciones de proyección (clamping y ablación) para verificar que la proyección sobre esta dirección controla causalmente la decisión.

Contribuciones Clave

Identificación de una Dirección de Control Lineal: El artículo identifica una única dirección lineal en la corriente residual que controla la decisión binaria de si llamar a una herramienta. Esto permite un control continuo en el tiempo de inferencia sin necesidad de reentrenamiento o modificación de prompts.
Selectividad de Conocimiento y Generalidad de la Herramienta:
- Selectivo de Conocimiento: Las llamadas inducidas se concentran en preguntas que el modelo no puede responder desde su conocimiento paramétrico (p. ej., entidades de baja popularidad), en lugar de preguntas que ya conoce.
- General a las Herramientas: Una dirección extraída de un entorno de múltiples herramientas controla eficazmente herramientas que no estaban presentes en el conjunto de extracción (p. ej., traducción, clima, SQL) con una fuerza comparable a los vectores extraídos específicamente para esas herramientas.
Desacoplamiento de Decisiones: La dirección de control gestiona si se llama a una herramienta sin alterar sustancialmente qué herramienta se selecciona. La distribución de rutas entre herramientas permanece dependiente del modelo y se preserva en gran medida.
Frontera de Pareto Costo-Precisión: Con la ejecución de herramientas en vivo, la variación de la fuerza de control traza una frontera de Pareto suave, permitiendo a los operadores ajustar el compromiso entre costo (número de llamadas) y precisión.

Resultados Experimentales

El método fue evaluado en cinco modelos (variantes de Qwen3, Gemma-4, gpt-oss) que abarcan arquitecturas densas, de Mezcla de Expertos (MoE) y multimodales, utilizando conjuntos de datos como PopQA (QA de dominio abierto), GSM8K (matemáticas) y BIG-Bench Hard (manipulación de cadenas/fechas).

Control Monotónico: Variar $\alpha$ de $-2 $a$ +3$ mueve la tasa de llamada a herramientas de forma monotónica desde casi 0% hasta más del 90% (o 100% para algunos modelos) a través de diferentes entornos de herramientas (búsqueda, calculadora, Python).
Mejora de la Precisión: En el conjunto de datos PopQA con búsqueda web en vivo, el control aumentó la precisión de QA de dominio abierto de 0.29 (línea base) a 0.56 con aproximadamente 1.1 búsquedas por pregunta.
Generalización entre Modelos: El mismo procedimiento de extracción y control funcionó en todos los modelos probados, independientemente de su tendencia base a subusar o sobreusar herramientas.
Especificidad de Capa: El efecto de control es más fuerte y más monotónico en una banda media-tardía de las capas del decodificador (p. ej., capas 21–24 para Qwen3-4B). Las capas tempranas son inertes y las capas muy tardías muestran un comportamiento errático.
Intervenciones de Proyección: El clamping de la proyección de la corriente residual sobre el vector de dirección también aumentó la llamada a herramientas de forma monotónica, confirmando el vínculo causal, aunque el control aditivo proporcionó un rango de control más amplio.

Significado y Reivindicaciones

El artículo afirma proporcionar un mecanismo ligero y sin entrenamiento para controlar el comportamiento de los agentes que aborda la naturaleza de "caja negra" de las decisiones de uso de herramientas. Al demostrar que la decisión de llamar a una herramienta está codificada en una única dirección lineal controlable, los autores muestran que:

Los agentes pueden ajustarse para evitar llamadas costosas e innecesarias o para recuperar información faltante sin reentrenar.
Este control es robusto a través de diversos entornos de herramientas y arquitecturas de modelos.
El método permite la optimización dinámica del compromiso costo-precisión en despliegues del mundo real.

Los autores señalan limitaciones: el método controla la decisión de llamar, no la calidad de la ejecución; para modelos que priorizan el razonamiento, el lapso de razonamiento debe ser omitido para acceder a la capa de decisión; y un exceso de control positivo puede corromper el formato de la llamada a la herramienta. No obstante, este trabajo establece un nuevo paradigma para el control en tiempo de inferencia de comportamientos agénticos.