Resumen Técnico: Diagnóstico del Sesgo Intrínseco de Llamada Excesiva en Agentes LLM

Enunciado del Problema

Los agentes de Modelos de Lenguaje Grandes (LLM) han evolucionado para utilizar herramientas externas (por ejemplo, motores de búsqueda, APIs), pero exhiben un modo de fallo sistemático conocido como llamada excesiva: la tendencia a invocar herramientas incluso cuando la solicitud del usuario carece de información necesaria o cuando una respuesta directa es suficiente.

La evaluación en la prueba When2Call revela una asimetría consistente en seis modelos de tres familias (Qwen3.5, Gemma-3, Ministral-3). Si bien estos modelos alcanzan una alta precisión cuando se requiere una llamada a herramienta (Precisión de Llamada: 90%–99%), su precisión disminuye significativamente cuando la acción correcta es no llamar a una herramienta (Precisión de No Llamada: 2%–69%). Esto resulta en un rango de precisión global de solo 55%–70%. Este sesgo degrada la experiencia del usuario (por ejemplo, al alucinar llamadas a herramientas para solicitudes mal especificadas) e infla los costos de API en sistemas desplegados.

Metodología

Los autores proponen una investigación mecanicista del proceso de toma de decisiones interno de los agentes LLM, avanzando más allá de la observación empírica hacia un análisis causal.

1. Hipótesis de Sesgo Intrínseco (IBH)

El artículo postula que la llamada excesiva no es meramente una función de los niveles de activación, sino que se origina en un desplazamiento de llamada (CALL offset) independiente de la activación en el mapeo de decisiones.

• Hipótesis: La decisión de llamar o no llamar está determinada por un margen de activación con signo ($m$) entre las direcciones de las características "CALL" y "NO_CALL". Sin embargo, el límite de decisión está desplazado de tal manera que, incluso en paridad de activación ($m=0$), el modelo favorece la llamada. El modelo solo se vuelve neutral en la decisión cuando la activación de NO_CALL supera significativamente a la de CALL.
• Formalismo: La probabilidad de decisión se modela como $P(\text{CALL} | m) = \sigma(\beta m + \beta_0)$, donde $\beta_0 > 0$ representa el desplazamiento de sesgo intrínseco.

2. Descubrimiento de Características mediante Autoencoders Esparsos (SAEs)

Para probar la IBH, los autores emplean Autoencoders Esparsos para descomponer las activaciones del flujo residual en características interpretables.

• Entrenamiento: Se entrenan SAEs TopK en los flujos residuales de los modelos objetivo utilizando un currículo de dos etapas: primero en un corpus amplio (OpenWebText2) para aprender la geometría general, y segundo en el conjunto de datos When2Call para adaptarse a los contextos de uso de herramientas.
• Bases de Características: Se recuperan dos conjuntos de características alineadas con el comportamiento:
  • $\mathcal{C}$: Características fuertemente asociadas con las decisiones de CALL observadas.
  • $\mathcal{N}$: Características fuertemente asociadas con las decisiones de NO_CALL observadas.
• Validación: Las sondas lineales entrenadas en un puñado de estas características (típicamente $K \le 5$) predicen la decisión de activación con una precisión que se acerca al límite superior del flujo residual crudo, confirmando que estas características capturan la señal de activación esencial.

3. Diagnóstico y Cuantificación

Utilizando las bases de características recuperadas, los autores analizan la geometría de activación:

• Vista Condicionada a la Respuesta: Las respuestas NO_CALL se concentran en el semiplano dominante de NO_CALL, mientras que las respuestas CALL se extienden a través de la diagonal de paridad hacia regiones donde la evidencia de NO_CALL es comparable o más fuerte.
• Vista Condicionada a la Entrada: Entre las respuestas CALL emitidas, las "llamadas falsas" (errores de llamada excesiva) se encuentran más cerca de la diagonal de paridad que las "llamadas verdaderas", lo que indica que el sesgo empuja los casos débiles más allá del límite de decisión.
• Estimación del Desplazamiento: La regresión logística sobre el margen de activación con signo confirma un límite neutral negativo ($m^* < 0$) para todos los modelos, cuantificando el sesgo intrínseco $\beta_0$.

4. Intervención Causal: Dirección Calibrada de Margen Adaptativo (AMCS)

Para validar causalmente la IBH, los autores introducen AMCS, un método de dirección de forma cerrada.

• Mecanismo: AMCS calcula un vector de dirección a lo largo de las direcciones del decodificador SAE de $\mathcal{C}$ y $\mathcal{N}$. Aplica un desplazamiento de contra-sesgo $\delta = -\beta_0 / \beta$ al margen de activación.
• Implementación: El desplazamiento se distribuye entre las características de mayor rango basándose en sus brechas de activación. La intervención se aplica como una única adición de vector al flujo residual en tiempo de inferencia, sin requerir llamadas adicionales al modelo ni ajuste iterativo.

Resultados Clave

Se realizaron experimentos en seis modelos ajustados con instrucciones (Qwen3.5-4B/9B, Gemma-3-1B/4B, Ministral-3-3B/8B).

• Mitigación de la Llamada Excesiva: Cancelar el desplazamiento diagnosticado mediante AMCS mejora significativamente la Precisión de No Llamada en 4 a 17 puntos porcentuales en cinco de los seis modelos.
• Preservación de Llamadas Válidas: El método mantiene la Precisión de Llamada con una disminución insignificante (dentro de 5 puntos) en cinco modelos, demostrando que la intervención corrige el sesgo sin suprimir el uso necesario de herramientas.
• Precisión Global: AMCS mejora la precisión global en hasta 5 puntos en varios modelos (por ejemplo, +5.10% en Qwen3.5-9B).
• Comparación con Líneas Base:
  • Ingeniería de Prompts: Si bien es efectiva para aumentar la precisión de No Llamada, reduce drásticamente la precisión de Llamada (por ejemplo, -56% en Ministral-3-8B), lo que conduce a una pérdida neta en el rendimiento general.
  • Dirección Unilateral: Los métodos que solo suprimen las características CALL o solo promueven las características NO_CALL no logran el equilibrio que proporciona AMCS, obteniendo ganancias menores en la precisión global.
• Limitación de Gemma-3: Los modelos Gemma-3 mostraron poca separación entre llamadas verdaderas y falsas a lo largo de los ejes SAE, resultando en una palanca mínima para intervenciones basadas en márgenes. Estos fueron tratados como casos de referencia en lugar de evidencia principal.

Significado y Afirmaciones

El artículo afirma redefinir la llamada excesiva de un fenómeno empírico a un objeto mecanicista que puede medirse, modelarse y ajustarse causalmente.

1. Perspectiva Mecanicista: El trabajo demuestra que la activación de uso de herramientas está gobernada por un sesgo intrínseco e independiente de la activación, en lugar de solo por la fuerza relativa de las activaciones de características.
2. Corrección Causal: Al identificar y cancelar el término de desplazamiento específico ($\beta_0$) mediante dirección basada en SAE, los autores proporcionan una validación causal de la Hipótesis de Sesgo Intrínseco.
3. Controlabilidad: El desplazamiento diagnosticado actúa como un "botón" para el esfuerzo de llamada. AMCS sirve como un primer paso hacia una interfaz de "esfuerzo de llamada", permitiendo a los sistemas ajustar el equilibrio entre la invocación ágil de herramientas y la verificación del usuario sin reentrenar el modelo.
4. Alcance: El estudio se centra en la corrección en tiempo de inferencia para modelos desplegados. No rastrea los orígenes en tiempo de entrenamiento del sesgo, ni afirma resolver problemas de planificación de agentes a largo horizonte más allá de la unidad de decisión específica de llamar versus verificar.

El código y los datos están disponibles en https://github.com/SKURA502/agent-sae/.