Model-Adaptive Tool Necessity Reveals the Knowing-Doing Gap in LLM Tool Use

Resumen Técnico: La Necesidad de Herramientas Adaptativa al Modelo Revela la Brecha entre Saber y Hacer en el Uso de Herramientas por LLM

Enunciado del Problema

Los Modelos de Lenguaje Grandes (LLM) se despliegan cada vez más como agentes autónomos que deben decidir entre responder consultas directamente o invocar herramientas externas (por ejemplo, calculadoras, APIs de búsqueda). La investigación previa sobre el uso adaptativo de herramientas ha tratado mayoritariamente la "necesidad de herramientas" como una propiedad estática y agnóstica al modelo, típicamente anotada por jueces humanos o LLMs potentes. Este enfoque asume que una consulta es inherentemente dependiente de herramientas o independiente de ellas, independientemente de las capacidades específicas del modelo.

Sin embargo, en el despliegue del mundo real, la necesidad de herramientas es fundamentalmente matizada debido a la divergencia de los límites de capacidad entre diferentes modelos. Un problema resoluble por un modelo de última generación utilizando solo sus pesos internos puede exceder las capacidades de un modelo más pequeño o más débil, haciendo que el uso de herramientas sea estrictamente necesario para este último pero redundante para el primero. En consecuencia, las anotaciones estáticas no logran caracterizar con precisión cuándo un LLM específico requiere genuinamente asistencia externa. Además, el trabajo existente no ha diagnosticado suficientemente por qué los modelos no invocan herramientas cuando son necesarias, o las invocan innecesariamente, a pesar de poseer potencialmente el conocimiento interno para hacerlo.

Metodología

Los autores proponen un marco fundamentado en la necesidad de herramientas adaptativa al modelo y una descomposición en dos etapas del proceso de uso de herramientas.

1. Definición de Necesidad de Herramientas Adaptativa al Modelo:
   En lugar de etiquetas estáticas, la necesidad de herramientas ($n_f(x)$) se define empíricamente basándose en el rendimiento de un modelo específico $f$. Los autores realizan $N$ ejecuciones de inferencia independientes a temperatura $T$ sin acceso a herramientas.

   • Si el modelo responde correctamente consistentemente en todas las $N$ ejecuciones, la consulta se considera innecesaria para herramientas ($n_f(x) = 0$).
   • Si el modelo falla al menos una vez, la consulta se considera necesaria para herramientas ($n_f(x) = 1$).
     Esta definición captura la fiabilidad bajo incertidumbre, reconociendo que un modelo que solo tiene éxito ocasionalmente sin herramientas se beneficia aún de la asistencia externa.

2. Descomposición en Dos Etapas (Cognición vs. Ejecución):
   El proceso de uso de herramientas se modela como $x \to z_f(x) \to a_f(z_f(x))$, donde:

   • Cognición ($z_f$): La representación interna del modelo sobre si se necesita una herramienta.
   • Ejecución ($a_f$): La decisión real de emitir tokens que activan la herramienta.
     El error de extremo a extremo se descompone en la discrepancia entre la necesidad real y la cognición, y la discrepancia entre la cognición y la ejecución.

3. Interpretabilidad Mecanística mediante Sondeo:
   Los autores emplean sondeo lineal en los estados ocultos de los LLM para analizar ambas etapas:

   • Sondeo de Cognición: Entrena un clasificador lineal ($w_c$) para predecir la etiqueta de necesidad adaptativa al modelo a partir de los estados ocultos.
   • Sondeo de Acción: Entrena un clasificador lineal ($w_a$) para predecir el comportamiento real de llamada a herramientas.
   • Análisis Geométrico: Se calcula la similitud del coseno entre $w_c$ y $w_a$ a través de las capas y las posiciones de los tokens para determinar si la creencia interna y la intención de ejecución están alineadas.

4. Rastreo de Trayectorias:
   Las muestras se rastrean a través del proceso de dos etapas para atribuir errores. Una muestra se categoriza según si el error ocurre en la etapa de cognición, en la etapa de ejecución o en ambas.

Configuración Experimental

• Modelos: Se evaluaron cuatro LLMs distintos: Qwen3-8B, Qwen3-4B, Llama-3.1-8B-Instruct y Llama-3.2-3B-Instruct.
• Conjuntos de Datos:
  • Aritmética: 4.000 instancias que van desde sumas simples hasta operaciones complejas de múltiples pasos que involucran módulo y precedencia de operadores.
  • Preguntas y Respuestas Factuales: TruthfulQA (817 instancias) diseñada para probar la fiabilidad factual.
• Evaluación: Los modelos se probaron con acceso a herramientas (calculadora para aritmética, API de búsqueda para preguntas y respuestas). Los comportamientos de llamada a herramientas se recopilaron utilizando decodificación codiciosa.

Resultados Clave

1. Discrepancia Sustancial entre Necesidad y Acción:
   Utilizando la definición adaptativa al modelo, los autores encontraron discrepancias significativas entre cuándo se necesitan realmente las herramientas y cuándo los modelos las invocan.

   • Aritmética: Las tasas de discrepancia oscilaron entre 26,5% y 54,0%.
   • Preguntas y Respuestas Factuales: Las tasas de discrepancia oscilaron entre 30,8% y 41,8%.
   • Los modos de fallo dominantes variaron según el modelo y el dominio; algunos modelos sobrerutilizaron las herramientas (llamándolas cuando eran capaces de responder directamente), mientras que otros las subutilizaron (no llamando a herramientas cuando carecían de conocimiento interno).

2. Decodificabilidad Lineal de la Cognición y la Acción:

   • Cognición: Las representaciones internas de la necesidad de herramientas son decodificables linealmente a partir de los estados ocultos, particularmente en las capas medias y tardías. Sin embargo, la separabilidad depende de la tarea, siendo más fuerte en aritmética (donde la dificultad se correlaciona con la estructura superficial) que en preguntas y respuestas factuales.
   • Acción: La decisión de llamar a una herramienta también es altamente decodificable linealmente, abarcando a menudo regiones amplias de capas y posiciones de tokens.

3. La Brecha de Ortogonalidad:
   Aunque los sondeos de cognición y acción son individualmente efectivos, sus vectores de dirección ($w_c$ y $w_a$) se vuelven casi ortogonales en las capas tardías del token de la consulta final (el régimen que impulsa la generación del siguiente token). Esto indica que la señal interna que reconoce la necesidad de una herramienta está geométricamente desacoplada de la señal que dispara la llamada a la herramienta en el momento crítico de la decisión.

4. Localización del Fallo (La Brecha entre Saber y Hacer):
   El rastreo de trayectorias reveló que la mayoría de las discrepancias de extremo a extremo se originan en la etapa de ejecución (transición de cognición a acción), no en la etapa de cognición.

   • La mayoría de los errores ocurren cuando el modelo identifica correctamente la necesidad de una herramienta internamente (cognición correcta) pero falla en traducir esto en la acción sintáctica de llamar a la herramienta.
   • Esta discrepancia persiste incluso cuando la confianza interna del modelo en su evaluación de necesidad es alta (cerca de 0 o 1), lo que sugiere que el problema no es la incertidumbre, sino un fallo en traducir la conciencia en acción.

Significado y Contribuciones

El artículo afirma realizar las siguientes contribuciones:

• Redefinición de la Necesidad de Herramientas: Introduce una definición de necesidad de herramientas adaptativa al modelo fundamentada en el rendimiento empírico, desafiando la dependencia de anotaciones estáticas y agnósticas al modelo.
• Cuantificación de la Discrepancia Conductual: Demuestra empíricamente discrepancias sustanciales (hasta el 54%) entre la necesidad real de herramientas y las acciones observadas de llamada a herramientas en múltiples modelos y dominios.
• Perspectiva Mecanística: Mediante el sondeo de representaciones, muestra que, aunque tanto la necesidad de herramientas como la intención de ejecución son decodificables linealmente, sus representaciones se vuelven casi ortogonales en el régimen de la última capa y el último token.
• Diagnóstico de la "Brecha entre Saber y Hacer": Identifica que el principal cuello de botella en el uso de herramientas por LLM no es el reconocimiento de cuándo se necesitan las herramientas, sino la traducción de ese reconocimiento en acción.

Los autores concluyen que mejorar los agentes autónomos de LLM requiere no solo potenciar la metacognición interna, sino específicamente cerrar la "brecha entre saber y hacer" para asegurar que la autoconciencia se traduzca de manera fiable en una ejecución correcta.