Resumen Técnico: TIER – Recompensas de Ejecución Invariantes a la Trayectoria para Composición de Herramientas de Múltiples Pasos

Declaración del Problema

Los Modelos de Lenguaje Grande (LLM) han demostrado capacidades sólidas en el uso de herramientas de un solo paso, pero luchan significativamente cuando se les asigna la composición de herramientas de múltiples pasos. A medida que aumenta la profundidad de las llamadas a herramientas requeridas (por ejemplo, recuperar información de vuelos para determinar un destino y luego verificar el clima en ese destino), el rendimiento se degrada rápidamente. Los enfoques existentes de Aprendizaje por Refuerzo (RL) no logran escalar a estos entornos debido a limitaciones en el diseño de recompensas:

1. Recompensas basadas en resultados: Proporcionan solo retroalimentación binaria y dispersa (éxito/fracaso) al completar la tarea. Esto hace que la asignación de crédito para decisiones intermedias (selección de herramientas, especificación de argumentos, orden de ejecución) sea extremadamente difícil, lo que lleva al colapso del entrenamiento más allá de profundidades superficiales (por ejemplo, la precisión cae de >94% en 1 paso a 0% más allá de 4 pasos).
2. Recompensas supervisadas por trayectoria: Dependen de trayectorias de referencia anotadas para proporcionar retroalimentación detallada. Aunque ofrecen señales más densas, penalizan soluciones alternativas válidas que se desvían de la ruta de referencia específica. Esta rigidez se convierte en un cuello de botella crítico a medida que aumenta el número de rutas de ejecución válidas con la profundidad de la composición, causando inestabilidad en el entrenamiento y fallos en niveles más profundos.

Metodología: Marco TIER

Los autores proponen TIER (Recompensas de Ejecución Invariantes a la Trayectoria), un marco de recompensas que deriva la supervisión directamente de los esquemas de funciones y la ejecución en tiempo de ejecución, eliminando la necesidad de trayectorias de referencia anotadas.

Principio Central: Invarianza de Trayectoria

Una función de recompensa es invariante a la trayectoria si su valor depende únicamente de propiedades verificables de la secuencia generada y del entorno de herramientas, y no de la similitud de la secuencia con una trayectoria de referencia. Esto garantiza que:

• Todas las rutas de solución válidas reciban la recompensa máxima, independientemente del orden o de las operaciones conmutativas.
• Las soluciones inválidas se diferencien por las propiedades específicas que violan, proporcionando una señal de aprendizaje graduada sin referencia a una ruta "de oro".

Descomposición de la Recompensa

La recompensa total $R_{total}$ se calcula por secuencia de llamada a herramientas generada y se escala a $[0, 1]$. Se descompone en cuatro componentes distintos:

1. Validez de Formato ($R_{format}$): Una verificación binaria (0 o 1) que asegura que el Árbol de Sintaxis Abstracta (AST) de las llamadas a herramientas esté bien formado y sea analizable. El fracaso aquí anula todas las recompensas posteriores.
2. Adherencia al Esquema / Análisis ($R_{parse}$): Una puntuación graduada (0 a 3) que verifica:
   • Validez del Nombre: Si todos los nombres de herramientas existen en el esquema.
   • Corrección de Parámetros y Tipos: Penalizando discrepancias en los nombres de parámetros y tipos de datos frente al esquema de la función.
3. Éxito de Ejecución ($R_{exec}$): Una verificación binaria (0 o 1) que confirma que cada llamada a herramienta en la secuencia se ejecuta con éxito sin errores en tiempo de ejecución. Esto utiliza una regla de "todo o nada" porque un fallo en el paso $k$ invalida las llamadas dependientes posteriores.
4. Corrección de la Respuesta ($R_{answer}$): Una verificación binaria (0 o 5) que verifica si la respuesta final sintetizada coincide con la verdad fundamental esperada. Este componente se pondera fuertemente para evitar el "hackeo de recompensas", donde el modelo satisface las restricciones de formato y ejecución pero falla en la tarea real.

Configuración de Entrenamiento

• Algoritmo: El marco se optimiza utilizando un objetivo de gradiente de política estilo GRPO con ventajas normalizadas por grupo.
• Representación Intermedia (IR): Los modelos generan llamadas a herramientas estructuradas como ASTs basados en JSON, que se analizan y ejecutan contra un backend determinista.
• Agnosticismo: La formulación de la recompensa es independiente del algoritmo específico de optimización de RL (verificado en GRPO, GRPO Normalizado por Lotes y DAPO).

Contribuciones Clave

1. Marco de Recompensas TIER: Un sistema de recompensas invariante a la trayectoria que aprovecha los esquemas de funciones y la retroalimentación de ejecución, eliminando la dependencia de costosas trayectorias de referencia anotadas por humanos.
2. DepthBench: Una nueva prueba diseñada específicamente para evaluar la composición de herramientas de múltiples pasos, estratificada por profundidad (de 0 a 6 pasos). Cuenta con 1.710 consultas sobre 163 herramientas creadas a mano con backends ejecutables, permitiendo un análisis sistemático de la generalización composicional.
3. Validación Empírica de Supervisión Multinivel: El artículo demuestra que el aprendizaje de herramientas composicional requiere supervisión concurrente a nivel sintáctico (formato), estructural (esquema) y funcional (ejecución). Los estudios de ablación muestran que eliminar cualquier componente conduce a un fallo catastrófico en composiciones más profundas.

Resultados Experimentales

Los autores evaluaron TIER en DepthBench, BFCL v3 y NestFUL, comparándolo con líneas base basadas en resultados (Simple-RL) y líneas base supervisadas por trayectoria (ToolRL).

• Rendimiento en DepthBench:
  • TIER: Logró >90% de precisión en todas las profundidades de composición (1–6 pasos), incluyendo un 90% de precisión en las profundidades 5 y 6.
  • Simple-RL (Basado en resultados): La precisión colapsó del 94% en 1 paso a 0% más allá de 4 pasos.
  • ToolRL (Supervisado por trayectoria): El rendimiento se degradó significativamente en las profundidades 5 y 6, alcanzando 0% de precisión, confirmando que penalizar rutas alternativas válidas obstaculiza la composición profunda.
• Pruebas Externas:
  • BFCL v3: TIER logró la mejor precisión general (68,92%), superando a ToolRL (37,27%) y Simple-RL (66,30%). Cabe destacar que ToolRL falló en las categorías "Multiturn" e "Irrelevancia", donde se requiere toma de decisiones adaptativa.
  • NestFUL: TIER logró una Precisión de Coincidencia Exacta de 0,684, superando significativamente a ToolRL (0,476) y superando a modelos mucho más grandes (por ejemplo, GPT-4o, DeepSeek-V3) en un escenario de 3 disparos.
• Perspectivas de Ablación:
  • Las recompensas parciales (por ejemplo, añadir ejecución sin análisis) condujeron al "hackeo de recompensas", donde los modelos dirigieron consultas a herramientas "seguras" para maximizar las recompensas de ejecución mientras ignoraban la corrección.
  • Solo la recompensa completa y descompuesta permitió una convergencia estable hacia un alto rendimiento, destacando que los componentes son complementarios e intercambiables.

Significado y Afirmaciones

El artículo afirma que el diseño de recompensas es el principal cuello de botella para la composición de herramientas de múltiples pasos en LLMs entrenados con RL. Al pasar de la dependencia de trayectorias de referencia a una supervisión invariante a la trayectoria fundamentada en la ejecución, TIER permite que los modelos aprendan estrategias de razonamiento complejas y de múltiples pasos que antes eran intratables.

Los autores enfatizan que:

• Escalabilidad: TIER se adapta naturalmente a interfaces de herramientas en evolución sin requerir la reanotación de datos de referencia.
• Generalización: El enfoque se transfiere eficazmente a entornos reales de llamadas a funciones (BFCL v3) y composiciones anidadas de API (NestFUL).
• Necesidad de Granularidad: El razonamiento composicional exitoso no es un único objetivo, sino un problema de asignación de crédito multinivel que requiere supervisión simultánea a nivel de formato, esquema y ejecución.

El trabajo concluye que TIER proporciona una base sólida para el uso escalable de herramientas de múltiples pasos, aunque reconoce limitaciones en cuanto a entornos estocásticos del mundo real y el enfoque actual en el entrenamiento de un solo turno.