Enhancing Tool Calling in LLMs with the International Tool Calling Dataset

Este artículo presenta el conjunto de datos International Tool Calling (ITC), un benchmark multilingüe y a gran escala con miles de APIs reales de diversos países diseñado para superar las limitaciones de los enfoques actuales y mejorar la capacidad de los modelos de lenguaje para interactuar con herramientas externas en escenarios globales y complejos.

Lo esencial

Imagina que los Modelos de Lenguaje Grandes (LLMs), como los chatbots inteligentes que usamos hoy, son como chefes de cocina geniales. Son expertos en cocinar recetas (escribir textos, responder preguntas) porque han leído millones de libros de cocina. Pero, ¿qué pasa si el cliente pide algo que no tienen en su despensa, como "traerme un plato de sushi fresco del mercado de Tokio"?

El chef no puede hacerlo solo; necesita pedir ayuda a alguien que sí tenga el pescado. Aquí es donde entra la Llamada de Herramientas (Tool Calling): es la capacidad del chef para llamar a un camarero (una API externa) para que vaya al mercado, compre el pescado y se lo traiga.

El problema es que hasta ahora, los entrenadores de estos chefs solo les habían enseñado a pedir cosas de un solo mercado local (generalmente en inglés y con productos ficticios). Cuando el chef intentaba pedir algo de otro país o en otro idioma, se confundía, pedía el ingrediente equivocado o se quedaba paralizado.

Aquí es donde entra el trabajo de este paper: El Dataset ITC (Llamada de Herramientas Internacional).

1. El Problema: Un Chef con los Ojos Vendados

Antes de este estudio, los "entrenamientos" para estos chefs tenían tres grandes fallos:

• Mercados Falsos: Muchos ejercicios usaban listas de ingredientes inventados. El chef practicaba con manzanas de plástico que no existían en la vida real.
• Solo un Idioma: Todo el entrenamiento era en inglés. Si un cliente le hablaba en chino, hindi o español, el chef no entendía qué pedir.
• Sin Diversidad: Solo conocían los mercados de Estados Unidos. Si un cliente quería un ingrediente específico de una aldea en África o un servicio de clima local de China, el chef no sabía cómo contactar a ese vendedor.

2. La Solución: El "Gran Mercado Global" (ITC)

Los autores crearon un nuevo y gigantesco libro de entrenamiento llamado ITC. Imagina que en lugar de un solo mercado, abrieron un supermercado global con 3,571 mostradores reales de 40 países diferentes.

• Realidad Pura: No usaron ingredientes de plástico. Recopilaron miles de APIs (los "camareros") que funcionan de verdad, desde servicios de traducción hasta el clima local de ciudades específicas.
• Multilingüe: El libro de entrenamiento tiene preguntas y respuestas en 29 idiomas. Si el cliente pregunta en japonés sobre el clima en Lijiang (China), el chef aprende a pensar en japonés y llamar al camarero chino correcto.
• Complejidad Real: No solo piden un ingrediente. A veces el chef tiene que llamar a tres camareros a la vez (paralelo), o llamar a uno, esperar su respuesta y luego llamar a otro con esa información (anidado).

3. El Experimento: Entrenando a los Chefs

Los investigadores tomaron a 24 chefs famosos (modelos de IA como GPT-4, Claude, Qwen, etc.) y los pusieron a prueba en este nuevo mercado global.

• El Resultado Inicial: Los chefs "cerrados" (los más caros y privados, como GPT-4) lo hicieron bastante bien, pero los chefs "abiertos" (gratuitos) se equivocaron mucho. A menudo llamaban al camarero equivocado, pedían ingredientes que no existían o no entendían el idioma del cliente.
• El Entrenamiento (Fine-Tuning): Luego, tomaron a los chefs más prometedores y los entrenaron específicamente con este nuevo libro de recetas (el dataset ITC).
• La Magia: ¡El resultado fue espectacular! Después de entrenar con datos reales y multilingües, los chefs mejoraron drásticamente.
  • Ya no se confundían con idiomas extraños.
  • Podían manejar pedidos complejos que requerían varios pasos.
  • Se volvieron más robustos: si un camarero no estaba disponible, sabían cómo reaccionar en lugar de alucinar.

4. ¿Por qué es importante esto?

Imagina que en el futuro, tu asistente personal de IA va a ser tu agente de viajes, tu abogado y tu médico.

• Si vives en un país en desarrollo y hablas una lengua minoritaria, necesitas que tu IA pueda llamar a los servicios locales de tu país, no solo a los de EE. UU.
• Si necesitas datos financieros de un banco específico de Brasil, la IA debe saber cómo conectar con ese banco real, no con uno inventado.

En resumen:
Este paper construyó el gimnasio más realista y diverso del mundo para entrenar a las inteligencias artificiales. Gracias a este "gimnasio" (el dataset ITC), las IAs están aprendiendo a dejar de ser robots que solo hablan inglés y funcionan en mundos de fantasía, para convertirse en verdaderos asistentes globales capaces de navegar el mundo real, con sus miles de idiomas, culturas y servicios locales.

Es como pasar de enseñarles a un niño a jugar al fútbol en un patio de escuela con una pelota de papel, a entrenarlo en la Copa del Mundo con jugadores reales de todos los continentes. ¡El salto de calidad es enorme!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Enhancing Tool Calling in LLMs with the International Tool Calling Dataset", traducido y estructurado en español:

1. El Problema

Aunque los modelos de lenguaje grandes (LLMs) han avanzado en la capacidad de invocar herramientas (APIs), los benchmarks y conjuntos de datos existentes presentan limitaciones críticas que impiden su aplicación en escenarios del mundo real y globalizados:

• Dependencia de APIs simuladas: Muchos conjuntos de datos (como Seal-Tools o ToolSandbox) utilizan APIs sintéticas que no capturan la complejidad, variabilidad y errores de las APIs reales.
• Falta de reproducibilidad y acceso: Los conjuntos que usan APIs reales a menudo requieren claves de acceso pagas, tienen límites de uso estrictos o son propietarios, lo que dificulta la investigación reproducible.
• Homogeneidad cultural y geográfica: La mayoría de los benchmarks se centran en inglés y en APIs de EE. UU., ignorando la diversidad lingüística, cultural y regulatoria de otras regiones. Esto limita la capacidad de generalización de los modelos fuera del dominio anglosajón.
• Brecha en escenarios complejos: Existe una carencia de datos que aborden tareas de múltiples pasos (encadenadas, paralelas o repetidas) en entornos multilingües.

2. Metodología: El Dataset ITC (International Tool Calling)

Los autores presentan ITC, un benchmark a gran escala diseñado para escenarios de llamada a herramientas realistas y globalmente distribuidos. El proceso de curación del dataset sigue un pipeline de cuatro etapas (ver Figura 1 del artículo):

• Etapa 1: Recolección y Construcción de APIs:

  • Se recopilaron 49,937 APIs REST reales de cinco fuentes globales (principalmente RapidAPI, Juhe Data y repositorios de GitHub).
  • Se estandarizaron los documentos de las APIs en un esquema unificado (nombre, descripción, parámetros, autenticación).
  • Se implementó una estrategia de completado manual impulsado por respuestas: para APIs con metadatos incompletos, se ejecutaron pruebas en vivo (scripts Python/curl) para verificar y documentar los parámetros reales.
  • Filtrado riguroso: Mediante monitoreo automatizado semanal, se eliminaron APIs que no respondían, devolvían errores (404/500) o formatos inválidos. El resultado final son 3,571 APIs de alta calidad disponibles públicamente sin necesidad de claves de autenticación.

• Etapa 2: Generación de Consultas (Queries):

  • Se creó un "pool de semillas" manual de 36 instancias de alta calidad.
  • Se generaron consultas utilizando LLMs (GPT-4o) basándose en tres principios: diversidad geográfica, variedad funcional y desafíos de desambiguación.
  • Se cubrieron cuatro tipos de tareas: Llamada a una sola herramienta, Repetida (misma API varias veces), Paralela (múltiples APIs simultáneas) y Anidada (encadenada).

• Etapa 3: Puntuación y Filtrado de Consultas:

  • Se generaron 44,198 consultas iniciales.
  • Se aplicó una puntuación automática por dos modelos (Claude-3.5-Sonnet y Gemini-1.5-Pro) en cinco dimensiones: Relevancia, Prácticalidad, Aplicabilidad Lingüística, Claridad y Especificidad.
  • Se realizó una verificación humana a gran escala con 100 anotadores calificados, utilizando preguntas de control "gold standard" para asegurar la calidad. Se eliminaron consultas ambiguas o culturalmente inapropiadas, quedando 17,540 tareas finales.

• Etapa 4: Generación de Pares Pregunta-Respuesta (QA):

  • Se utilizó una estrategia de generación tri-modelo (GPT-4o, Gemini-1.5-Pro, Claude-3.5-Sonnet) para generar respuestas candidatas.
  • Un sistema de "juez" (Checker) basado en LLM y validación humana seleccionó la mejor respuesta, asegurando coherencia, ausencia de alucinaciones y formato JSON estricto.

Estadísticas del Dataset:

• 3,571 APIs reales en 20 categorías (Finanzas, Datos, Comunicación, etc.).
• 17,540 tareas (15,790 para entrenamiento, 1,750 para prueba).
• 40 países representados (64.2% APIs globales, el resto regionales).
• 29 idiomas (inglés predominante, pero con fuerte presencia de chino, hindi, francés, etc.).

3. Contribuciones Clave

1. ITC Dataset: El primer benchmark a gran escala que combina APIs reales, multilingües y geográficamente diversas, eliminando la dependencia de entornos simulados.
2. Evaluación Multidimensional: Introducción de una nueva métrica, Precisión de Coincidencia de Idioma (Language Matching Accuracy - LM), que mide si el razonamiento interno del modelo (thought process) coincide con el idioma de la consulta del usuario, crucial para aplicaciones internacionales.
3. Análisis de Desempeño Exhaustivo: Evaluación de 16 modelos de código abierto y 8 propietarios, revelando brechas significativas y patrones de error específicos (alucinación de herramientas, omisión de parámetros).
4. Validación de Fine-Tuning: Demostración de que el ajuste fino (fine-tuning) en ITC mejora drásticamente la generalización, especialmente en consultas no en inglés y en tareas fuera de dominio.

4. Resultados Experimentales

• Desempeño Zero-Shot:

  • Los modelos propietarios (GPT-4o, Claude-3.5-Sonnet) superaron consistentemente a los de código abierto en selección e invocación de herramientas.
  • GPT-4o logró el mejor rendimiento general (97.95% en coincidencia de idioma, 89.01% F1 en selección de herramientas).
  • Los modelos "mini" de razonamiento (o1-mini, o3-mini) mostraron dificultades en la adherencia estricta al esquema JSON (Format Matching), a pesar de su fuerte lógica.
  • Errores comunes: La omisión de herramientas necesarias y la generación de parámetros incorrectos fueron los fallos más frecuentes. Los modelos de código abierto a menudo alucinaban herramientas inexistentes o fallaban en la estructura de los parámetros.

• Mejoras tras Fine-Tuning:

  • El ajuste fino de modelos Qwen2.5 y DeepSeek en ITC resultó en mejoras masivas. Por ejemplo, Qwen2.5-3B-Instruct mejoró su F1 de selección de herramientas en un 48.0% y su precisión de invocación en un 48.9%.
  • Generalización Fuera de Dominio: Los modelos fine-tuned en ITC mostraron mejoras significativas en benchmarks externos (Nexus Raven, Seal-Tools), demostrando que el dataset entrena capacidades transferibles.

• Impacto del Idioma (Estudio de Ablación):

  • Entrenar solo en inglés limitó severamente el rendimiento en tareas no inglesas.
  • Los modelos entrenados en el conjunto multilingüe completo (ALL) superaron a los entrenados solo en inglés (EN) en un 19.4% adicional en la recuperación de herramientas para tareas no inglesas. Esto confirma la necesidad crítica de datos diversos para la generalización internacional.

5. Significado e Impacto

El trabajo de ITC representa un avance fundamental en la investigación de agentes de IA:

• Realismo: Al utilizar APIs reales y accesibles, permite evaluar la verdadera capacidad de los LLMs para interactuar con sistemas externos, superando las limitaciones de los entornos de prueba sintéticos.
• Inclusividad Global: Aborda la brecha lingüística y cultural, proporcionando un estándar para desarrollar modelos que funcionen equitativamente en diferentes regiones del mundo.
• Robustez: Demuestra que el entrenamiento con datos diversos y realistas no solo mejora el rendimiento en el dominio específico, sino que también fortalece la capacidad de los modelos para manejar herramientas desconocidas y escenarios complejos fuera de distribución.
• Reproducibilidad: Al ofrecer un dataset público sin restricciones de claves de acceso, facilita la investigación colaborativa y la comparación justa entre modelos.

En conclusión, ITC establece un nuevo estándar para la evaluación y mejora de la capacidad de los LLMs para operar en un mundo interconectado, multilingüe y dependiente de herramientas externas.