FinToolBench: Evaluating LLM Agents for Real-World Financial Tool Use

El artículo presenta FinToolBench, el primer benchmark ejecutable del mundo real diseñado para evaluar agentes de IA en el uso de herramientas financieras, introduciendo un ecosistema con 760 herramientas y un marco de evaluación que prioriza la precisión, la oportunidad y el cumplimiento normativo.

Lo esencial

¡Claro que sí! Imagina que los Modelos de Lenguaje (LLM), como los que usas para chatear con una IA, son como estudiantes universitarios muy inteligentes que han leído millones de libros. Son geniales respondiendo preguntas generales, pero si les pides que hagan algo en el mundo real, como "comprar acciones" o "verificar una factura bancaria", a menudo se quedan paralizados o inventan datos.

El problema es que el mundo financiero es un campo minado. Si un estudiante se equivoca en un examen, no pasa nada grave. Pero si un "agente financiero" se equivoca al usar una herramienta real, podría perder dinero, violar leyes o usar datos de hace un año cuando necesitabas los de hoy.

Aquí es donde entra FinToolBench, la propuesta de este paper. Vamos a desglosarlo con una analogía sencilla:

1. El Problema: El "Simulador de Vuelo" vs. El "Vuelo Real"

Antes de este trabajo, evaluar a estas IAs financieras era como enseñarles a pilotar un avión usando un videojuego (simuladores falsos).

• Los benchmarks anteriores les daban preguntas de libros de texto o datos estáticos. Era como preguntar: "¿Qué pasa si el motor falla?" y el alumno responde con teoría.
• La realidad: En finanzas, no puedes fallar. Necesitas que el agente no solo sepa la teoría, sino que pueda conectar el cable real, usar la herramienta correcta, obtener los datos en tiempo real y no cometer errores legales.

2. La Solución: FinToolBench (El "Gimnasio de Entrenamiento Real")

Los autores crearon FinToolBench, que es como un gimnasio de entrenamiento de alto nivel para estas IAs, pero en lugar de pesas, usan 760 herramientas financieras reales (como APIs de bolsa, datos de divisas, informes regulatorios) que funcionan de verdad.

Imagina que tienes un menú gigante con 760 platos (herramientas) y le das al chef (la IA) 295 recetas (preguntas) que obligatoriamente requieren usar esos platos para cocinar.

Las tres reglas de oro (Las "Reglas del Juego")

En este gimnasio, no basta con cocinar el plato. El chef debe seguir tres reglas estrictas, que son las que más fallan en el mundo real:

1. La Regla de la "Frescura" (Timeliness):

   • Analogía: Si pides un "huevo frito", no puedes darle uno que se cocinó ayer.
   • En finanzas: Si preguntas "¿Cuál es el precio de Apple ahora?", la IA no puede usar un dato de hace una semana. FinToolBench castiga si la IA usa una herramienta que solo da datos antiguos cuando se necesitan datos en tiempo real.

2. La Regla de la "Intención" (Intent Restraint):

   • Analogía: Si un cliente dice "Quiero saber cuánto cuesta el café", no puedes irte y comprarle el café sin permiso.
   • En finanzas: Hay herramientas para leer datos (informativas) y herramientas para hacer cosas (transaccionales, como transferir dinero). La IA debe saber la diferencia. Si la IA intenta "comprar" algo cuando el usuario solo quería "información", es un error grave.

3. La Regla del "Territorio" (Domain Alignment):

   • Analogía: Si pides una receta de sushi, no puedes usar un cuchillo de carnicero para cortar pescado, ni ir a la sección de carnes.
   • En finanzas: Si preguntas sobre criptomonedas, la IA no puede usar herramientas diseñadas para la bolsa de valores tradicional. Usar la herramienta equivocada es como intentar pagar con dólares en una tienda que solo acepta euros.

3. El Entrenador: FATR

Para ver si las IAs pueden aprender a seguir estas reglas, los autores crearon un "entrenador" llamado FATR.

• Imagina que le das al chef un delantal especial que tiene pegadas etiquetas en cada herramienta.
• En lugar de solo decir "Herramienta: Precio de Acción", el delantal dice: "Herramienta: Precio de Acción [Frescura: En tiempo real] [Intención: Solo leer] [Territorio: Bolsa de EE.UU.]".
• Esto ayuda a la IA a no cometer errores tontos y a elegir la herramienta correcta desde el principio.

4. ¿Qué descubrieron? (Los Resultados)

Cuando probaron a varias IAs famosas en este "gimnasio":

• Algunas eran muy valientes pero torpes: Usaban muchas herramientas, pero a veces usaban las incorrectas o se equivocaban en los datos (como un chef que prueba todos los ingredientes pero se equivoca con la sal).
• Otras eran muy cautelosas: No usaban casi ninguna herramienta por miedo a equivocarse, así que no resolvían el problema (como un chef que tiene miedo de tocar los ingredientes y no cocina nada).
• El equilibrio: La clave no es usar muchas herramientas, sino usar la correcta, en el momento correcto, con la intención correcta.

En resumen

FinToolBench es como el primer examen de conducir real para las IAs financieras. Antes, solo les hacían preguntas de teoría en un aula. Ahora, las ponen en una calle real con semáforos, peatones y tráfico (datos en tiempo real, leyes y riesgos), y les piden que lleguen a su destino sin chocar.

El objetivo final es que, cuando confíes tu dinero a una IA, sepas que no solo es "inteligente", sino que es responsable, precisa y segura para operar en el mundo real. Y lo mejor: ¡han abierto las puertas del gimnasio para que todos los investigadores entren a entrenar!

Resumen técnico

Resumen Técnico: FinToolBench

1. El Problema

La integración de Modelos de Lenguaje Grande (LLM) en el sector financiero está impulsando un cambio hacia agentes autónomos que interactúan dinámicamente con datos. Sin embargo, existe una brecha crítica en la evaluación de estos agentes:

• Limitaciones de los benchmarks existentes: Las evaluaciones financieras actuales se centran en análisis de texto estático o preguntas y respuestas (QA) basadas en documentos, ignorando la ejecución real de herramientas. Por otro lado, los benchmarks generales de herramientas utilizan entornos "de juguete" o un número insignificante de APIs financieras, careciendo del rigor específico del dominio.
• Riesgos únicos del dominio financiero: En finanzas, un error en la llamada a una herramienta es más peligroso que una respuesta libre incorrecta. Los errores pueden parecer fundamentados pero basarse en datos obsoletos, endpoints inestables o dominios de mercado mal emparejados.
• Falta de métricas de cumplimiento: Las métricas actuales no evalúan tres modos de fallo críticos para la fiabilidad financiera:
  1. Oportunidad (Timeliness): ¿Son los datos actuales o son instantáneas diarias obsoletas?
  2. Restricción de Intención (Intent Restraint): ¿El agente distingue entre consultas informativas y acciones transaccionales (evitando ejecutar órdenes sin autorización)?
  3. Alineación de Dominio (Domain Alignment): ¿Se utilizan las herramientas correctas para el mercado específico (ej. no usar herramientas de acciones para criptomonedas)?

2. Metodología

Los autores presentan FinToolBench, el primer benchmark ejecutable y del mundo real diseñado para evaluar agentes de herramientas financieras.

A. Construcción del Dataset:

• Inventario de Herramientas: Se recopilaron y filtraron 760 herramientas financieras ejecutables de fuentes de nivel gratuito (RapidAPI y AkShare). Se aplicó un filtro riguroso de ejecutabilidad (validación de URLs, límites de velocidad, autenticación) y normalización de firmas.
• Conjunto de Preguntas: Se seleccionaron 295 preguntas que requieren obligatoriamente el uso de herramientas (166 de una sola herramienta, 129 de múltiples herramientas), descartando aquellas que podían responderse con conocimiento estático.
• Anotación de Atributos Financieros: Cada herramienta se etiquetó con tres metadatos críticos:
  • Frecuencia de actualización (tiempo real, diario, periódico, estático).
  • Tipo de intención (informativa, de asesoramiento, transaccional).
  • Dominio regulatorio (acciones, bonos, cripto, macroeconomía, etc.).

B. Protocolo de Evaluación:
El benchmark separa la evaluación en dos dimensiones basadas en trazas de ejecución auditable:

1. Capacidad: Mide si el agente puede invocar y ejecutar herramientas exitosamente (Tasa de Invocación - TIR, Tasa de Éxito de Ejecución - TESR).
2. Cumplimiento (Compliance): Evalúa si las llamadas a herramientas cumplen con las restricciones financieras mediante tasas de desajuste (Mismatch Rates):
   • TMR: Tasa de desajuste de oportunidad.
   • IMR: Tasa de desajuste de intención.
   • DMR: Tasa de desajuste de dominio.

C. Baseline Propuesto (FATR):
Se introduce FATR (Finance-Aware Tool Retrieval), una línea base ligera que no entrena un modelo nuevo, sino que inyecta los atributos financieros en las "tarjetas de herramientas" (tool cards) que ve el planificador del LLM. FATR utiliza un bucle ReAct con restricciones explícitas de tiempo, intención y dominio, además de mecanismos de estabilización (caché, reintentos).

3. Contribuciones Clave

1. FinToolBench: Un benchmark ejecutable con 760 herramientas reales y 295 preguntas complejas, generando trazas de herramientas audibles para diagnóstico.
2. Evaluación Consciente de Finanzas: Un nuevo conjunto de métricas que cuantifica el cumplimiento de restricciones críticas (TMR, IMR, DMR) más allá de la simple corrección de la respuesta final.
3. FATR Baseline: Una implementación de referencia que demuestra cómo la inyección de atributos financieros mejora la estabilidad y el cumplimiento normativo sin necesidad de reentrenamiento masivo.
4. Código Abierto: Se liberará el manifiesto de herramientas, el entorno de ejecución y el código de evaluación para fomentar la investigación reproducible.

4. Resultados Experimentales

Se evaluaron varios modelos (Doubao-Seed-1.6, Qwen3-8B, GLM-4.7-Flash, GPT-4o) utilizando el protocolo FATR:

• Compensación entre Cobertura y Precisión:
  • Qwen3-8B mostró la mayor tasa de invocación (TIR = 0.87), pero una baja tasa de éxito condicional (CER = 0.34), indicando errores en la construcción de argumentos o fallos de ejecución.
  • GPT-4o adoptó una estrategia extremadamente conservadora (TIR = 0.23), evitando muchas llamadas a herramientas, pero logró la mayor precisión cuando sí las ejecutó (CER = 0.62 y CSS = 0.67).
  • Doubao-Seed-1.6 ofreció el mejor equilibrio, con la mayor tasa de éxito general (TESR = 0.33) y una alta CER (0.50).
• Impacto de la Inyección de Atributos:
  • La inyección de etiquetas financieras (FATR) redujo ligeramente la tasa de invocación (TIR) porque el agente evitó llamadas arriesgadas o marginales.
  • Sin embargo, mejoró significativamente la fiabilidad condicional (CER) y redujo las tasas de desajuste (TMR, IMR, DMR), demostrando que los agentes seleccionan herramientas más adecuadas al contexto financiero.
• Distribución de Uso: El 35% de las preguntas requieren múltiples herramientas, destacando la necesidad de evaluar flujos de trabajo complejos y no solo llamadas individuales.

5. Significado e Impacto

FinToolBench establece un nuevo estándar para la IA confiable en finanzas. Al pasar de la evaluación de "respuesta final" a la evaluación de "traza de ejecución", el benchmark permite:

• Auditoría: Identificar si un error se debe a una mala elección de herramienta, datos obsoletos o una violación de normas regulatorias.
• Seguridad: Prevenir que los agentes realicen acciones transaccionales no autorizadas o utilicen datos de mercados incorrectos.
• Investigación Futura: Proporciona una plataforma común para comparar agentes en condiciones realistas, facilitando el desarrollo de sistemas financieros autónomos que sean no solo inteligentes, sino también seguros y conformes a las regulaciones del sector.

En resumen, el trabajo demuestra que para que los agentes LLM sean útiles en finanzas, no basta con que "hagan la tarea"; deben hacerlo respetando estrictamente las restricciones de tiempo, intención y dominio que definen la integridad financiera.