FinRetrieval: A Benchmark for Financial Data Retrieval by AI Agents

El artículo presenta FinRetrieval, un nuevo benchmark de 500 preguntas financieras que demuestra que la disponibilidad de herramientas de acceso a datos estructurados es el factor determinante en el rendimiento de los agentes de IA, superando ampliamente a la búsqueda web y revelando variaciones en el uso de modos de razonamiento y sesgos geográficos derivados de convenciones fiscales.

Lo esencial

Imagina que tienes un detective financiero (una Inteligencia Artificial) y le pides que encuentre una cifra muy específica en un océano de datos: "¿Cuánto dinero ganó Apple en el tercer trimestre de 2024?".

El artículo que presentas, llamado FinRetrieval, es como un examen de conducir muy estricto para estos detectives. Su objetivo es ver qué tan bien pueden encontrar números exactos en bases de datos financieras estructuradas, en lugar de simplemente leer un documento y adivinar.

Aquí tienes los hallazgos principales explicados con analogías sencillas:

1. El Superpoder no es el "Cerebro", son las "Herramientas"

Imagina que tienes dos detectives:

• Detective A (Claude Opus): Es un genio, pero si le das solo un mapa de papel (búsqueda web) para encontrar una dirección, se pierde y termina dando vueltas en círculos. Solo acierta el 20% de las veces.
• Detective B (Google/OpenAI): También es inteligente, pero si le das el mismo mapa, se las arregla un poco mejor (acierta el 70%).

Pero aquí viene la magia: Si le das al Detective A una llave maestra digital (una API que conecta directamente con la base de datos financiera), su precisión salta al 91%.

• La lección: No importa cuán "inteligente" sea el detective; si no tiene la herramienta correcta (la llave maestra), es casi inútil. Tener acceso a la base de datos directa es 3 o 4 veces más importante que elegir el modelo de IA más avanzado.

2. Pensar más no siempre significa acertar más

A veces, los detectives tienen un modo de "pensar profundo" (como detenerse a meditar antes de responder).

• Para el detective de OpenAI, este modo de pensar le ayuda mucho (+9% de aciertos). Era como si antes no supiera cómo usar la llave maestra, y al pensar, aprendió a usarla mejor.

• Para el detective Claude, que ya usaba la llave maestra muy bien desde el principio, pensar más le ayudó muy poco (+2.8%).

• La analogía: Si ya eres un chef experto cocinando un plato, añadirle más tiempo de "pensamiento" no hará que el plato sea mucho mejor. Pero si eres un novato, pensar un poco más antes de cortar la cebolla te salva de cortarte el dedo.

3. El problema de los "Calendarios Confusos"

El examen reveló un error curioso relacionado con la geografía. Los detectives acertaban más con empresas de EE. UU. que con empresas de otros países.

• ¿Por qué? No es que el detective sea racista o tenga prejuicios. Es que en EE. UU., el año fiscal termina en diciembre (igual que el calendario normal). Pero en países como Japón o India, el año fiscal termina en marzo o septiembre.
• La analogía: Es como si le pidieras a alguien que busque "Navidad" en un calendario, pero el calendario de la empresa japonesa marca la Navidad en marzo. El detective no entendió el idioma del calendario, no que fuera tonto.

4. El primer intento lo es todo

El estudio descubrió que si el detective encuentra la respuesta correcta en su primera búsqueda, casi siempre acierta (93% de éxito). Si falla en la primera y tiene que buscar más, su precisión cae drásticamente.

• La analogía: Es como buscar una aguja en un pajar. Si la ves a la primera, la coges. Si empiezas a remover el pajar sin saber exactamente dónde está, es probable que la pierdas o la confundas con una paja.

En resumen

Este artículo nos dice que para que la IA funcione bien en finanzas:

1. No compres el cerebro más caro: Lo más importante es darle acceso directo a los datos (las herramientas), no solo un modelo de lenguaje potente.
2. Documenta bien tus herramientas: Muchos errores ocurren porque el detective no entiende cómo se llaman los años o los trimestres en la base de datos. Si le das un manual claro, acertará mucho más.
3. La velocidad importa: A veces, pensar demasiado hace que la respuesta tarde más en llegar sin mejorar mucho el resultado.

Los autores han liberado todo el "examen" (las 500 preguntas, las respuestas y los registros de lo que hizo cada detective) para que otros investigadores puedan aprender de estos errores y crear detectives financieros más inteligentes y precisos.

Resumen técnico

Resumen Técnico: FinRetrieval

1. El Problema

Aunque los agentes de IA están siendo cada vez más utilizados para la investigación financiera (respuesta a preguntas sobre rendimiento corporativo, recuperación de métricas de informes de ganancias, etc.), existe una carencia crítica en la evaluación de su capacidad para recuperar valores numéricos específicos de bases de datos estructuradas.

• Limitaciones de los benchmarks existentes: Las evaluaciones actuales se centran en el razonamiento numérico sobre documentos proporcionados (como FinQA o TAT-QA) o en la recuperación de documentos de la SEC (FinanceBench, FAB). Ninguna evalúa la capacidad de un agente para interactuar con APIs de datos financieros estructurados para extraer valores precisos.
• La brecha: No se sabe cómo rinden los agentes de vanguardia (Anthropic, OpenAI, Google) cuando deben navegar por herramientas de API estructuradas en lugar de simplemente leer texto o buscar en la web.

2. Metodología y Diseño del Benchmark

Los autores introducen FinRetrieval, un benchmark diseñado específicamente para evaluar la recuperación de datos financieros mediante agentes de IA.

• Conjunto de Datos:

  • 500 preguntas generadas a partir de una plataforma financiera (Daloopa) que extrae datos estructurados de más de 4,000 empresas públicas.
  • Las preguntas requieren recuperar un valor numérico único con una respuesta "verdad fundamental" (ground truth) verificable contra documentos fuente (formularios 10-K, 10-Q, presentaciones a inversores).
  • Distribución: 6 categorías financieras (Balance General, Flujo de Caja, KPIs Operativos, Estado de Resultados, Orientación/Outlook, Segmentos/Geografía). Incluye un equilibrio geográfico (54.2% EE. UU., 45.8% no EE. UU.).
  • Generación: Un pipeline de tres fases (muestreo estratificado, enriquecimiento de contexto con capturas de pantalla de documentos fuente, y generación de preguntas mediante un LLM multimodal) asegura que cada pregunta tenga una respuesta inequívoca.

• Configuración Experimental:

  • Modelos Evaluados: 14 configuraciones de tres proveedores de vanguardia: Anthropic (Claude Opus 4.5, Sonnet 4.5), OpenAI (GPT-5.2) y Google (Gemini 3 Pro).
  • Modos de Herramientas:
    1. MCP (Model Context Protocol): Acceso a una base de datos financiera estructurada mediante tres herramientas de API (discover_companies, discover_company_series, get_company_fundamentals).
    2. WebOnly: Solo búsqueda web (simulando la ausencia de APIs estructuradas).
  • Modos de Razonamiento: Comparación entre modo base y modo de razonamiento extendido (ej. Extended Thinking en Claude, Reasoning API en OpenAI).
  • Evaluación: Se ejecutaron 7,000 evaluaciones en total. La puntuación se realiza mediante un juez LLM (GPT-5.2) que normaliza unidades, signos y formatos para determinar la corrección binaria.
  • Transparencia: Se liberan las trazas completas de ejecución (cada llamada a herramienta con entradas y salidas), permitiendo un análisis detallado de la toma de decisiones del agente.

3. Contribuciones Clave

1. Primer Benchmark de Recuperación Estructurada: Es el primer conjunto de datos que evalúa agentes de IA interactuando con APIs de datos financieros estructurados en lugar de documentos no estructurados.
2. Evaluación Multi-Proveedora Controlada: Compara directamente los sistemas completos de agentes (modelo + SDK + herramientas) de los tres principales proveedores en las mismas preguntas.
3. Liberación de Trazas Completas: A diferencia de benchmarks anteriores, FinRetrieval publica las trazas de llamadas a herramientas, permitiendo investigar el comportamiento del agente, los fallos en la selección de series y los patrones de error.
4. Análisis de Causa Raíz: Identifica que los errores no son principalmente de "razonamiento", sino de convenciones de datos y uso de herramientas.

4. Resultados Principales

El estudio revela cuatro hallazgos fundamentales con implicaciones prácticas:

• A. La Disponibilidad de Herramientas Domina el Rendimiento:

  • La diferencia entre tener acceso a APIs estructuradas y solo búsqueda web es abrumadora.
  • Ejemplo crítico: Claude Opus cae de un 90.8% de precisión con herramientas MCP a solo 19.8% con solo búsqueda web (una brecha de 71 puntos porcentuales).
  • Esto supera el impacto de la selección del modelo por un factor de 3-4x. La integración de herramientas es el determinante principal del éxito, no la capacidad intrínseca del modelo.

• B. El Beneficio del Razonamiento Varía Inversamente con la Capacidad Base:

  • OpenAI (GPT-5.2) gana +9.0 pp al activar el modo de razonamiento, mientras que Claude Opus gana solo +2.8 pp.
  • Explicación: El modo base de OpenAI realiza menos llamadas de exploración a las herramientas (API calls) que Claude. El razonamiento compensa esta deficiencia inicial en la selección de herramientas, no necesariamente mejora la capacidad de razonamiento abstracto. Con razonamiento activado, todos los modelos convergen en un rendimiento del 86-91%.

• C. El Éxito en la Primera Consulta Impulsa la Eficiencia:

  • Las respuestas correctas correlacionan con menos llamadas a herramientas, pero esto es un efecto, no una causa.
  • Si la primera llamada a discover_company_series tiene éxito (87% de los casos para Claude), la precisión es del 93% con solo 3 llamadas a herramientas. Si falla, el agente entra en bucles de búsqueda extendida y la precisión cae al 77%.

• D. Las Brechas Geográficas Provienen de Convenciones de Datos:

  • Existe una brecha de rendimiento de ~5.6 pp a favor de las empresas de EE. UU. para Claude.
  • Causa: No es una limitación del modelo, sino un desajuste en las convenciones de años fiscales. Los agentes asumen años fiscales que terminan en diciembre, mientras que muchas empresas no estadounidenses (ej. Japón, India) tienen años fiscales que terminan en marzo o septiembre. Esto causa errores en la identificación del periodo (ej. "2022FY" vs "2023FY").

5. Significado e Implicaciones

• Prioridad para la Industria: Para mejorar los sistemas de IA financiera, la integración de datos estructurados (APIs) es mucho más crítica que la selección del modelo o el uso de modos de razonamiento avanzados. Sin herramientas estructuradas, incluso los modelos más avanzados fallan estrepitosamente.
• Documentación de Herramientas: El 63% de los errores restantes (cuando se tienen herramientas) se deben a "confusión de periodos" causada por convenciones no documentadas (etiquetado de años fiscales, granularidad). Mejorar la documentación de las herramientas podría elevar la precisión del 90% a niveles superiores sin cambiar el modelo.
• Costo-Beneficio del Razonamiento: El modo de razonamiento tiene un costo de latencia alto (OpenAI aumenta su tiempo de respuesta 3.2x). Dado que el beneficio en precisión es marginal para modelos con buen uso base de herramientas, los practicantes deben evaluar si el costo computacional justifica la ganancia marginal.
• Reproducibilidad: El conjunto de datos, el código de evaluación y las trazas están disponibles públicamente, fomentando la investigación sobre el comportamiento de agentes financieros y el desarrollo de sistemas de recuperación más robustos.

En conclusión, FinRetrieval demuestra que en el dominio financiero, la arquitectura del sistema (acceso a datos estructurados y documentación clara de las herramientas) es un factor de éxito más determinante que la inteligencia del modelo subyacente.