FinSkillBench: Evaluating AI Agents and Domain Skills for Investment Management

En el mundo de alto riesgo de la gestión de inversiones, el éxito depende de algo más que simplemente tener una buena idea sobre qué acciones comprar. Requiere un proceso riguroso y paso a paso de recopilación de datos precisos, realización de cálculos complejos y el cumplimiento de reglas estrictas que rigen cómo se puede mover el dinero. Imagine a un analista financiero que debe observar una cartera de treinta empresas diferentes, calcular cómo podrían reaccionar ante una caída repentina del mercado y luego reorganizar las participaciones para mantenerse dentro de los límites legales, todo ello utilizando únicamente la información disponible en un día específico en el pasado. Esta es la realidad diaria para los profesionales humanos, pero es una nueva frontera para la inteligencia artificial. Si bien los sistemas de IA modernos son excelentes escribiendo texto y respondiendo preguntas generales, a menudo tienen dificultades cuando se les pide que realicen este tipo de tareas exactas y disciplinadas. Pueden entender el concepto de riesgo, pero frecuentemente fallan al ejecutar los pasos matemáticos específicos requeridos para medirlo con precisión o al seguir las instrucciones detalladas necesarias para reequilibrar una cartera sin errores.

Un equipo de investigadores ha creado una nueva forma de probar si los agentes de IA pueden manejar realmente este tipo de trabajo. Construyeron un campo de pruebas especializado llamado FinSkillBench, que presenta a los sistemas de IA 2.603 escenarios de inversión distintos. Estos escenarios cubren tres áreas principales: la construcción de una cartera de acciones, la gestión de los riesgos asociados con esas acciones y el análisis de la salud financiera de empresas individuales. Los investigadores no se limitaron a pedirle a la IA que adivinara la respuesta; le dieron una fecha específica, un conjunto de datos brutos y un objetivo claro, y luego verificaron el resultado contra una solución conocida y correcta generada por un software financiero estándar. El objetivo era ver si la IA podía actuar como un analista profesional, recuperando los datos correctos en el momento adecuado y utilizando las herramientas adecuadas para hacer el trabajo.

El estudio probó tres formas diferentes de ayudar a la IA. En el primer escenario, la IA tenía que resolver los problemas por sí sola, sin ayuda. En el segundo, los investigadores proporcionaron a la IA un conjunto de herramientas y guías escritas "curadas". Estas no eran simplemente documentos aleatorios; eran instrucciones y scripts informáticos cuidadosamente preparados que mostraban a la IA exactamente cómo realizar los cálculos necesarios y cómo utilizar las herramientas disponibles correctamente. En el tercer escenario, se le pidió a la IA que escribiera sus propias instrucciones y herramientas para sí misma antes de intentar la tarea, intentando esencialmente enseñarse a sí misma cómo hacer el trabajo sobre la marcha.

Los resultados fueron claros y decisivos. Cuando la IA recibió las guías y herramientas prefabricadas y escritas por humanos, su rendimiento mejoró drásticamente. En todas las pruebas, la puntuación media de estos agentes de IA saltó de aproximadamente un 37 por ciento a un 53 por ciento. La mejora fue más significativa en las tareas que requerían un intenso procesamiento numérico, como la construcción de una cartera óptima o la identificación de riesgos ocultos. En estas áreas, la IA con las herramientas curadas fue capaz de resolver problemas que anteriormente no podía resolver en absoluto. Los investigadores descubrieron que tener acceso a estos procedimientos fiables y paso a paso era tan importante como la elección del propio modelo de IA. Un modelo de IA potente sin las herramientas adecuadas a menudo fallaba, mientras que un modelo capaz con las herramientas adecuadas tenía éxito.

Por el contrario, la idea de que la IA se enseñara a sí misma en el momento no funcionó. Cuando los agentes se vieron obligados a escribir sus propias guías y herramientas antes de resolver los problemas, su rendimiento apenas cambió. Pasaron mucho tiempo y potencia de cálculo escribiendo estas instrucciones, pero las instrucciones que crearon eran a menudo defectuosas o incompletas. El estudio demostró que, en un solo intento, una IA no puede inventar de forma fiable los procedimientos complejos y precisos necesarios para el análisis financiero. No basta con que la IA sepa cómo escribir código; necesita que se le entregue un código que ya haya sido probado y verificado. Los investigadores también realizaron las mismas pruebas utilizando un sistema de IA diferente para asegurar que sus hallazgos no fueran un error de un montaje específico. El segundo sistema produjo el mismo patrón: las herramientas prefabricadas ayudaban, y las herramientas creadas por sí mismas no.

Este trabajo sugiere que, para que la IA sea útil en campos serios como las finanzas, no podemos confiar en que los modelos descubran las reglas del juego sobre la marcha. En su lugar, debemos construir sistemas donde la IA tenga acceso a métodos fiables y verificados por humanos para realizar el trabajo duro. El estudio concluye que el futuro de la IA en la gestión de inversiones no reside únicamente en modelos más inteligentes, sino en sistemas mejor diseñados que combinen esos modelos con habilidades fiables y reutilizables. Los investigadores han puesto sus pruebas y herramientas a disposición de otros, con la esperanza de ayudar al campo a avanzar centrándose en cómo equipar a los agentes de IA con los recursos adecuados para resolver problemas del mundo real.