FinSkillBench: Evaluating AI Agents and Domain Skills for Investment Management

No mundo de alto risco da gestão de investimentos, o sucesso depende de mais do que apenas ter uma boa ideia sobre quais ações comprar. Requer um processo rigoroso e passo a passo de coleta de dados precisos, realização de cálculos complexos e adesão a regras estritas que regem como o dinheiro pode ser movimentado. Imagine um analista financeiro que deve observar uma carteira de trinta empresas diferentes, calcular como elas poderiam reagir a um colapso repentino do mercado e, em seguida, reorganizar as participações para permanecer dentro dos limites legais, tudo isso utilizando apenas as informações disponíveis em um dia específico no passado. Esta é a realidade diária para profissionais humanos, mas é uma nova fronteira para a inteligência artificial. Embora os sistemas de IA modernos sejam excelentes em escrever textos e responder a perguntas gerais, eles frequentemente têm dificuldade quando solicitados a realizar essas tarefas exatas e disciplinadas. Eles podem entender o conceito de risco, mas frequentemente falham em executar as etapas matemáticas específicas necessárias para medi-lo com precisão ou em seguir as instruções detalhadas necessárias para reequilibrar uma carteira sem erros.

Uma equipe de pesquisadores criou uma nova maneira de testar se os agentes de IA podem realmente lidar com esse tipo de trabalho. Eles construíram um campo de testes especializado chamado FinSkillBench, que apresenta aos sistemas de IA 2.603 cenários de investimento distintos. Esses cenários abrangem três áreas principais: construção de uma carteira de ações, gestão dos riscos associados a essas ações e análise da saúde financeira de empresas individuais. Os pesquisadores não apenas pediram para a IA adivinhar a resposta; eles forneceram uma data específica, um conjunto de dados brutos e um objetivo claro, e então verificaram o resultado contra uma solução correta conhecida, gerada por um software financeiro padrão. O objetivo era ver se a IA poderia agir como um analista profissional, recuperando os dados certos no momento certo e usando as ferramentas certas para realizar o trabalho.

O estudo testou três maneiras diferentes de ajudar a IA. No primeiro cenário, a IA tinha que resolver os problemas inteiramente sozinha, sem ajuda. No segundo, os pesquisadores forneceram à IA um conjunto de ferramentas "curadas" e guias escritos. Estes não eram apenas documentos aleatórios; eram instruções e scripts de computador cuidadosamente preparados que mostravam à IA exatamente como realizar os cálculos necessários e como usar as ferramentas disponíveis corretamente. No terceiro cenário, a IA foi solicitada a escrever suas próprias instruções e ferramentas para si mesma antes de tentar a tarefa, essencialmente tentando ensinar a si mesma como fazer o trabalho sobre a marcha.

Os resultados foram claros e decisivos. Quando a IA recebeu os guias e ferramentas pré-fabricados e escritos por humanos, seu desempenho melhorou dramaticamente. Em todos os testes, a pontuação média desses agentes de IA saltou de aproximadamente 37 por cento para 53 por cento. A melhoria foi mais significativa nas tarefas que exigiam cálculos intensos, como construir uma carteia de ações otimizada ou identificar riscos ocultos. Nessas áreas, a IA com as ferramentas curadas foi capaz de resolver problemas que anteriormente não conseguia resolver de forma alguma. Os pesquisadores descobriram que ter acesso a esses procedimentos confiáveis e passo a passo era tão importante quanto a escolha do próprio modelo de IA. Um modelo de IA poderoso sem as ferramentas certas frequentemente falhava, enquanto um modelo capaz com as ferramentas certas tinha sucesso.

Em contraste, a ideia de a IA ensinar a si mesma no momento não funcionou. Quando os agentes foram forçados a escrever seus próprios guias e ferramentas antes de resolver os problemas, seu desempenho quase não mudou. Eles gastaram muito tempo e poder de computação escrevendo essas instruções, mas as instruções que criaram eram frequentemente falhas ou incompletas. O estudo mostrou que, em uma única tentativa, uma IA não consegue inventar de forma confiável os procedimentos complexos e precisos necessários para a análise financeira. Não basta que a IA saiba como escrever código; ela precisa receber um código que já tenha sido testado e verificado. Os pesquisadores também realizaram os mesmos testes usando um sistema de IA diferente para garantir que suas descobertas não fossem apenas um acaso de uma configuração específica. O segundo sistema produziu o mesmo padrão: ferramentas pré-fabricadas ajudavam, e ferramentas criadas por si mesmas não ajudavam.

Este trabalho sugere que, para a IA ser útil em campos sérios como as finanças, não podemos confiar nos modelos para descobrirem as regras do jogo conforme avançam. Em vez disso, devemos construir sistemas onde a IA tenha acesso a métodos confiáveis e verificados por humanos para realizar o trabalho difícil. O estudo conclui que o futuro da IA na gestão de investimentos não reside apenas em modelos mais inteligentes, mas em sistemas melhor desenhados que combinem esses modelos com habilidades reutilizáveis e confiáveis. Os pesquisadores disponibilizaram seus testes e ferramentas para outros, esperando ajudar o campo a avançar ao focar em como os agentes de IA podem ser equipados com os recursos certos para resolver problemas do mundo real.