🤖 machine learning

Hindsight Preference Optimization for Financial Time Series Advisory

O artigo propõe o *Hindsight Preference Optimization* (HPO), um método que utiliza resultados observados retrospectivamente para treinar modelos de linguagem via DPO, permitindo que modelos menores superem modelos muito maiores na geração de aconselhamentos financeiros baseados em séries temporais.

Autores originais: Yanwei Cui, Guanghui Wang, Xing Zhang, Peiyang He, Ziyuan Li, Bing Zhu, Wei Qiu, Xusheng Wang, Zheng Yu, Anqi Xin

Publicado 2026-04-28

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Yanwei Cui, Guanghui Wang, Xing Zhang, Peiyang He, Ziyuan Li, Bing Zhu, Wei Qiu, Xusheng Wang, Zheng Yu, Anqi Xin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O "Oráculo com Memória": Como ensinar IAs a dar conselhos financeiros inteligentes

Imagine que você tem um estagiário muito esforçado, mas que sofre de um problema: ele é péssimo em prever o futuro. Toda vez que você pergunta: "O que vai acontecer com o preço do café amanhã?", ele responde apenas um número seco: "R$ 10,00".

Isso é útil? Um pouco. Mas um investidor de verdade não quer apenas um número; ele quer um conselho. Ele quer ouvir: "O preço deve subir porque houve uma geada no Brasil, mas cuidado, pois o estoque está alto, então o risco é moderado".

O artigo que acabamos de ler apresenta uma técnica chamada Hindsight Preference Optimization (HPO) — ou, em português, Otimização de Preferência por Retrospectiva.

O Problema: O "Chute de Sorte" vs. "Análise Real"

O grande desafio de treinar uma Inteligência Artificial (IA) para dar conselhos financeiros é que, no momento em que ela dá o conselho, o futuro ainda não aconteceu.

Se a IA diz "o preço vai subir" e o preço realmente sobe, como saber se ela foi uma gênia que analisou bem os gráficos ou se ela foi apenas uma sortuda que deu um chute certeiro? Se treinarmos a IA apenas para acertar o número, ela pode aprender a "chutar" e ter sorte, mas sem entender o porquê. E no mercado financeiro, sorte não é estratégia.

A Solução: O "Juiz que já viu o final do filme"

Os pesquisadores criaram um método que funciona como um professor que corrige a prova do aluno depois que o resultado do jogo já saiu.

Imagine o seguinte cenário:

A IA (o Aluno): Olha para um gráfico de velas (candlestick) e escreve três opções de conselhos diferentes.
O Resultado (o Destino): O mercado se move e o preço real aparece.
O Juiz (o Professor): Este é um modelo de IA muito poderoso que tem um "superpoder": ele sabe o que aconteceu no final. Ele olha para os três conselhos do aluno e o resultado real, e diz: "O conselho B foi o melhor, porque ele previu a queda e avisou sobre o risco, mesmo que o preço tenha subido um pouco depois. O conselho A foi apenas um chute sortudo, mas o raciocínio estava errado".

Esse "Juiz" cria um ranking de qual conselho foi mais inteligente, não apenas qual acertou o número.

A Mágica: O Aluno pequeno superando o Mestre

O que torna esse estudo incrível é o resultado. Eles pegaram um modelo de IA "pequeno" (como um estudante dedicado) e usaram esse método de "correção retrospectiva" para treiná-lo.

O resultado? O modelo pequeno (de 4 bilhões de parâmetros) acabou se tornando melhor do que o modelo gigante (de 235 bilhões de parâmetros) que serviu de base. O modelo pequeno aprendeu a não apenas "acertar o alvo", mas a explicar o caminho de forma muito mais inteligente, analisando riscos e cenários.

Em resumo:

Em vez de ensinar a IA apenas a "adivinhar o número", os pesquisadores ensinaram a IA a "pensar como um analista". Eles usam o passado (o que já aconteceu) para ensinar a IA a dar conselhos que tenham lógica, gestão de risco e bom senso, transformando um simples calculador em um verdadeiro consultor digital.

Resumo Técnico: Hindsight Preference Optimization (HPO) para Consultoria de Séries Temporais Financeiras

1. O Problema

Modelos de séries temporais tradicionais são projetados para prever números (escalares), mas tomadores de decisão no setor financeiro necessitam de consultoria (advisory). Isso envolve não apenas a direção do preço, mas também o raciocínio por trás da previsão, a gestão de riscos e sugestões de ações baseadas em cenários.

O desafio fundamental ao treinar Modelos de Linguagem de Grande Escala (LLMs) para essa tarefa é que a qualidade da consultoria depende de resultados que são desconhecidos no momento da previsão. Métricas tradicionais de erro (como MSE ou MAE) conseguem avaliar se o número previsto está correto, mas falham em avaliar se o raciocínio lógico, a calibração de risco e a análise de cenários foram de alta qualidade ou se foram apenas "acertos por sorte".

2. Metodologia

Os autores propõem o Hindsight Preference Optimization (HPO), um framework que une dois conceitos de Aprendizado por Reforço (RL): o uso de sinais de treinamento retrospectivos (informação disponível apenas após o evento) e o alinhamento de preferências (DPO).

O processo é dividido em duas etapas principais:

Etapa 1: Supervised Fine-Tuning (SFT): Utiliza-se um modelo "professor" de grande escala (VLM de 235B parâmetros) para gerar candidatos de consultoria. Um modelo "aluno" menor (4B parâmetros) é treinado para mimetizar os melhores exemplos selecionados retrospectivamente.
Etapa 2: Hindsight DPO (Direct Preference Optimization):
1. O modelo aluno gera múltiplos candidatos de consultoria para um gráfico financeiro.
2. Um LLM-as-a-Judge (juiz de IA) recebe esses candidatos junto com o resultado real (outcome) que ocorreu no futuro (o "hindsight").
3. O juiz classifica os candidatos não apenas pela precisão numérica, mas pela qualidade do raciocínio, calibração de cenários e gestão de risco.
4. Essas classificações geram pares de preferência ( $y^+ \succ y^-$ ) que são usados para otimizar o modelo via DPO, penalizando raciocínios falhos e recompensando análises que anteciparam corretamente a dinâmica do mercado.

3. Principais Contribuições

Framework HPO: Uma nova abordagem para alinhar modelos preditivos usando feedback de IA fundamentado em resultados observados, eliminando a necessidade de anotação humana manual.
Avaliação Multidimensional: Capacidade de avaliar dimensões qualitativas (raciocínio, risco, cenários) que métricas escalares de erro não conseguem capturar.
Eficiência de Parâmetros: Demonstração de que um modelo significativamente menor pode superar um modelo gigante através de um alinhamento de preferências mais inteligente e direcionado.

4. Resultados

O experimento foi realizado com dados do S&P 500 (2013–2017) utilizando modelos de Visão-Linguagem (VLM) para interpretar gráficos de candlestick.

Superação do Professor: O modelo aluno de 4B parâmetros, após o HPO, superou o modelo professor de 235B parâmetros tanto em precisão direcional quanto em qualidade de consultoria.
Métricas de Precisão: O modelo com HPO atingiu 57,9% de acurácia direcional e 27,1% de acurácia de cenário, superando significativamente a versão apenas com SFT e o modelo zero-shot.
Preferência de Usuário (via LLM): Em testes de comparação direta (win rate), o modelo treinado com HPO venceu o modelo de 235B parâmetros em 56,8% das vezes e superou o Claude Sonnet 3.7 em avaliações de qualidade de aconselhamento.

5. Significância

Este trabalho é significativo por mudar o paradigma do treinamento de modelos de séries temporais: de "prever o próximo valor" para "gerar análises estruturadas e fundamentadas". O framework HPO é aplicável a qualquer domínio preditivo onde o resultado final é eventualmente conhecido (ex: meteorologia, medicina, economia), permitindo que modelos menores aprendam a "pensar" e "planejar" com a sofisticação de modelos muito maiores, utilizando o passado como um professor de alta fidelidade.