Debiasing LLMs by Fine-tuning

O artigo propõe um método de baixo custo e generalizável para reduzir o viés de extrapolação em grandes modelos de linguagem, utilizando o ajuste fino supervisionado com LoRA em conjuntos de dados de previsões racionais, o que demonstra eficácia tanto em experimentos controlados quanto na previsão de retornos de ações.

O essencial

Imagine que você tem um gênio da lâmpada muito inteligente, que leu quase todos os livros, notícias e relatórios financeiros do mundo. Esse gênio é o que chamamos de Modelo de Linguagem Grande (LLM). Ele é incrível para conversar, escrever poemas e resumir textos.

Mas, quando você pede a ele para prever o futuro (como "quanto vai subir a ação da Apple mês que vem?"), ele começa a cometer um erro estranho e repetitivo.

O Problema: O "Efeito Mania"

O papel que você leu diz que esse gênio tem um vício: ele é obcecado pelo que aconteceu agora.

• A Analogia do Espelho: Imagine que o gênio olha para o espelho e vê que você está sorrindo. Ele acha que você vai sorrir para sempre. Se você chora, ele acha que você vai chorar para sempre. Ele não entende que a vida oscila, que depois da chuva vem o sol, e que o que é temporário não dura para sempre.
• Na prática: Se uma ação subiu muito ontem, o gênio acha que vai subir muito amanhã também. Se caiu, ele acha que vai desabar. Ele "extrapola" a tendência recente, ignorando a realidade de que os mercados tendem a se corrigir (voltar à média).

Os pesquisadores tentaram consertar isso apenas pedindo educadamente para o gênio: "Por favor, seja racional e não olhe só para o ontem".
Resultado: Não funcionou. O gênio continuou fazendo a mesma coisa. Por quê? Porque o problema não está na forma como você pede, mas sim na memória dele. Ele aprendeu esse comportamento viciado enquanto lia milhões de notícias financeiras onde as pessoas sempre diziam "o mercado vai subir para sempre" ou "vai desabar". Essa ideia está "queimada" no cérebro dele.

A Solução: O "Treinamento de Reabilitação" (Fine-tuning)

Os autores do paper (Gao, Jiang e Yan) tiveram uma ideia brilhante: em vez de apenas conversar com o gênio, vamos reeducá-lo.

Eles usaram uma técnica chamada LoRA (Adaptação de Baixo Rango). Pense nisso assim:

1. O Cérebro Gigante: O gênio tem um cérebro gigante com 32 bilhões de conexões (parâmetros). Reescrever tudo seria como tentar reconstruir um hospital inteiro apenas para corrigir a sala de emergência. Custaria milhões e poderia fazer o gênio esquecer como falar português ou escrever poemas.
2. O Adesivo Mágico (LoRA): Em vez de reconstruir o cérebro, eles colaram um pequeno "adesivo" inteligente em cima dele. Esse adesivo é pequeno, barato e fácil de treinar.
3. O Processo: Eles mostraram para o gênio milhares de exemplos de perguntas e respostas corretas (baseadas na matemática racional, não no sentimento humano).
   • Exemplo: "A ação subiu 5% ontem. O que vai acontecer amanhã?"
   • Resposta do gênio antigo: "Vai subir 5% também!" (Errado).
   • Resposta do adesivo (treinamento): "Na verdade, estatisticamente, ela tende a voltar um pouco. A resposta correta é: vai subir 0,5% ou cair um pouco."

O gênio aprendeu a usar esse "adesivo" para ajustar suas respostas. Ele não esqueceu como falar ou escrever; ele apenas aprendeu a não ser tão impulsivo quando prevê o futuro.

Os Resultados: O Genio Virou um Analista Racional

Depois desse "treinamento de reabilitação", eles testaram o gênio novamente em duas situações:

1. Experimento Controlado: Eles deram dados de um jogo de números e pediram previsões. O gênio antigo errava muito, apostando que a tendência continuaria. O gênio treinado parou de errar e começou a prever com precisão, entendendo que as coisas oscilam.
2. Mercado de Ações Real: Eles pediram para prever o retorno de ações da S&P 500.
   • Antes: O gênio dizia: "Se subiu, vai subir mais".
   • Depois: O gênio disse: "Se subiu muito, provavelmente vai corrigir e cair um pouco".
   • O Milagre: O modelo treinado aprendeu a realidade do mercado: quando algo sobe muito rápido, geralmente ele volta (reversão à média). Ele deixou de ser um "otimista cego" e virou um "analista racional".

Por que isso importa para você?

Imagine que no futuro, você vai usar um robô consultor financeiro para investir sua aposentadoria. Se esse robô for um gênio "viciado" em tendências, ele vai comprar ações que já subiram muito (no topo) e vender as que caíram (no fundo), fazendo você perder dinheiro.

Este paper mostra que podemos consertar esse robô de forma barata e eficiente. Não precisamos criar um novo robô do zero; apenas damos a ele um "treinamento extra" para que ele pare de seguir a mania e comece a pensar como um investidor inteligente.

Resumo da Ópera:
Os robôs inteligentes estão aprendendo com a gente, e às vezes aprendem nossos defeitos (como achar que o que é bom hoje será bom para sempre). Os autores criaram um "remédio" (o treinamento LoRA) que limpa esse vício, transformando um robô impulsivo em um consultor financeiro racional e confiável.

Resumo técnico

1. O Problema: Viés de Extrapolacão em LLMs

O artigo identifica que os Grandes Modelos de Linguagem (LLMs) exibem um viés sistemático de extrapolação ao fazer previsões baseadas em dados experimentais e do mundo real. Especificamente, os modelos tendem a dar peso excessivo a tendências recentes (como retornos de ações ou séries temporais), falhando em reconhecer a reversão à média.

• Limitação das Abordagens Atuais: O estudo demonstra que métodos baseados em prompting (instruções textuais para forçar o raciocínio racional) são ineficazes para corrigir esse viés. Isso sugere que o viés não é apenas uma questão de como a pergunta é formulada, mas está codificado nas representações internas e nos parâmetros do modelo, aprendidos durante o pré-treinamento em grandes corpora de texto financeiro (onde a linguagem de extrapolação é pervasiva).
• Consequência: Para que agentes de IA sejam confiáveis em decisões financeiras autônomas (como robo-advisors), é necessário corrigir esses vieses comportamentais na raiz, e não apenas na interface de interação.

2. Metodologia: Ajuste Fino Supervisionado (SFT) com LoRA

Os autores propõem uma intervenção direta no nível dos parâmetros do modelo através de um processo de Ajuste Fino Supervisionado (SFT), utilizando a técnica de Adaptação de Baixo RANK (LoRA).

• Arquitetura do Modelo: O estudo utiliza o Qwen3-32B (um modelo de código aberto com 32 bilhões de parâmetros). Modelos de código aberto são essenciais aqui, pois permitem a modificação dos pesos internos, ao contrário de modelos proprietários acessíveis apenas via API.
• Por que LoRA? O fine-tuning completo de um modelo de 32B parâmetros é computacionalmente proibitivo e arriscado (pode causar "esquecimento catastrófico" das capacidades gerais de linguagem). O LoRA resolve isso:
  • Congela os pesos originais pré-treinados.
  • Adiciona camadas paralelas de baixa dimensão (matrizes de projeção $A$ e $B$) que são as únicas atualizadas durante o treinamento.
  • Isso permite corrigir o comportamento de previsão específico sem degradar a compreensão geral da linguagem, com custo computacional reduzido (menos de 1% dos parâmetros totais).
• Construção do Dataset de Instrução:
  • Criam-se pares de (prompt, resposta) onde o prompt apresenta um histórico de dados (ex: retornos de ações) e a resposta-alvo codifica uma previsão de benchmark racional (baseada em expectativas racionais ou retornos realizados futuros).
  • O objetivo é ensinar o modelo a mapear a informação observada para uma previsão disciplinada, substituindo o padrão de extrapolação.
• Separação Rigorosa de Dados:
  • Treino: Dados de pares instrução-resposta para aprender a correção.
  • Validação: Para monitorar a generalização e definir o critério de parada (early stopping).
  • Teste: Um conjunto de dados totalmente separado, nunca visto durante o treino, usado para avaliar a eficácia da remoção do viés out-of-sample.

3. Principais Contribuições

1. Intervenção Paramétrica vs. Prompting: Demonstra empiricamente que corrigir vieses cognitivos em LLMs exige intervenção nos parâmetros do modelo, superando a limitação das abordagens baseadas apenas em prompting.
2. Eficiência e Generalização: Apresenta um método de baixo custo (via LoRA) e generalizável para alinhar o comportamento de LLMs com benchmarks racionais em diversos contextos econômicos.
3. Validação em Dois Cenários: O framework é testado e validado tanto em ambientes experimentais controlados quanto em dados financeiros reais do mercado de ações.

4. Resultados Empíricos

O estudo valida o modelo ajustado em dois cenários distintos:

A. Experimentos Controlados (Séries Temporais AR(1))

• Contexto: Replicação de um experimento de Afrouzi et al. (2023) onde participantes (neste caso, o LLM) fazem previsões sobre processos AR(1) com diferentes níveis de persistência ($\rho$).
• Resultado Baseline (Pré-treinado): O LLM exibiu forte reação excessiva (overreaction). O coeficiente de regressão de erros de previsão sobre revisões de previsão ($\hat{b}$) foi negativo e significativo em todos os níveis de persistência (ex: $\hat{b} = -0.456$ para $\rho=0.0$), indicando que o modelo superestima a persistência de choques transitórios.
• Resultado Pós-Ajuste (Fine-tuned): Após o SFT, o viés de reação excessiva tornou-se estatisticamente insignificante. Os coeficientes variaram de -0.073 a -0.027, não diferindo de zero nos níveis de confiança convencionais. O modelo aprendeu a não reagir excessivamente a tendências transitórias.

B. Previsão de Retornos de Ações (Cross-Sectional)

• Contexto: Previsão de retornos mensais de ações do S&P 500, seguindo a lógica de Da, Huang, e Jin (2021) e Chen et al. (2024).
• Resultado Baseline: O modelo pré-treinado mostrou uma forte carga positiva nos retornos passados recentes (coeficiente de 0.394 para o mês anterior), confirmando o viés de extrapolação.
• Resultado Pós-Ajuste: O modelo ajustado inverteu o padrão. Os coeficientes em todos os lags de retornos tornaram-se negativos (ex: -0.120 para o mês anterior).
• Interpretação: O modelo internalizou o padrão de reversão fraca (weak mean reversion) dos retornos de ações no curto prazo. Em vez de extrapolar a tendência recente, o modelo agora prevê que os vencedores recentes tendem a sofrer reversões, alinhando-se ao processo gerador de retornos real.

5. Significado e Implicações

• Viabilidade para Aplicações Financeiras: O estudo oferece uma solução prática para o uso responsável de agentes de IA em finanças. Um agente que extrapola tendências pode amplificar vieses comportamentais em vez de mitigá-los (como em robo-advisors ou avaliação de risco de crédito).
• Custo-Benefício: O método é computacionalmente barato (custo de algumas centenas de dólares em nuvem comercial) comparado ao custo de pré-treinar um modelo do zero, tornando a "desviabilização" (debiasing) acessível.
• Futuro da IA Econômica: Estabelece que os vieses em LLMs não são defeitos irreversíveis da arquitetura, mas regularidades aprendidas que podem ser corrigidas através de treinamento supervisionado direcionado, abrindo caminho para agentes autônomos mais robustos e racionais em economia e finanças.