FinAnchor: Aligned Multi-Model Representations for Financial Prediction

Resumo Técnico: FinAnchor

1. O Problema

A previsão financeira baseada em documentos longos (como transcrições de conferências de resultados, divulgações regulatórias e comunicações de bancos centrais) enfrenta desafios significativos:

• Sinais Esparsos e Ruídos: Os sinais acionáveis são frequentemente sutis e obscurecidos por grandes quantidades de texto padrão ("boilerplate") e padrões de discussão recorrentes.
• Instabilidade de Modelos: Diferentes Grandes Modelos de Linguagem (LLMs) possuem vieses indutivos distintos. Ao analisar o mesmo documento, eles podem destacar diferentes trechos de texto e gerar racionalizações heterogêneas, levando a previsões inconsistentes.
• Incompatibilidade de Espaços de Características: Os embeddings gerados por diferentes LLMs residem em espaços vetoriais heterogêneos, tornando a agregação direta (como uma média simples) mal definida e ineficaz sem um processo de alinhamento.

O objetivo é criar um método que combine sistematicamente essas representações heterogêneas para extrair sinais complementares, melhorando a robustez e a generalização temporal, sem a necessidade de fine-tuning (ajuste fino) dos modelos base.

2. Metodologia: FinAnchor

O FinAnchor (Representações Ancoradas Financeiras) é um framework leve que integra embeddings de múltiplos LLMs congelados (frozen) em um espaço unificado. O processo consiste em três etapas principais:

1. Seleção de Espaço Âncora:

   • Escolhe-se um LLM específico como "âncora" (ex: Gemma 2-9B).
   • Os outros LLMs atuam como fontes.

2. Alinhamento Linear (Ridge Regression):

   • Para cada modelo fonte $m$, aprende-se um mapa linear $W_m$ que projeta seus embeddings no espaço da âncora.
   • O alinhamento é feito apenas na divisão de treinamento, utilizando regressão Ridge (sem intercepto) para minimizar a diferença entre os embeddings da fonte e os da âncora:
     $$W_m = \arg\min_W \| \tilde{X}^{(m)}W - \tilde{X}^{(a)} \|_F^2 + \alpha \|W\|_F^2$$
   • Isso garante que os espaços de características heterogêneos sejam mapeados para um sistema de coordenadas comum.

3. Agregação e Leitura Leve (Readout):

   • Após o alinhamento, as representações são agregadas (ex: média aritmética no espaço da âncora).
   • Um classificador leve (MLP) é treinado sobre essas representações alinhadas para a tarefa final de previsão.
   • Vantagem: Não requer ajuste fino dos LLMs base, mantendo o custo computacional baixo e a auditabilidade.

3. Contribuições Principais

• Framework de Alinhamento Leve: Introduz um método para combinar representações de LLMs congelados em um espaço compartilhado sem fine-tuning, resolvendo a incompatibilidade geométrica entre modelos.
• Avaliação Sistemática: Realiza testes em múltiplas tarefas de previsão financeira com divisões baseadas em tempo (time-based splits), garantindo uma avaliação realista de generalização temporal (out-of-time).
• Análise de Interpretabilidade: Vai além das métricas agregadas, demonstrando como e por que o método funciona através de:
  • Análise de sobreposição de erros (mostrando que modelos cometem erros diferentes).
  • Transições de decisão (mostrando correções de falsos positivos).
  • Mudanças de confiança (confirmação de que o modelo aumenta a confiança no rótulo verdadeiro).
  • Estudos de caso com reponderação de evidências textuais.

4. Resultados Experimentais

O FinAnchor foi avaliado em cinco tarefas e conjuntos de dados:

1. Previsão de Surpresa de Resultados (Transcrições de Conferências, 10-Q, Notícias Nasdaq).
2. Previsão de Movimento de Ações (Baseado em transcrições de resultados).
3. Classificação de Posicionamento do FOMC (Comunicações do Comitê Federal de Mercado Aberto).

Desempenho:

• O FinAnchor superou consistentemente todas as linhas de base, incluindo:
  • Zero-shot e Few-shot prompting de LLMs.
  • Modelos tradicionais de documentos longos (Longformer, Hierarchical FinBERT).
  • Representações de LLMs individuais (Llama 3.1, Qwen3, Gemma2).
• Métricas: Alcançou a maior precisão (Accuracy) e F1-score em todos os cinco conjuntos de dados. Por exemplo, na previsão de movimento de ações, alcançou 0.599 de Accuracy e 0.693 de F1, superando o melhor modelo único (Gemma2-9B) que obteve 0.570/0.665.

Análise de Alinhamento:

• Sobreposição de Erros: Os modelos base cometem erros diferentes (sobreposição de erro de ~0.78-0.84), criando espaço para correção mútua.
• Correção de Falsos Positivos: O FinAnchor demonstrou uma capacidade significativa de converter Falsos Positivos (previsão de alta incorreta) em Verdadeiros Negativos, o que é crucial para controle de risco financeiro.
• Qualidade do Alinhamento: A regressão linear alcançou altos valores de $R^2$ (0.97-0.98), indicando que as estruturas geométricas dos diferentes LLMs são compatíveis e podem ser mapeadas linearmente.

5. Significância e Impacto

• Robustez Operacional: O método oferece uma solução prática para a instabilidade inerente ao uso de LLMs em finanças, onde a consistência é vital. Ao combinar múltiplas visões, o sistema reduz o risco de decisões baseadas em ruídos específicos de um único modelo.
• Eficiência: Ao evitar o fine-tuning de modelos grandes, o FinAnchor reduz drasticamente os custos de treinamento e inferência, permitindo a reutilização sistemática de modelos pré-treinados existentes.
• Interpretabilidade Prática: O estudo de caso mostra que o alinhamento não é apenas uma média numérica, mas uma reponderação estruturada de evidências. O modelo consegue amplificar sinais financeiros sutis (como compressão de margens ou pressões de custos) que um modelo individual poderia ignorar, levando a decisões mais alinhadas com a realidade fundamental do mercado.

Em resumo, o FinAnchor demonstra que alinhar representações heterogêneas de LLMs em um espaço comum é uma estratégia superior para previsão financeira, transformando a diversidade de modelos de uma fonte de instabilidade em um ativo para a extração de sinais robustos.