Relational Probing: LM-to-Graph Adaptation for Financial Prediction

1. O Problema

A previsão de tendências do mercado de ações não depende apenas do momentum individual de uma ação, mas também das relações inter-empresariais. Embora existam métodos para construir gráficos relacionais baseados em notícias, as abordagens atuais apresentam limitações significativas:

• Custo e Latência: Pipelines baseadas em prompting (instruções) dependem de decodificação autoregressiva para gerar texto estruturado (como JSON), o que é lento e custoso.
• Desacoplamento: A construção do gráfico é frequentemente tratada como uma etapa separada da otimização da tarefa final (previsão de ações), criando um desalinhamento entre a extração de relações e o objetivo de previsão.
• Fragilidade: Modelos de linguagem (LLMs) podem falhar ao seguir formatos estritos sob restrições hierárquicas, gerando erros de parsing.
• Definição de SLMs: Falta uma definição operacional padronizada para "Small Language Models" (SLMs) em contextos de treinamento end-to-end com recursos limitados.

2. Metodologia: Relational Probing

Os autores propõem o Relational Probing, um framework end-to-end que substitui a cabeça padrão de linguagem (LM head) por uma Cabeça de Relação (Relation Head - RH). O objetivo é induzir um gráfico relacional diretamente a partir dos estados ocultos do modelo de linguagem, sem gerar texto intermediário.

O pipeline funciona da seguinte forma:

1. Codificação de Notícias: Um modelo de linguagem (backbone) codifica artigos de notícias para produzir representações de tokens contextuais ($H$).
2. Indução de Relação (Relation Head):
   • Em vez de gerar texto, a RH mapeia os estados ocultos para matrizes de adjacência.
   • Utiliza um mecanismo de atenção (dot-product scaled) onde os embeddings aprendíveis dos tickers (ações) atendem aos estados dos tokens da notícia.
   • Aplica uma projeção linear e normalização para estabilizar a otimização.
   • Calcula interações pareadas entre tickers usando um mapa bilinear, resultando em uma matriz de atributos de aresta ($I$).
3. Construção do Gráfico Diário: As evidências de múltiplos artigos de um mesmo dia são agregadas e normalizadas. Um operador de limiarização ($\tau$) é aplicado para criar uma matriz de adjacência esparsa ($A$) e pesos de aresta ($W$), formando o gráfico $G_t$.
4. Previsão Downstream (GAT): Um Graph Attention Network (GAT) utiliza o gráfico induzido e características de nós (codificadas de dados históricos de negociação via LSTM) para prever a tendência da ação (alta, baixa ou neutra).
5. Treinamento Conjunto: A RH e o GAT são treinados juntos. Os gradientes da perda de previsão financeira retropropagam através do GAT e da RH até o modelo de linguagem, alinhando a indução de relações diretamente com o objetivo final.

Definição Operacional de SLMs:
O artigo define SLMs como modelos que podem ser fine-tuned end-to-end (juntamente com a RH e o modelo de tarefa) em uma única GPU de 24GB, sob orçamentos fixos de batch size e comprimento de sequência.

3. Contribuições Principais

• Generalização do Linear Probing: Introduz o "Relational Probing", onde uma cabeça de relação aprendível converte estados ocultos em gráficos relacionais, alinhando a saída à estrutura alvo sem decodificação restrita.
• Treinamento Conjunto: A cabeça de relação é treinada conjuntamente para produzir objetivos estruturados em gráfico que transferem mais eficazmente para tarefas downstream.
• Definição e Benchmark de SLMs: Fornece uma definição prática de SLMs para reprodutibilidade e compara modelos da família Qwen3 (0.6B, 1.7B e 4B) em um cenário controlado de GPU única.
• Eficiência: Elimina o processo propenso a erros de prompt $\to$ parsing de texto estruturado $\to$ construção de gráfico, reduzindo a latência e o esforço manual.

4. Resultados e Análise

Os experimentos foram realizados no conjunto de dados de notícias financeiras (Niu et al., 2024) com modelos Qwen3 como backbones.

• Desempenho Geral: O Relational Probing superou consistentemente a linha de base baseada em co-ocorrência (método tradicional que conecta ações mencionadas no mesmo texto) em todas as métricas (Acurácia, Macro F1, MCC e AUC).
  • Exemplo: O Qwen3-0.6B melhorou o Macro F1 de 0.2831 (co-ocorrência) para 0.3171.
• Escalabilidade: O desempenho aumentou com o tamanho do modelo (0.6B $\to$ 1.7B $\to$ 4B), embora com retornos decrescentes. O Qwen3-4B alcançou a melhor pontuação global (Acurácia: 0.5705, Macro F1: 0.3272).
• Estudo de Ablação (Arquitetura da Cabeça):
  • A abordagem de "Full" (atenção completa entre notícias e tickers) superou significativamente as abordagens de "Pooling" (média simples) e "Limited" (atenção restrita apenas a tickers mencionados).
  • Isso demonstra que a fusão semântica completa é necessária para capturar relações contextuais que vão além da mera menção explícita.
• Estados Ocultos: O uso de estados ocultos apenas da sequência de entrada (Input-only) foi mais eficiente e eficaz do que incluir tokens gerados pelo modelo (Input+Gen), que aumentou o custo computacional sem ganhos de desempenho.

5. Significado e Conclusão

O trabalho demonstra que é possível extrair estruturas relacionais complexas diretamente dos espaços latentes de modelos de linguagem pequenos, integrando-as perfeitamente em pipelines de previsão financeira.

• Impacto Prático: Oferece uma alternativa de baixo custo e baixa latência aos métodos baseados em prompting, tornando viável a extração de relações em tempo real para mercados dinâmicos.
• Qualidade do Gráfico: Os gráficos induzidos pelo método são mais limpos e semanticamente fundamentados, reduzindo o ruído de co-ocorrências espúrias.
• Reprodutibilidade: A definição padronizada de SLMs e o uso de uma família de modelos específica ajudam a estabelecer benchmarks mais justos para futuras pesquisas em adaptação de modelos para tarefas estruturadas.

Em suma, o Relational Probing valida que a indução direta de estrutura a partir de representações contínuas, alinhada com a tarefa final, é superior às abordagens de geração de texto estruturado para aplicações financeiras de alta frequência.