Learning to Aggregate Zero-Shot LLM Agents for Corporate Disclosure Classification

1. Problema e Motivação

O artigo aborda o desafio de classificar o sentimento em divulgações corporativas (como relatórios de lucros e comunicados à imprensa) para prever a direção dos retornos das ações no dia seguinte.

• Limitação dos LLMs Zero-Shot: Embora os Grandes Modelos de Linguagem (LLMs) possam analisar textos sem fine-tuning (ajuste fino específico), suas previsões são frequentemente instáveis. Elas variam dependendo do prompt, do estilo de raciocínio e da família do modelo.
• Complexidade do Texto Financeiro: As divulgações corporativas muitas vezes contêm sinais mistos (ex.: lucros atuais fortes, mas orientações futuras fracas ou riscos legais elevados). Um único prompt pode superestimar um aspecto e ignorar outro, levando a julgamentos desequilibrados.
• Questão Central: A divergência entre múltiplos agentes zero-shot pode ser tratada como uma característica útil (sinal complementar) em vez de uma fraqueza, e a agregação supervisionada pode transformar esse desacordo em um sinal de classificação mais forte?

2. Metodologia

O autor propõe um framework multi-agente leve que não requer o ajuste fino dos modelos base, focando apenas na camada de agregação.

A. Arquitetura Multi-Agente

O sistema utiliza três agentes zero-shot independentes que leem a mesma divulgação, mas com prompts especializados em diferentes lentes financeiras:

1. Agente de Desempenho (Performance): Foca em resultados operacionais realizados (lucros, receitas, margens, custos).
2. Agente de Orientação (Guidance): Foca em orientações futuras, perspectivas da gestão e revisões de expectativas.
3. Agente de Risco (Risk): Foca em incerteza, litígios, regulamentação, liquidez e riscos de baixa (downside).

Cada agente gera uma tupla de saída:

• Rótulo de Sentimento: Positivo (+1), Neutro (0) ou Negativo (-1).
• Pontuação de Confiança: Um número entre 0 e 1.
• Racional: Uma breve justificativa de uma frase.

Modelos Utilizados: Uma mistura de modelos de diferentes tamanhos e famílias (Qwen2.5-3B, Llama-3.2-3B, Qwen2.5-72B) para garantir diversidade.

B. Agregação e Classificação

Em vez de usar uma regra simples (como votação majoritária), o sistema extrai as saídas dos três agentes e as converte em um vetor de características ($z(x)$) que inclui:

• Os três rótulos e pontuações de confiança.
• O rótulo majoritário e contagens de concordância.
• O "gap" de confiança entre os agentes mais confiantes.
• Interações que identificam qual agente (desempenho, orientação ou risco) é o mais confiante.

Um classificador meta-logístico (regressão logística com regularização L2) é treinado para aprender a ponderar esses sinais e prever a direção do retorno da ação no dia seguinte. Os agentes base permanecem congelados (frozen).

C. Dados e Avaliação

• Conjunto de Dados: 18.420 divulgações corporativas dos EUA (empresas Nasdaq e S&P 500) entre 2018 e 2024.
• Alvo (Target): Direção do retorno da ação no dia seguinte (binário: >0 ou $\le$0).
• Divisão: 60% Treino, 20% Desenvolvimento, 20% Teste (separação cronológica para evitar vazamento de dados).
• Baselines Comparadas:
  • Agentes individuais.
  • Votação majoritária.
  • Votação ponderada por confiança.
  • FinBERT (modelo de linguagem financeira pré-treinado).

3. Resultados Principais

Os resultados demonstram que a agregação aprendida supera significativamente todas as abordagens de base.

• Desempenho Geral: O agregador treinado alcançou uma Acurácia Balanceada (Balanced Accuracy) de 0,612, superando o melhor agente individual (0,561) e o FinBERT (0,544).
• Comparação com Baselines:
  • O agregador superou a votação majoritária e a votação ponderada por confiança.
  • A votação ponderada por confiança já mostrou melhoria sobre a maioria simples, indicando que a confiança do modelo carrega informação útil.
• Análise de Cenários de Conflito:
  • Concordância Total (3-0): O agregador trouxe ganhos modestos.
  • Divisão 2-1 e Alto Conflito: O agregador apresentou ganhos substanciais. Em casos onde os agentes discordam (ex.: desempenho forte vs. risco legal), o modelo aprendeu a interpretar a estrutura do desacordo e a confiança relativa, algo que a votação majoritária não consegue fazer.
• Casos de Sucesso: Os maiores ganhos ocorreram em divulgações com sinais mistos (ex.: "Beat" nos lucros com orientação fraca, ou crescimento com riscos legais), onde a visão única de um agente falharia.

4. Contribuições Chave

1. Framework Multi-Agente Compacto: Introdução de um setup zero-shot eficiente para classificação de textos financeiros, utilizando perspectivas especializadas (desempenho, orientação, risco).
2. Validação da Agregação Supervisionada: Evidência empírica de que um classificador leve pode transformar a divergência entre agentes zero-shot em um sinal de mercado mais preciso do que qualquer agente isolado ou regra de votação simples.
3. Análise de Sinais Mistos: Demonstração de que a agregação é particularmente eficaz quando o texto contém sinais conflitantes, tratando o desacordo como informação estruturada e não apenas como ruído.

5. Significado e Conclusão

O trabalho sugere que, em cenários financeiros onde a anotação de dados é cara ou difícil, é possível construir sistemas robustos sem fine-tuning massivo de LLMs.

• Eficiência de Dados: O sistema é eficiente em dados, treinando apenas a camada de agregação.
• Interpretabilidade: Ao contrário de modelos "caixa-preta" complexos, o agregador logístico permite entender como diferentes sinais (confiança, desacordo) influenciam a decisão final.
• Aplicabilidade Prática: O método é viável para ambientes reais onde há abundância de texto, mas escassez de rótulos de sentimento de alta qualidade.

Limitações Notadas: O modelo depende da decomposição de sinais definida pelos prompts do pesquisador e usa retornos de um dia como alvo, o que pode não capturar todos os fatores de mercado. A calibração da confiança do modelo também varia entre diferentes arquiteturas de LLM.

Em suma, o artigo demonstra que a diversidade de perspectivas em agentes zero-shot, quando combinada com uma agregação aprendida, supera métodos tradicionais e modelos de linguagem financeira pré-treinados na previsão de reações de mercado a divulgações corporativas complexas.