Resumo Técnico: Aprendizado por Reforço para Previsão de Eventos Baseada em LLM

Definição do Problema

O artigo aborda o desafio de treinar Grandes Modelos de Linguagem (LLMs) para realizar previsão de julgamento (judgmental forecasting) — prever a probabilidade de eventos binários futuros (ex: resultados eleitorais, conflitos geopolíticos) que carecem de uma verdade fundamental imediata. Diferente de domínios verificáveis como matemática ou programação, a previsão envolve incerteza aleatória (aleatória/intrínseca), onde a "verdade fundamental" de uma instância de evento específica (ex: o resultado de um cara ou coroa resultando em cara) não reflete necessariamente a probabilidade subjacente real (ex: 50%).

A dificuldade central reside no sinal de treinamento: se um LLM é treinado para prever a probabilidade de um evento, mas é recompensado com base no resultado binário (0 ou 1), a recompensa torna-se ruidosa. Um modelo que prevê a probabilidade correta (ex: 0,5) pode ser penalizado se o evento se resolver como 0, enquanto um modelo que prevê deterministicamente 1,0 pode ser recompensado por acaso. Este artigo investiga se o Aprendizado por Reforço (RL) pode treinar LLMs para prever com precisão, apesar desse ruído, e se modelos menores podem superar modelos maiores e mais instruídos quando equipados com metodologias de treinamento e ferramentas de contexto específicas.

Metodologia

1. Fundamentação Teórica: Incerteza Aleatória

Os autores estabelecem primeiro um experimento de linha de base usando o conjunto de dados GSM8K para testar se o RL pode aprender na presença de incerteza aleatória. Eles definem três modos de treinamento:

• Regular: O modelo prevê um número (25–75) e é recompensado pela correção (simulando um cenário onde a própria probabilidade é a verdade fundamental).
• Randomizado: O número previsto pelo modelo é tratado como uma probabilidade para um ensaio de Bernoulli. A verdade fundamental é colapsada para 0 ou 1 com base em um sorteio aleatório. Isso simula a previsão do mundo real, onde apenas o resultado é conhecido, não a verdadeira probabilidade.
• Apenas Formato: O modelo não recebe recompensa de correção, apenas uma recompensa de formato.

Os resultados desta fase indicaram que o treinamento no modo "Randomizado" (baseado no resultado) é altamente sensível à sequência específica de resultados aleatórios ("lançamentos de moeda"). Na maioria dos casos, o ruído da incerteza aleatória prejudica ativamente o aprendizado em comparação com ter a probabilidade real como a verdade fundamental.

2. Pipeline de Treinamento: GRPO e Aproximação da Verdade Fundamental

A metodologia principal utiliza o Group Relative Policy Optimization (GRPO), um algoritmo de RL eficiente em termos de memória que não requer um modelo de valor (crítico) separado.

• Proxy de Verdade Fundamental: Em vez de usar resoluções de eventos binários (que sofrem de ruído aleatório), os autores utilizam preços de mercado da Polymarket como a verdade fundamental. Eles assumem que os preços de mercados de previsão de alto volume aproximam a verdadeira probabilidade aleatória de um evento dado as informações disponíveis.
• Provisão de Contexto: Para superar o corte de conhecimento (knowledge cutoff), os LLMs recebem contexto via dois métodos:
  1. Notícias Resumidas: Usando o Sonar Reasoning Pro da Perplexity para gerar resumos relevantes de eventos atuais.
  2. Ferramenta de Revisões da Wikipedia: Permitindo que o modelo consulte artigos históricos da Wikipedia em carimbos de data/hora específicos (usado para eventos já resolvidos para evitar vazamento temporal).
• Função de Recompensa: Os modelos são ajustados finamente (fine-tuned) usando Entropia Cruzada Negativa (ou erro quadrático negativo) entre a probabilidade prevista pelo modelo e o preço de mercado da Polymarket.

3. Configuração Experimental

• Modelos: O estudo realiza o ajuste fino de modelos Qwen 2.5 variando de 1,5B a 14B de parâmetros.
• Conjunto de Dados: 512 perguntas binárias de alto volume da Polymarket.
• Comparação: Os resultados são comparados com o Claude 3.5 Sonnet, um modelo maior com um corte de conhecimento mais recente.

Principais Contribuições

1. Demonstração de GRPO para Previsão: O artigo aplica com sucesso o GRPO para treinar LLMs em tarefas de previsão de julgamento, mostrando que o RL pode melhorar significativamente o desempenho da previsão mesmo na presença de incerteza aleatória, desde que um proxy confiável para a verdade fundamental seja utilizado.
2. Superioridade de Modelos Pequenos em Contexto Limitado: Um achado contraintuitivo é que um modelo de 1,5 bilhão de parâmetros (Qwen 2.5 1.5B), após o ajuste fino por GRPO, alcança um desempenho de previsão superior ao Claude 3.5 Sonnet no mesmo conjunto de dados. Isso é medido pela entropia cruzada negativa contra as probabilidades de mercado.
3. Análise de Escala e Gargalos: O estudo revela que, em configurações de "baixa informação" (resumos de contexto limitados), o tamanho do modelo não gera uma vantagem de escala pós-treinamento. Todos os modelos estagnam em níveis de desempenho semelhantes, sugerindo que a qualidade e a quantidade do contexto fornecido (os resumos) atuam como o principal gargalo, não a capacidade interna do modelo.
4. Taxonomia da Incerteza: O trabalho esclarece a distinção entre incerteza epistêmica (falta de conhecimento, redutível) e incerteza aleatória (aleatoriedade inerente, irredutível), demonstrando que o treinamento em resultados binários (aleatórios) é significativamente menos eficiente do que o treinamento em distribuições de probabilidade (epistêmicas).

Resultados

• Ganhos de Desempenho: O treinamento por GRPO melhorou a capacidade inicial de previsão dos modelos Qwen. Por exemplo, o Qwen 1.5B melhorou sua Entropia Cruzada Negativa Média (NCE) de -1,66 para -0,415.
• Comparação com Modelos Maiores: O modelo Qwen 1.5B ajustado finamente alcançou um NCE de -0,415, superando o baseline Claude 3.5 Sonnet, que pontuou -0,62 no mesmo conjunto de validação.
• Limites de Escala: Aumentar o tamanho do modelo de 1,5B para 7B não melhorou significamente o platô de desempenho final na configuração de baixa informação. Todas as variantes Qwen convergiram para pontuações NCE semelhantes (aprox. -0,3 a -0,4), indicando que a informação fornecida pela ferramenta de sumarização limitou novos ganhos.
• Modos de Falha: O artigo observa que os modelos falham consistentemente quando a ferramenta de sumarização fornece informações incorretas. Em um exemplo específico sobre um cessar-fogo entre Israel e Irã, o sumarizador afirmou incorretamente que o mercado já havia sido resolvido, levando o modelo a prever uma probabilidade de 100% para um evento que o mercado precificava em 0%.

Significância e Alegações

O artigo afirma que a previsão de julgamento é um domínio tratável para RL, distinto dos domínios perfeitamente verificáveis de matemática e código. Sua principal significância reside em demonstrar que:

• Eficiência: Uma previsão de alto desempenho pode ser alcançada com modelos pequenos (1,5B) usando GRPO, o que é computacionalmente mais barato e rápido de treinar do que modelos maiores, desde que o sinal de treinamento (preços de mercado) seja preciso.
• Dados sobre Tamanho: Em tarefas de previsão com contexto limitado, a qualidade da informação recuperada e o objetivo de treinamento (usando probabilidades de mercado vs. resultados binários) são determinantes mais críticos para o sucesso do que a escala do modelo.
• Viabilidade Prática: O pipeline de treinamento é viável em hardware limitado (ex: uma única H100 por 2-3 horas para modelos $\le$7B), tornando as capacidades avançadas de previsão acessíveis sem necessidade de clusters de computação massivos.

Os autores concluem que, embora modelos maiores geralmente superem os menores "fora da caixa", o ajuste fino estratégico com GRPO e proxies de verdade fundamental de alta qualidade pode reverter essa hierarquia em regimes específicos de informação limitada. Eles também destacam que trabalhos futuros devem abordar o gargalo da recuperação de informação, pois o desempenho atual é limitado pela precisão dos resumos de contexto fornecidos ao modelo.