Résumé technique : Apprentissage par renforcement pour la prévision d'événements basée sur les LLM

Énoncé du problème

Le document traite du défi consistant à entraîner des modèles de langage étendus (LLM) pour effectuer de la prévision de jugement — prédire la probabilité d'événements binaires futurs (ex. : résultats électoraux, conflits géopolitiques) qui manquent de vérité terrain immédiate. Contrairement aux domaines vérifiables comme les mathématiques ou le codage, la prévision implique une incertitude aléatoire (aléatoire intrinsèque), où la « vérité terrain » d'une instance d'événement unique (ex. : un lancer de pièce résultant en face) ne reflète pas nécessairement la véritable probabilité sous-jacente (ex. : 50 %).

La difficulté centrale réside dans le signal d'entraînement : si un LLM est entraîné pour prédire la probabilité d'un événement mais qu'il est récompensé sur la base du résultat binaire (0 ou 1), la récompense devient bruitée. Un modèle prédisant la probabilité correcte (ex. : 0,5) peut être pénalisé si l'événement se résout sur 0, tandis qu'un modèle prédisant un 1,0 déterministe pourrait être récompensé par chance. Ce document examine si l'apprentissage par renforcement (RL) peut efficacement entraîner les LLM à prévoir avec précision malgré ce bruit, et si des modèles plus petits peuvent surpasser des modèles plus grands et plus dotés de connaissances lorsqu'ils sont équipés de méthodologies d'entraînement et d'outils de contexte spécifiques.

Méthodologie

1. Fondement théorique : Incertitude aléatoire

Les auteurs établissent d'abord une expérience de base utilisant le jeu de données GSM8K pour tester si le RL peut apprendre en présence d'incertitude aléatoire. Ils définissent trois modes d'entraînement :

• Régulier : Le modèle prédit un nombre (25–75) et est récompensé pour sa justesse (simulant un scénario où la probabilité elle-même est la vérité terrain).
• Randomisé : Le nombre prédit par le modèle est traité comme une probabilité pour un essai de Bernoulli. La vérité terrain est réduite à 0 ou 1 basée sur un tirage aléatoire. Cela simule la prévision du monde réel où seul l'issue est connue, et non la véritable probabilité.
• Format uniquement : Le modèle ne reçoit aucune récompense de justesse, seulement une récompense de format.

Les résultats de cette phase ont indiqué que l'entraînement sur le mode « Randomisé » (basé sur l'issue) est hautement sensible à la séquence spécifique des résultats aléatoires (« lancers de pièces »). Dans la plupart des cas, le bruit de l'incertitude aléatoire nuit activement à l'apprentissage par rapport au fait d'avoir la véritable probabilité comme vérité terrain.

2. Pipeline d'entraînement : GRPO et approximation de la vérité terrain

La méthodologie principale utilise l'Optimisation de Politique Relative de Groupe (GRPO), un algorithme de RL économique en mémoire qui ne nécessite pas de modèle de valeur (critique) séparé.

• Proxy de vérité terrain : Au lieu d'utiliser les résolutions d'événements binaires (qui souffrent du bruit aléatoire), les auteurs utilisent les prix de marché de Polymarket comme vérité terrain. Ils supposent que les prix des marchés de prédiction à haut volume approchent la véritable probabilité aléatoire d'un événement compte tenu des informations disponibles.
• Fourniture de contexte : Pour surmonter les coupures de connaissances, les LLM sont fournis avec du contexte via deux méthodes :
  1. Actualités résumées : Utilisation de Sonar Reasoning Pro de Perplexity pour générer des résumés pertinents des événements actuels.
  2. Outil de révisions Wikipedia : Permettre au modèle d'interroger des articles Wikipedia historiques à des horodatages spécifiques (utilisé pour les événements résolus afin d'éviter la fuite temporelle).
• Fonction de récompense : Les modèles sont affinés en utilisant l'entropie croisée négative (ou l'erreur quadratique négative) entre la probabilité prédite par le modèle et le prix du marché Polymarket.

3. Configuration expérimentale

• Modèles : L'étude affine les modèles Qwen 2.5 allant de 1,5 milliard à 14 milliards de paramètres.
• Jeu de données : 512 questions binaires à haut volume provenant de Polymarket.
• Comparaison : Les résultats sont comparés à Claude 3.5 Sonnet, un modèle plus grand avec une coupure de connaissance plus récente.

Contributions clés

1. Démonstration de GRPO pour la prévision : Le document applique avec succès GRPO pour entraîner des LLM sur des tâches de prévision de jugement, montrant que le RL peut considérablement améliorer les performances de prévision même en présence d'incertitude aléatoire, à condition d'utiliser un proxy fiable pour la vérité terrain (prix du marché).
2. Supériorité des petits modèles en contexte limité : Une conclusion contre-intuitive est qu'un modèle de 1,5 milliard de paramètres (Qwen 2.5 1.5B), après un affinement par GRPO, atteint une performance de prévision supérieure à Claude 3.5 Sonnet sur le même jeu de données. Ceci est mesuré par l'entropie croisée négative par rapport aux probabilités du marché.
3. Analyse de l'échelle et des goulots d'étranglement : L'étude révèle que dans les configurations de « faible information » (résumés de contexte limités), la taille du modèle ne produit pas d'avantage d'échelle après l'entraînement. Tous les modèles plafonnent à des niveaux de performance similaires, suggérant que la qualité et la quantité du contexte fourni (les résumés) agissent comme le principal goulot d'étranglement, et non la capacité interne du modèle.
4. Taxonomie de l'incertitude : Le travail clarifie la distinction entre l'incertitude épistémique (manque de connaissance, réductible) et l'incertitude aléatoire (hasard inhérent, irréductible), démontémontrant que l'entraînement sur des issues binaires (aléatoires) est nettement moins efficace que l'entraînement sur des distributions de probabilité (épistémiques).

Résultats

• Gains de performance : L'entraînement par GRPO a amélioré la capacité de prévision initiale des modèles Qwen. Par exemple, le modèle Qwen 1.5B a amélioré son Entropie Croisée Négative Moyenne (NCE) de -1,66 à -0,415.
• Comparaison avec des modèles plus grands : Le modèle Qwen 1.5B affiné a atteint un NCE de -0,415, surpassant le Claude 3.5 Sonnet de base, qui a obtenu un score de -0,62 sur le même ensemble de validation.
• Limites d'échelle : Augmenter la taille du modèle de 1,5B à 7B n'a pas amélioré de manière significative le plateau de performance final dans le cadre de faible information. Toutes les variantes de Qwen ont convergé vers des scores NCE similaires (environ -0,3 à -0,4), indiquant que l'information fournie par l'outil de résumé limitait les gains supplémentaires.
• Modes de défaillance : Le document note que les modèles échouent systématiquement lorsque l'outil de résumé fournit des informations incorrectes. Dans un exemple spécifique concernant un cessez-le-feu entre Israël et l'Iran, le résumeur a affirmé à tort que le marché avait déjà été résolu, amenant le modèle à prédire une probabilité de 100 % pour un événement que le marché évaluait à 0 %.

Signification et affirmations

Le document affirme que la prévision de jugement est un domaine traitable par le RL, distinct des domaines parfaitement vérifiables comme les mathématiques ou le code. Sa principale importance réside dans la démonstration que :

• Efficacité : Une prévision de haute performance peut être obtenue avec de petits modèles (1,5B) en utilisant GRPO, ce qui est plus économique en calcul et plus rapide à entraîner que les modèles plus grands, à condition que le signal d'entraînement (prix du marché) soit précis.
• Données plutôt que Taille : Dans les tâches de prévision avec un contexte limité, la qualité de l'information récupérée et l'objectif d'entraînement (utilisation des probabilités de marché plutôt que des issues binaires) sont des déterminants de succès plus critiques que l'échelle du modèle.
• Faisabilité pratique : Le pipeline d'entraînement est réalisable sur un matériel limité (ex. : un seul H100 pendant 2 à 3 heures pour des modèles $\le$ 7B), rendant les capacités de prévision avancées accessibles sans clusters de calcul massifs.

Les auteurs concluent que bien que les modèles plus grands surpassent généralement les plus petits « de base », un affinement stratégique avec GRPO et un proxy de vérité terrain de haute qualité peut inverser cette hiérarchie dans des régimes spécifiques et contraints par l'information. Ils soulignent également que les travaux futurs devront traiter le goulot d'étranglement de la récupération d'informations, car la performance actuelle est limitée par la précision des résumés de contexte fournis au modèle.