Résumé technique : Jouer avec les mots, s'améliorer par les récompenses

Énoncé du problème

Les grands modèles de langage (LLM) sont de plus en plus chargés de résoudre des problèmes complexes nécessitant de la créativité, définie comme la capacité à naviguer dans de vastes espaces de solutions et à générer des solutions à la fois non conventionnelles et efficaces. Cependant, l'entraînement des LLM à la créativité est entravé par le caractère subjectif du concept ; le jugement humain sur ce qui constitue un travail « créatif » est inconstant, rendant l'apprentissage par renforcement à partir de retours humains (RLHF) difficile à mettre à l'échelle et bruyant. Le défi central consiste à entraîner explicitement les LLM à être véritablement créatifs sans dépendre d'une annotation coûteuse et subjective des préférences humaines.

Méthodologie

Les auteurs proposent un cadre qui reformule la créativité comme un jeu aux résultats objectivement vérifiables, évitant ainsi le besoin de jugement humain.

1. Environnement d'entraînement : Codenames
L'étude utilise Codenames, un jeu d'association de mots, comme environnement d'entraînement. Le jeu exerce intrinsèquement les deux axes centraux de la cognition créative :

• Pensée divergente : Générer des associations distantes couvrant plusieurs concepts.
• Pensée convergente : Sélectionner la seule meilleure association qui identifie de manière unique les cibles tout en évitant les non-cibles.

La configuration d'entraînement simplifie le jeu complet en un processus de décision de Markov (MDP) composé de deux tâches à tour unique :

• Génération d'indice : Étant donné un ensemble de mots cibles ($T$) et de mots non cibles ($N$), le modèle génère un mot indice unique ($w_{clue}$) qui se connecte au plus grand nombre de cibles possible tout en évitant les associations avec les non cibles.
• Génération de devinettes : Étant donné un plateau de mots ($B = T \cup N$) et un indice pré-calculé, le modèle devine quels mots l'indice désigne.

2. Synthèse des données et curriculum
Pour assurer la faisabilité et la variété, les auteurs ont généré un jeu de données de 3 680 exemples d'entraînement. Ils ont créé un pool de 1 000 sujets diversifiés et de mots associés (stratifiés par fréquence en mots courants et rares). Les données d'entraînement suivent un curriculum d'une difficulté croissante :

• Simple : Cibles tirées de mots courants.
• Modéré/Avancé : Proportion croissante de mots rares.
• Expert : Cibles tirées de mots rares mélangés à des leurres issus du sujet non cible.

3. Apprentissage par renforcement avec récompenses vérifiables (RLVR)
Au lieu de retours humains, les modèles sont entraînés à l'aide de RLVR. Une politique de « juge » figée (Google Gemini Flash-2.5) évalue la sortie du modèle.

• Fonction de récompense : La récompense est calculée sur la base de la précision de la boucle de génération de devinettes. Elle récompense les hits de cibles corrects et pénalise les hits de non cibles ou les devinettes hors du plateau. La récompense est bornée dans $[-2, 1]$.
• Algorithme : Les auteurs utilisent l'objectif DAPO (Deepseek-Adaptive Policy Optimization) avec l'estimateur d'avantage GRPO. Ils ont affiné trois modèles Qwen3 (1,7B, 4B et 8B) en utilisant un affinage complet des paramètres sur 2 époques (230 étapes de mise à jour). Aucune régularisation de divergence KL n'a été utilisée.

Contributions clés

1. Entraînement à la créativité par récompenses vérifiables : L'article démontre que la créativité peut être entraînée efficacement en utilisant un environnement de jeu structuré avec des récompenses objectives, éliminant ainsi le besoin d'annotation des préférences humaines.
2. Compromis précision-diversité dépendant de l'échelle : L'étude révèle une découverte critique : l'effet de l'entraînement par association sur les capacités du modèle dépend de l'échelle du modèle.
   • Modèles plus petits (1,7B, 4B) : Ils obtiennent des améliorations substantielles de la précision du raisonnement (tâches de mathématiques et de sciences) mais subissent souvent un effondrement de la diversité créative (taille du vocabulaire et diversité sémantique).
   • Modèle plus grand (8B) : Il obtient des améliorations constantes des métriques de créativité (pensée divergente, génération narrative) avec une seule dégradation mineure de la précision du raisonnement.
3. Solution évolutive : L'approche fournit un levier pratique pour renforcer les LLM de différentes tailles, offrant des gains de raisonnement pour les modèles plus petits et des gains de créativité pour les modèles plus grands, en utilisant une seule recette d'entraînement unifiée.

Résultats

Les modèles ont été évalués sur 10 benchmarks de créativité (couvrant la pensée divergente/convergente, l'humour, la métaphore et l'écriture créative) et 4 benchmarks de raisonnement (arithmétique, mathématiques de compétition, sciences de niveau master).

• Gains de créativité : Le modèle 8B a montré des gains modestes mais constants sur 8 des 10 benchmarks de créativité. Il a été le seul modèle à s'améliorer en matière de diversité divergente (DAT DSI et taille du vocabulaire). Cependant, il a régressé sur NYT Connections, attribué à une tendance à « trop réfléchir » où le modèle violait les contraintes de la tâche en raison de traces de raisonnement étendues.
• Gains de raisonnement : Les modèles plus petits (1,7B et 4B) ont montré des améliorations substantielles sur les tâches de raisonnement. Le modèle 1,7B s'est amélioré sur les quatre benchmarks de raisonnement (par exemple, la précision AIME24 est passée de 0,43 à 0,57). Le modèle 4B s'est amélioré sur trois. À l'inverse, le modèle 8B a vu une baisse de performance en raisonnement (par exemple, AIME24 est passé de 0,80 à 0,67).
• Mécanisme : Les auteurs attribuent cette division à l'interaction entre l'apprentissage par association et le RLVR. Les modèles plus petits, qui luttaient auparavant contre les problèmes difficiles, apprennent à résoudre les problèmes « plus faciles » à leur portée avec une grande précision. Les modèles plus grands, déjà capables de résoudre ces problèmes, sont poussés par le signal de récompense à explorer des associations diverses et plus difficiles, améliorant ainsi la créativité au détriment de la précision stricte.

Importance et affirmations

L'article affirme présenter une solution évolutive et efficace pour entraîner les LLM à la créativité sans jugement humain. En présentant la créativité comme un jeu à récompenses vérifiables, les auteurs démontrent qu'un seul paradigme d'entraînement peut produire des résultats distincts et bénéfiques selon l'échelle du modèle :

• Pour les modèles plus petits, la méthode agit comme un moteur de précision, affûtant les capacités de raisonnement.
• Pour les modèles plus grands, la méthode agit comme un moteur de diversité, élargissant les associations créatives.

Les auteurs concluent que ce compromis dépendant de l'échelle est une propriété clé de l'entraînement RLVR par association. Ils soulignent que leur approche abaisse la barrière des ressources pour la recherche sur la créativité en s'appuyant sur des données synthétiques et des récompenses vérifiables plutôt que sur une annotation humaine coûteuse, la rendant accessible pour des modèles aussi petits que 1,7 milliard de paramètres. L'étude met en garde que, bien que la diversité créative s'améliore, la précision peut être échangée, suggérant que ces modèles ne devraient pas être utilisés dans des contextes nécessitant une exactitude factuelle stricte (par exemple, des conseils médicaux ou juridiques).