Résumé Technique : CORE – La Réflexion Contrastive Permet des Améliorations Rapides du Raisonnement

Énoncé du Problème

Les modèles de langage possèdent la capacité d'améliorer leurs tâches de raisonnement grâce à des récompenses vérifiables, pourtant les approches actuelles souffrent d'inefficacités significatives. Les méthodes paramétriques (par exemple, GRPO) et non paramétriques (par exemple, GEPA, optimisation de prompts) nécessitent généralement des centaines d'échantillons d'entraînement et des milliers de déployages de modèles pour obtenir des progrès significatifs. Cela les rend coûteuses en calcul et souvent intraitables pour une adaptation rapide. En revanche, les humains peuvent souvent maîtriser de nouvelles tâches avec seulement une poignée de problèmes d'exercice. Le défi central abordé par ce travail est de permettre aux modèles de langage d'apprendre à partir de récompenses vérifiables avec une efficacité d'échantillonnage et de déploiement similaire à celle des humains, tout en maintenant l'interprétabilité et en évitant l'opacité des mises à jour de poids.

Méthodologie : CORE (Réflexion Contrastive)

CORE est un algorithme d'apprentissage non paramétrique conçu pour un modèle de langage figé. Au lieu de mettre à jour les poids du modèle ou d'optimiser un seul prompt global, CORE apprend en générant et en accumulant des « insights » — de courtes descriptions en langage naturel de stratégies de raisonnement ou de contraintes qui distinguent les tentatives de résolution réussies des échecs.

L'algorithme fonctionne à travers quatre composants principaux :

1. Stocks de Mémoire Externe :

   • Mémoire de Déploiement ($R$) : Stocke les traces de raisonnement passées (problème, insights récupérés, sortie du modèle, récompense) indexées par des embeddings de problèmes.
   • Mémoire d'Insights ($I$) : Stocke des insights en langage naturel associés à des estimations d'utilité empirique. Pour chaque insight, le système suit le nombre d'applications et l'utilité moyenne par rapport à la ligne de base.

2. Échantillonnage de Problèmes Biaisé vers l'Échec :
   Pour maximiser l'efficacité de l'apprentissage, CORE biaise l'échantillonnage vers les problèmes que le modèle résout moins fiablement. Il calcule un poids d'échantillonnage basé sur l'estimation actuelle de la précision, mélangeant un échantillonnage biaisé vers l'échec avec un échantillonnage uniforme pour assurer une couverture de l'ensemble d'entraînement.

3. Réflexion Contrastive (Le Mécanisme Central) :
   Lorsque le modèle échoue à résoudre un problème, CORE déclenche une étape de réflexion. Il récupère un déploiement réussi ($\tau^+$) à partir d'un problème sémantiquement similaire (ou du même problème s'il a été résolu précédemment) et le contraste avec le déploiement échoué ($\tau^-$). Le modèle figé est invité à générer des insights candidats décrivant les stratégies ou les contraintes qui expliquent la différence entre succès et échec.

   • Test d'Admission : Les insights candidats ne sont pas stockés immédiatement. Ils subissent un test d'admission où le modèle tente le problème d'origine en utilisant uniquement cet insight candidat. Un insight n'est admis en mémoire que s'il améliore le taux de succès par rapport à la ligne de base (spécifiquement, s'il conduit à une solution correcte dès la première tentative dans les expériences).

4. Récupération Sensible à l'Utilité :
   Pendant l'inférence, CORE récupère des insights basés sur un score combinant la similarité sémantique (entre le problème actuel et les problèmes passés où l'insight a été utilisé) et l'utilité empirique (le taux de succès observé de l'insight sur des problèmes similaires). Cela permet au modèle d'appliquer sélectivement des insights qui se sont avérés efficaces par le passé.

Contributions Clés

1. Innovation Algorithmique : Introduction de CORE, un algorithme non paramétrique qui permet aux modèles de langage figés d'apprendre à partir de récompenses vérifiables en générant, testant et accumulant des insights abstraits en langage naturel plutôt qu'en mettant à jour des poids ou en optimisant des prompts.
2. Gains d'Efficacité : Démonstration sur quatre tâches de raisonnement (Tour de Hanoï, MathGAP, ZebraLogic, Arithmétique des Allumettes) que CORE surpasse à la fois les méthodes paramétriques (GRPO) et non paramétriques (GEPA, RAG Épisodique, MemRL) en termes d'efficacité d'échantillonnage (apprentissage avec moins d'échantillons d'entraînement) et d'efficacité de déploiement (apprentissage avec moins de tentatives de modèle).
3. Efficacité Contextuelle : Preuve que CORE est substantiellement plus efficace en termes de contexte que les méthodes non paramétriques de référence. Alors que des méthodes comme le RAG Épisodique et MemRL ajoutent des dizaines de milliers de jetons au prompt en récupérant des traces complètes, CORE compresse l'expérience en insights compacts, ajoutant significativement moins de jetons par évaluation.
4. Interprétabilité : Les artefacts appris sont des insights transparents en langage naturel associés à des estimations d'utilité, offrant une alternative plus interprétable aux mises à jour de paramètres opaques ou à l'optimisation de prompts.
5. Analyse d'Ablation : Identification que la réflexion contrastive (comparaison échec vs succès) et la récupération sensible à l'utilité sont des composants nécessaires pour la performance de l'algorithme.

Résultats Expérimentaux

Les auteurs ont évalué CORE sur quatre tâches de raisonnement en utilisant le modèle gpt-oss-120b, le comparant à GRPO, GEPA, RAG Épisodique et MemRL à travers des régimes d'entraînement de 5, 10 et 100 échantillons.

• Efficacité de Déploiement : Dans le régime de 10 échantillons, CORE a atteint une précision sur les données de test plus élevée que n'importe quelle méthode de référence après 350 déploiements d'entraînement. Même lorsque les méthodes de référence avaient droit à 4 000 déploiements et que CORE était limité à 2 100, CORE s'est stabilisé sur une performance finale supérieure.
• Efficacité d'Échantillonnage : Sur 12 conditions combinant tâche et régime de données, CORE a atteint la précision moyenne sur les données de test la plus élevée dans 9 d'entre elles. Il a amélioré la performance par rapport à la ligne de base sans apprentissage d'environ 54–56 % sur 5, 10 et 100 exemples d'entraînement.
• Efficacité Contextuelle : CORE a ajouté en moyenne 0,92k de jetons par élément d'évaluation, contre environ 33k pour le RAG Épisodique et environ 32k pour MemRL. Il était environ 1,4 fois plus efficace en termes de contexte que GEPA.
• Qualité des Insights : L'analyse des insights admis a révélé qu'ils se classaient en trois catégories fonctionnelles : Structuration de l'espace de recherche (heuristiques pour réduire les possibilités), Suivi des états intermédiaires (mise à jour des quantités/déplacements) et Vérification et validation (vérification des contraintes). Ces insights se sont avérés être des abstractions procédurales plutôt que des résumés d'épisodes spécifiques.

Signification et Revendications

L'article postule que l'efficacité de l'apprentissage humain découle de la capacité à revisiter les succès et les échecs passés pour découvrir des principes abstraits et explicites. CORE opérationnalise cela en distillant les contrastes entre les traces réussies et infructueuses en connaissances réutilisables.

Les auteurs affirment que CORE offre une voie plus efficace et interprétable vers l'auto-amélioration du modèle que les mises à jour de poids, l'optimisation de prompts ou la réutilisation directe de traces de raisonnement stockées. En stockant des « hypothèses d'attribution de crédit » (insights) plutôt que des données brutes ou des poids, CORE réduit le risque d'introduire des comportements indésirables associés à des mises à jour opaques. Ce travail suggère que la clé de l'amélioration rapide réside non seulement dans ce qui est appris, mais dans comment cela est représenté et récupéré : sous forme d'insights en langage naturel compacts et pondérés par l'utilité, dérivés de la réflexion contrastive.

Limitations notées par les auteurs :

• CORE suppose l'accès à des récompenses vérifiables, limitant son applicabilité aux domaines avec un feedback binaire clair.
• La mise à jour d'utilité attribue le même résultat à tous les insights récupérés, laissant non résolue l'attribution de crédit plus fine parmi plusieurs insights.
• La réflexion et le test d'admission introduisent des coûts d'inférence supplémentaires.
• Les expériences sont actuellement limitées aux tâches de raisonnement, de planification et de résolution de problèmes en un seul tour.