Résumé technique : Compute as Teacher (CaT)

Énoncé du problème

L'adaptation post-entraînement des grands modèles de langage (LLM) à des compétences spécialisées repose généralement sur un ajustement fin supervisé (SFT) utilisant des réponses de référence étiquetées par des humains, ou sur un apprentissage par renforcement (RL) avec des récompenses vérifiables provenant de vérificateurs programmatiques. Bien que efficaces pour des domaines comme les mathématiques et le code, ces approches échouent dans les domaines non vérifiables (par exemple, les conseils de santé, l'écriture créative, le dialogue libre) où :

1. Plusieurs réponses valides existent et les experts peuvent être en désaccord.
2. La vérification par règles déterministes est peu pratique.
3. L'annotation humaine est coûteuse, difficile à mettre à l'échelle ou indisponible.

Les alternatives existantes, telles que l'utilisation d'un LLM comme juge pour noter des sorties libres, souffrent d'incohérence, de biais de verbosité et de piratage des récompenses. L'article pose la question : Le calcul au moment de l'inférence peut-il remplacer la supervision manquante ?

Méthodologie : Compute as Teacher (CaT)

Les auteurs proposent Compute as Teacher (CaT), un cadre qui convertit le calcul au moment de l'inférence en signaux de supervision pour l'entraînement par RL sans nécessiter d'étiquettes de vérité terrain. Le cadre fonctionne en deux étapes principales, exploitant des déroulements parallèles générés par la politique actuelle $\pi_t$.

1. Estimation de la référence

Au lieu de s'appuyer sur une référence fournie par un humain, CaT agrège $G$ déroulements parallèles ($o_{1:G}$) générés pour une invite $q$ en une pseudo-référence ($s$). Cette agrégation capture l'incertitude du modèle, car les déroulements diffèrent souvent précisément là où le modèle est incertain.

• Stratégies d'agrégation : Le cadre est agnostique quant à la méthode. Il explore la Synthèse, où une politique ancre gelée ($\pi_0$) se conditionne sur l'ensemble des déroulements pour générer une nouvelle réponse réconciliée. Cela permet au système de combiner des fragments corrects de différents déroulements (par exemple, des étapes intermédiaires correctes provenant de l'un et une conclusion valide provenant d'un autre).
• Alternatives : Des stratégies de sélection comme le vote majoritaire ou le meilleur parmi N sont également compatibles, bien que la synthèse soit mise en avant pour sa capacité à construire des réponses en dehors de la distribution originale des déroulements.

2. Dérivation des récompenses

La pseudo-référence $s$ est utilisée pour dériver des récompenses pour les déroulements individuels afin de mettre à jour la politique via l'optimisation de politique relative par groupe (GRPO). Le mécanisme diffère selon la vérifiabilité du domaine :

• Domaines vérifiables (par exemple, Mathématiques, Code) : Les récompenses sont binaires, basées sur le fait que la réponse finale d'un déroulement correspond à la réponse de la pseudo-référence.
• Domaines non vérifiables (par exemple, Santé) : L'article introduit des Rubriques auto-proposées.
  • La politique ancre $\pi_0$ génère un ensemble de critères binaires et vérifiables ($R = \{r_1, \dots, r_n\}$) dérivés spécifiquement de la pseudo-référence $s$ (par exemple, « recommande de consulter un professionnel de santé »).
  • Un modèle juge indépendant ($\pi_J$) note chaque déroulement par rapport à ces critères.
  • La récompense est la fraction de critères satisfaits. Cela décompose les jugements qualitatifs flous en vérifications binaires spécifiques et auditable, atténuant l'instabilité du score direct par un LLM comme juge.

Boucle d'entraînement

Le processus itère : la politique génère des déroulements $\to$ l'estimation de référence crée $s$ $\to$ la dérivation de récompense note les déroulements par rapport à $s$ $\to$ GRPO met à jour la politique. Crucialement, le cadre amortit le coût de calcul de la génération de plusieurs déroulements et de leur agrégation pendant l'entraînement, permettant à la politique finale entraînée de produire des sorties uniques de haute qualité au moment de l'inférence.

Contributions clés

1. Rubriques auto-proposées : Un mécanisme de récompense novateur pour le RL non vérifiable qui décompose le jugement en critères binaires générés à partir de pseudo-références, éliminant le besoin de rubriques ou de réponses de référence annotées par des humains.
2. Cadre Compute as Teacher (CaT) : Un paradigme général pour transformer le calcul d'inférence en supervision via l'estimation de référence et la dérivation de récompenses. Il démontre que la synthèse (agrégation générative) peut surpasser les baselines basées sur la sélection en réconciliant les informations distribuées à travers les déroulements.
3. Validation empirique : Expériences complètes sur trois familles de modèles (Gemma 3 4B, Qwen 3 4B, Llama 3.1 8B) dans des domaines non vérifiables (HealthBench) et vérifiables (MATH-500).

Résultats

• Gains de performance : Les modèles entraînés avec CaT atteignent jusqu'à +30 % d'amélioration relative sur HealthBench et +33 % sur MATH-500 par rapport à la politique initiale non entraînée.
• Efficacité : Les modèles entraînés égalent ou dépassent la qualité de l'agrégation au moment de l'inférence (par exemple, synthèse) tout en utilisant 9 fois moins de calcul au moment du test. Le modèle apprend à internaliser la capacité d'agrégation, ne nécessitant qu'un seul passage avant au moment de l'inférence.
• Domaines non vérifiables : Les rubriques auto-proposées performent de manière comparable aux rubriques annotées par des médecins experts sur HealthBench et surpassent significativement le score direct « Modèle-comme-Juge ».
• Synthèse vs Sélection : L'estimation de référence basée sur la synthèse surpasse les baselines de sélection (vote majoritaire, meilleur parmi N) dans les domaines non vérifiables. Dans les cas où la synthèse est en désaccord avec le consensus, elle est correcte dans 70 à 86 % des cas, corrigeant souvent des erreurs présentes dans tous les déroulements individuels.
• RL vs SFT : Le RL avec des récompenses de rubriques surpasse systématiquement l'ajustement fin supervisé (SFT) sur des références synthétisées, suggérant que le RL généralise mieux à partir de données limitées et synthétisées.

Importance et revendications

L'article affirme que CaT fournit une solution pratique et « plug-and-play » pour l'adaptation post-entraînement des LLM dans des domaines où les réponses de référence sont rares, coûteuses ou inexistantes. En exploitant le calcul d'inférence pour générer sa propre supervision, le cadre :

• Combler le fossé entre le RL vérifiable et non vérifiable, fonctionnant comme une approche unifiée.
• Réduit la dépendance à l'annotation humaine, offrant une voie pour les domaines spécialisés où l'étiquetage par des experts est un goulot d'étranglement.
• Amortit les coûts de calcul, déplaçant le gros du travail d'agrégation du moment de l'inférence (répétitivement) au moment de l'entraînement (une fois), résultant en un déploiement plus efficace.

Les auteurs notent des limitations, notamment la dépendance à la capacité du modèle de base à générer des déroulements diversifiés et le potentiel de plateaux de performance à mesure que les déroulements convergent (effondrement de l'entropie). Cependant, ils positionnent CaT comme une étape significative vers l'enablement de l'apprentissage sans référence dans des domaines qualitatifs complexes.