Résumé Technique : Adaptation frustrante de simplicité d'un modèle de langage en boîte noire via le biais de logit

Énoncé du Problème

Les organisations doivent fréquemment adapter les modèles de langage (LM) de pointe pour des tâches internes spécifiques, telles que l'amélioration de la précision dans un domaine, l'imposition d'un format de sortie strict ou la réduction de la verbosité. Cependant, les techniques d'adaptation standard comme le fine-tuning, le réglage efficace des paramètres (PEFT) ou l'apprentissage par renforcement à partir de rétroactions humaines (RLHF) sont souvent irréalisables. Ces méthodes nécessitent généralement l'accès aux poids du modèle, aux gradients ou aux états cachés, qui sont indisponibles lorsque les modèles sont déployés uniquement via des API d'inférence. Les alternatives existantes en boîte noire, telles que l'optimisation de prompt, consomment de la longueur de contexte et peuvent interférer avec le contenu de la tâche.

Ce document traite du défi de l'adaptation de modèles de langage gelés sous des contraintes d'accès minimales : le déployeur ne peut pas modifier les poids, ne peut pas effectuer de rétropropagation et doit s'appuyer uniquement sur les contrôles de décodage exposés par l'API. Plus précisément, les auteurs étudient si un vecteur de biais de logit unique et indépendant du contexte peut servir de primitive d'adaptation légère.

Méthodologie

Mécanisme Central

La méthode proposée introduit un vecteur de biais de logit fixe $\delta \in \mathbb{R}^{|\mathcal{V}|}$ (où $\mathcal{V}$ est le vocabulaire) qui est ajouté aux logits du modèle à chaque étape de décodage.

• Modèle Gelé : Les poids du modèle de base restent totalement inchangés.
• Indépendance du Contexte : Contrairement aux prompts ou au prefix-tuning, $\delta$ ne varie pas en fonction du prompt d'entrée ou du préfixe généré.
• Apprentissage en Boîte Noire : Le vecteur $\delta$ est appris en utilisant uniquement des rollouts (trajectoires générées), des récompenses et des probabilités de jetons du modèle de base, sans accès aux gradients internes.

Fondement Théorique

L'approche est ancrée dans un objectif d'apprentissage par renforcement (RL) régularisé par la divergence KL. L'optimum non contraint pour maximiser la récompense $r$ tout en restant proche de la politique de base $p_0$ (régularisée par $\tau$) est une politique $p^\star_\tau$ dépendante du préfixe.

• La correction de logit optimale à n'importe quelle étape $t$ est théoriquement $\log Z(x, y_{1:t-1}, \cdot)$, où $Z$ est une "valeur douce" représentant l'espérance de la récompense exponentiée.
• Les auteurs postulent que si cette correction optimale peut approximativement se factoriser en une composante spécifique au jeton $\delta(y)$ et une base dépendante du préfixe $c_t(x, y_{1:t-1})$, un vecteur fixe $\delta$ peut approximer la politique optimale.
• Ils dérivent une borne d'écart de récompense montrant que la perte de performance de l'utilisation d'un biais fixe par rapport à la politique optimale dépendante du préfixe dépend de l'erreur d'approximation $\varepsilon$ et de l'horizon $T$.

Algorithme d'Estimation

Pour apprendre $\delta$ sans gradients, les auteurs proposent un estimateur de score de propension inverse (IPS) en forme close :

1. Rollouts On-Policy : Générer des trajectoires $y_{1:T} \sim p_0(\cdot|x)$ à partir du modèle de base.
2. Échantillonnage d'Intervention : Pour chaque trajectoire, échantillonner des étapes temporelles aléatoires $t$ et traiter le jeton $y_t$ comme une intervention (en le fixant tandis que le reste de la trajectoire est échantillonné à partir du modèle de base).
3. Estimateur : Le biais au niveau de la population $\delta(y)$ est estimé comme le logarithme de la moyenne de la récompense exponentiée pour les trajectoires où le jeton $y$ apparaît, pondérée par l'inverse de la probabilité de ce jeton sous le modèle de base :
   $$\hat{Z}(y) = \frac{1}{NP} \sum_{(x, y_{1:T}, t, r) \in \mathcal{D}} \frac{\mathbb{1}\{y_t = y\} \exp(r/\tau)}{\pi_0(y | x, y_{1:t-1})}$$
4. Lissage : Le biais de logit final est calculé comme $\hat{\delta}(y) = \log(\alpha + \hat{Z}(y)) - c(\alpha)$, où $\alpha$ est une constante de lissage pour gérer les données éparses et prévenir les erreurs de log-zéro.

Principales Contributions

1. Cadre d'Adaptation en Boîte Noire : Le papier formalise un cadre pour personnaliser les LM gelés en utilisant uniquement un vecteur de biais de logit unique et indépendant du contexte, ne nécessant aucune mise à jour de poids ou accès aux gradients.
2. Analyse Théorique : Il dérive un estimateur IPS en forme close reliant le pilotage par biais de logit à l'optimum régularisé par la KL et fournit une borne théorique sur l'écart de récompense entre la politique à biais fixe et l'optimum non contraint.
3. Validation Empirique : La méthode montre qu'elle améliore les modèles de base sur des benchmarks mathématiques et de raisonnement, et contrôle efficacement la longueur de complétion, en utilisant nettement moins de paramètres entraînables et de calcul que le fine-tuning conventionnel.

Résultats Expérimentaux

Configuration

• Modèles : Meta-Llama-3.1-8B-Instruct, Gemma-2-9B-IT, et Qwen3-4B.
• Tâches : MATH, GSM8K, et GPQA-main (précision) ; ainsi qu'un objectif de compression (réduction du nombre de jetons).
• Baselines : Modèle de base, une baseline de biais de logit liée à 32 clusters, et LoRA-GRPO (une baseline de fine-tuning avec environ $10^7$ paramètres).

Performance de Précision

• Biais de Logit à Vocabulaire Complet : A obtenu des gains constants et modestes par rapport au modèle de base sur tous les benchmarks (ex: MATH : $30,30\% \to 33,14\%$ ; GPQA : $22,20\% \to 28,90\%$).
• Comparaison : La baseline à 32 clusters a performé de manière similaire au modèle de base, suggérant que le signal est spécifique au jeton plutôt qu'un changement de fréquence grossier. LoRA-GRPO a surpassé le biais de logit de manière significative (ex: MATH : $45,24\%$), confirmant que l'adaptation dans l'espace des poids capture mieux le raisonnement dépendant du contexte que le biais fixe.

Performance de Compression

• La méthode a réussi à réduire les longueurs de complétion pour Gemma-9B et Llama-8B tout en préservant la précision, traçant une frontière de Pareto entre précision et longueur.
• Qwen3-4B a montré un changement de longueur minimal.
• LoRA-GRPO a permis une compression beaucoup plus agressive en modifiant le raisonnement interne et les comportements d'arrêt, tandis que le biais de logit a principalement appris des motifs de finalisation et d'arrêt réutilisables.

Analyse des Biais Appris

• Sparsité : Seule une petite fraction des coordonnées du vocabulaire (environ 1,3 %) a dépassé la porte de taille d'effet.
• Structure :
  • Biais de Précision : A favorisé les jetons liés aux limites de réponse, au formatage mathématique et aux chaînes d'arrêt décisives. Il a supprimé les jetons de "dérive" comme les reformulations de questions ou les modes tutoriels.
  • Biais de Compression : A favorisé les jetons d'arrêt/limite tout en supprimant les jetons d'explication et de dérivation, bien que cela ait entraîné un risque de sur-compression.

Signification et Revendications

Le papier affirme que le biais de logit appris sert de primitive d'adaptation légère et en boîte noire, située entre l'ingénierie de prompt et le fine-tuning complet.

• Utilité : Il offre une solution pratique pour les organisations ayant un accès uniquement par API, permettant des améliorations du formatage, du contrôle de la verbosité et des gains de précision modestes sans la surcharge opérationnelle de l'entraînement.
• Limites : Les auteurs sont modestes quant aux capacités de la méthode, reconnaissant qu'un biais fixe ne peut pas réécrire le raisonnement, encoder des règles conditionnelles ou corriger des erreurs spécifiques au contexte. Il est efficace pour les motifs "réutilisables" (formatage, arrêt), mais échoue là où le raisonnement dépendant du contexte est requis.
• Conclusion : Bien qu'il ne soit pas un remplacement pour le fine-tuning lorsque les poids sont accessibles, le biais de logit appris est un mécanisme viable et peu coûteux pour adapter les modèles de langage sous des contraintes d'accès strictes.