Instruction-Tuned, but Not More Verifiable Instruction-Following: A Cross-Task Diagnosis for LoRA Adapters

1. Problématique

Les adaptateurs LoRA (Low-Rank Adaptation) sont souvent sélectionnés et déployés en se basant sur des étiquettes nominales (par exemple, « entraîné pour le suivi d'instructions », « entraîné pour le raisonnement numérique »). Ces étiquettes suggèrent implicitement que les capacités du modèle s'améliorent spécifiquement dans le domaine ciblé après l'adaptation.

Cependant, l'article pose une question critique pour le déploiement : les objectifs d'entraînement nominaux prédisent-ils de manière fiable les gains de capacités réels observés lors de l'évaluation sur d'autres tâches ?
Les auteurs soupçonnent un décalage (« capability drift ») où un adaptateur, bien qu'étiqueté pour une tâche spécifique, pourrait améliorer des performances sur des tâches non ciblées tout en échouant à améliorer, ou même en dégradant, la tâche pour laquelle il a été conçu, en particulier lorsqu'il s'agit de contraintes strictes et vérifiables.

2. Méthodologie

L'étude adopte une approche de diagnostic empirique inter-tâches (cross-task diagnosis) sans réentraîner de grands modèles, en réutilisant des artefacts d'entraînement existants.

• Configuration Expérimentale :

  • Modèles de base : Utilisation de plusieurs modèles (Qwen3-8B, Qwen3-14B, Llama3.1-8B, Qwen2.5-7B).
  • Adaptateurs LoRA : Comparaison de deux adaptateurs principaux :
    1. instr : Entraîné pour le suivi d'instructions (Instruction-tuned).
    2. reason : Entraîné pour le raisonnement numérique (Numeric-reasoning-tuned).
  • Robustesse : Les expériences sont répétées sur plusieurs graines aléatoires (seeds) et configurations LoRA (rangs, modules cibles, taux d'apprentissage).

• Tâches et Métriques :

  • Suivi d'instructions vérifiable (Cible) : Utilisation de IFEval (Instruction Following Evaluation), qui évalue la conformité stricte et automatiquement vérifiable aux contraintes. Deux métriques sont utilisées :
    • ILA (Instruction-Level Accuracy) : Précision par contrainte.
    • PLA (Prompt-Level Accuracy) : Précision globale (le prompt entier respecte toutes les contraintes).
  • Raisonnement numérique (Hors cible) : Utilisation d'un benchmark basé sur la correspondance numérique (NM - Numeric Match).
  • Autres benchmarks : Suite de tests incluant FollowBench et IFBench pour vérifier la généralisation.

• Métrique de Diagnostic : Le « Drift Score » (Score de Dérive)
  Les auteurs définissent un score pour quantifier le décalage entre le gain sur la tâche cible et le gain sur une tâche hors cible :
  $$\text{DriftScore}(a \to b) = \text{OffTargetGain}(a, b) - \text{TargetGain}(a)$$
  Un score positif élevé indique que l'adaptateur améliore une tâche non ciblée plus que la tâche pour laquelle il a été nommé (ou qu'il n'améliore pas la tâche cible).

3. Contributions Clés

1. Cadre de diagnostic de déploiement : Formulation d'une méthode pour tester l'alignement entre l'étiquette nominale d'un adaptateur et ses gains réels de capacités sur des tâches transversales.
2. Preuves de robustesse : Démonstration que le décalage nominal-réalité est récurrent (mais pas universel) et sensible à la configuration, observé à travers plusieurs modèles, graines et paramètres LoRA.
3. Contre-exemple contrôlé : Mise en évidence d'un cas où un adaptateur « instruction-tuned » améliore massivement les performances sur un benchmark numérique (hors cible) tout en ne améliorant pas (et parfois dégradant) le suivi d'instructions strictement vérifiable sur IFEval.

4. Résultats Principaux

• Le Décalage Nominal-Réalité (Capability Drift) :

  • Dans le cas le plus marquant (Tableau 1), l'adaptateur instr voit sa performance sur le benchmark numérique (NM) passer de 0,133 (base) à 0,632.
  • Pourtant, son score de suivi d'instructions vérifiable (IFEval PLA) baisse de 0,250 à 0,143.
  • À l'inverse, l'adaptateur reason améliore le NM (0,309) mais ne montre pas une telle amélioration hors cible sur les instructions.

• Analyse de Robustesse :

  • Sur Qwen3-8B (5 graines), le Drift Score reste positif (moyenne ~0,511), confirmant que ce n'est pas un artefact d'une seule graine.
  • La sensibilité à la configuration est avérée : une configuration spécifique (Qwen2.5-7B avec un réglage LoRA particulier) montre un score de dérive légèrement négatif (-0,040), indiquant que le phénomène n'est pas universel mais dépendant des hyperparamètres.

• Hétérogénéité des Benchmarks :

  • Les résultats varient selon la définition du « suivi d'instructions ». Alors que IFEval (strict) ne montre pas d'amélioration pour l'adaptateur instr, des benchmarks comme FollowBench (plus ouverts) montrent des améliorations. Cela confirme que le « suivi d'instructions » n'est pas une notion unique et que les étiquettes nominales sont ambiguës.

• Analyse Granulaire (IFEval) :

  • La dégradation n'est pas uniforme. Certaines contraintes (ex: existence de mots-clés) s'effondrent (∆ = -1,0), tandis que d'autres s'améliorent légèrement. Cela suggère un déplacement sélectif des capacités plutôt qu'une dégradation globale.

• Probing (Exploration) :

  • Les analyses géométriques des mises à jour LoRA ne révèlent pas de module unique ou de direction dominante expliquant ce décalage, écartant une explication localisée simple.

5. Signification et Implications

• Mise en garde contre les étiquettes nominales : Les auteurs concluent qu'il est dangereux de considérer les étiquettes d'entraînement (comme « instruction-tuned ») comme des proxies fiables des capacités réelles du modèle après déploiement.
• Distinction cruciale : L'« instruction tuning » (ajustement pour être utile/conversationnel) ne doit pas être confondu avec l'amélioration du suivi d'instructions strict et vérifiable (conformité aux contraintes). Un modèle peut devenir plus « utile » ou « numérique » tout en perdant en rigueur de conformité.
• Recommandation Pratique : Avant le déploiement, il est impératif de réaliser des évaluations transversales (cross-task evaluation) systématiques. Ne pas se fier uniquement à la tâche cible nominale permet de détecter des dérives de capacités indésirables ou inattendues.
• Contribution Méthodologique : L'article propose une approche de diagnostic pragmatique (le Drift Score) pour identifier ces incohérences sans introduire de nouvelles métriques complexes, en s'appuyant sur les matrices de performance brutes.

En résumé, cet article démontre que l'adaptation LoRA peut entraîner des dérives de capacités imprévisibles, où un modèle optimisé pour une tâche nominale excelle sur une tâche non ciblée tout en échouant sur sa tâche déclarée, soulignant la nécessité d'une validation rigoureuse et multi-tâches avant toute mise en production.