Résumé technique : Chaque échantillon compte – Ajustement fin supervisé de modèles de langage avec contraintes ponctuelles

1. Énoncé du problème

Les méthodes actuelles d'alignement et d'ajustement fin (fine-tuning) des modèles de langage (LM) reposent généralement sur des cadres d'optimisation contraints qui imposent des exigences (telles que la sécurité, le contrôle de la longueur ou les préférences d'appel d'outils) uniquement en espérance sur la distribution d'entrée. Bien que ces méthodes garantissent que les contraintes sont satisfaites en moyenne, elles souffrent d'une limitation critique : elles ne garantissent pas la satisfaction des contraintes pour chaque entrée individuelle.

Cette approche de « moyenne uniquement » entraîne des disparités indésirables, particulièrement pour les données de la queue de distribution (entrées sous-représentées dans l'entraînement ou intrinsèquement plus difficiles). Les preuves empiriques suggèrent que les modèles satisfaisant les contraintes en moyenne peuvent encore présenter des violations significatives sur des sous-ensembles critiques d'entrées. Les méthodes existantes échouent souvent à distinguer les échantillons « faciles » des échantillons « difficiles », appliquant des pénalités uniformes qui soit sur-pénalisent les cas simples, soit ne contraignent pas suffisamment les cas difficiles.

Le présent article propose un passage de l'apprentissage contraint par la moyenne vers un ajustement fin contraint par point (pointwise), où les contraintes doivent être respectées pour presque chaque échantillon individuel de la distribution d'entrée, plutôt qu'en simple espérance.

2. Méthodologie

Le cadre proposé aborde les défis de l'imposition de contraintes ponctuelles dans l'optimisation de réseaux de neurones non convexes à travers trois composantes clés :

A. Formulation de contrainte ponctuelle

Les auteurs formulent le problème d'ajustement fin comme la minimisation d'une perte d'objectif attendue $\ell_0$ soumise à des contraintes d'inégalité $\ell_i \leq \varepsilon$ respectées ponctuellement (presque partout) sur la distribution de données $D$.
$$\pi^*_\theta = \arg \min_{\theta} \mathbb{E}_{(x,y)\sim D} [\ell_0] \quad \text{sous réserve de} \quad \ell_i(\pi_\theta, x, y) \leq \varepsilon_i, \quad D\text{-presque partout}$$
Contrairement aux contraintes moyennes qui utilisent un scalaire unique, cette formulation nécessite un multiplicateur distinct pour chaque échantillon, permettant à la pénalité de s'adapter à la difficulté spécifique de chaque entrée.

B. Approche du Lagrangien Augmenté

Pour résoudre ce problème non convexe, les auteurs utilisent le domaine dual. Cependant, la dualité lagrangienne standard offre des garanties faibles pour les problèmes non convexes (comme les réseaux de neurones profonds) en raison de l'écart de dualité. Pour surmonter cela, l'article emploie des méthodes de Lagrangien Augmenté (AL).

• La méthode AL remplace la dépendance linéaire entre le multiplicateur de Lagrange $\lambda$ et la violation de la contrainte par un terme quadratique.
• Cela fournit une correction de courbure supplémentaire, permettant une dualité forte et une récupérabilité de la solution primale dans un éventail plus large de contextes non convexes par rapport aux approches lagrangiennes standards.
• L'optimisation est effectuée via une Ascension de Gradient Dual Empirique, où le multiplicateur fonctionnel $\lambda(x,y)$ est approximé par des multiplicateurs par échantillon $\lambda_i$ pour un ensemble de données fini.

C. Relaxation ponctuelle apprise

Les contraintes ponctuelles peuvent être excessivement restrictives, surtout en présence de valeurs aberrantes ou lorsque les contraintes entrent en conflit avec l'objectif principal. Pour atténuer cela, les auteurs introduisent une relaxation apprise dépendante de l'échantillon.

• Une fonction de relaxation $u(x,y)$ est introduite pour augmenter le seuil admissible de $\varepsilon$ à $\varepsilon + u(x,y)$.
• Une fonction de coût convexe $c(u)$ (spécifiquement une pénalité quadratique $\beta \|u\|^2$) est ajoutée à l'objectif pour pénaliser la sévérité et la fréquence de ces relaxations.
• Crucialement, la variable de relaxation $u$ n'a pas besoin d'être optimisée directement. Par la dualité, son effet est absorbé dans le problème dual sous forme de terme de régularisation et d'un redimensionnement des variables duales. Cela permet au modèle de négocier un coût de relaxation défini par l'utilisateur contre l'objectif d'apprentissage, contrôlant efficacement la « queue » de la distribution des violations de contraintes.

3. Contributions clés

1. Cadre de contrainte ponctuelle : L'article propose un nouveau cadre d'alignement qui impose des contraintes sur les entrées individuelles plutôt qu'en espérance, traitant la disparité de performance à travers la distribution d'entrée.
2. Lagrangien Augmenté pour l'apprentissage non convexe : Les auteurs appliquent les méthodes de Lagrangien Augmenté à l'ajustement fin contraint par point, surmontant l'absence de dualité forte dans l'optimisation des réseaux de neurones non convexes.
3. Mécanisme de relaxation appris : Un mécanisme est introduit pour résoudre conjointement la tâche d'apprentissage et la relaxation des contraintes, minimisant un coût défini par l'utilisateur pour gérer les valeurs aberrantes et les objectifs conflictuels sans réglage manuel des seuils par échantillon.
4. Validation empirique : Le cadre est instancié à travers trois tâches distinctes d'ajustement fin de petits modèles de langage (SLM) :
   • Respect des instructions et sécurité : Imposer le refus des requêtes malveillantes tout en maintenant l'utilité sur les requêtes sûres.
   • Préférences d'appel d'outils : Imposer la sélection correcte du comportement (ex: appeler un outil vs halluciner) avec des contraintes de probabilité logarithmique normalisées par la longueur.
   • Re-ranking et optimisation de la longueur : Équilibrer la pertinence de la recherche avec la longueur du passage (efficacité des tokens).

4. Résultats

Les auteurs valident empiriquement que leur approche réduit les violations de contraintes dans la queue de distribution tout en préservant largement les performances en aval :

• Réduction des violations de la queue : À travers toutes les tâches, la méthode proposée réduit significativement la fréquence et la sévérité des grandes violations de contraintes par rapport aux méthodes de contrainte moyenne et aux bases à pénalité fixe. La fonction de répartition cumulative (CDF) des violations de contraintes montre que si les méthodes moyennes satisfont les échantillons « faciles » avec de larges marges, elles échouent sur les échantillons « difficiles » ; l'approche ponctuelle assure une performance constante.
• Amélioration des compromis : La méthode atteint de meilleures frontières de Pareto entre l'objectif (ex: utilité, pertinence) et les métriques de contrainte.
  • En Sécurité, la méthode ponctuelle a atteint un taux de refus de 100 % sur les requêtes non sûres avec seulement une réduction de 5 % de l'utilité (taux de victoire), tandis que les contraintes moyennes nécessitaient une réduction de 9 % de l'utilité pour atteindre une sécurité similaire.
  • Dans l'Appel d'outils, les contraintes ponctuelles ont produit une amélioration plus uniforme à travers les catégories d'erreurs par rapport aux méthodes qui privilégiaient certaines catégories.
  • Dans le Re-ranking, la méthode a réussi à réduire la longueur des passages sans dégrader les métriques de pertinence (MRR@10), un compromis que les contraintes moyennes n'ont pu atteindre sans sacrifier la qualité.
• Contrôle de la relaxation : L'hyperparamètre $\beta$ dans le coût de relaxation contrôle efficacement le compromis entre l'adhérence stricte aux contraintes et la performance de l'objectif, permettant aux utilisateurs de régler le comportement du modèle en fonction de tolérances aux risques spécifiques.

5. Signification et affirmations

L'article affirme que l'imposition de contraintes par échantillon est une évolution nécessaire pour le déploiement des LM dans des domaines à enjeux élevés où la performance moyenne est insuffisante. La portée de ce travail réside dans :

• Traitement des disparités de distribution : Il s'attaque directement au problème des modèles sous-performants sur les données de la queue de distribution, garantissant que les contraintes critiques (comme la sécurité) ne soient pas violées pour des entrées spécifiques, potentiellement vulnérables.
• Optimisation pratique : En exploitant les méthodes de Lagrangien Augmenté et la relaxation apprise, le cadre fournit une solution pratique et scalable aux contraintes ponctuelles qui évite l'intraitabilité de l'imposition de contraintes strictes sur chaque échantillon sans relaxation.
• Flexibilité : Le cadre se montre adaptable à diverses contraintes (sécurité, préférences, longueur) et tâches, offrant une approche unifiée de l'ajustement fin contraint qui surpasse les méthodes de contrainte moyenne et de pénalité fixe existantes pour réduire les violations du pire cas.

Les auteurs concluent que si les contraintes moyennes peuvent suffire pour la performance générale, les contraintes ponctuelles sont essentielles pour un déploiement robuste, équitable et sûr, offrant de meilleurs compromis entre utilité et satisfaction des contraintes.