Résumé Technique : Personnalisation des LLM par Feedback Binaire (C-BPO)

1. Énoncé du Problème

La personnalisation des Grands Modèles de Langage (LLM) vise à aligner les comportements du modèle sur les préférences individuelles des utilisateurs. Bien que les méthodes existantes utilisent l'incitation par récupération (retrieval-based prompting) ou le fine-tuning efficace en paramètres (PEFT) sur des historiques d'utilisateurs isolés, elles négligent souvent le rôle critique des différences inter-utilisateurs. Des insights récents en sciences comportementales suggèrent que l'individualité est définie par la façon dont un utilisateur dévie de la population générale.

Les cadres d'optimisation des préférences actuels, tels que l'Optimisation Directe des Préférences (DPO), nécessitent des paires contrastives (complétions préférées vs non préférées pour le même entrée), qui sont indisponibles dans les données historiques brutes et non appariées des utilisateurs. Bien que des avancées récentes permettent l'alignement via un feedback binaire (par exemple, "pouce en haut" ou "pouce en bas" sur des points de données individuels), l'application directe de ces méthodes à la personnalisation introduit un défaut fondamental : le chevauchement des préférences.

Dans un contexte personnalisé, traiter les données d'autres utilisateurs comme purement des signaux "négatifs" (pouces en bas) est problématique. Ces ensembles de données auxiliaires partagent inévitablement des connaissances génériques spécifiques à la tâche et des préférences stylistiques à l'échelle de la communauté avec l'utilisateur cible. Pénaliser naïvement ces données force le modèle à supprimer erronément des fonctionnalités partagées et utiles, dégradant ainsi les performances générales tout en tentant de capturer des nuances individuelles.

2. Méthodologie : Cadre C-BPO

Les auteurs proposent C-BPO (Optimisation des Préférences par Feedback Binaire Calibrée par Préférence), un cadre qui personnalise les LLM en exploitant la variabilité inter-utilisateurs comme un signal contrastif naturel tout en corrigeant le chevauchement des préférences.

2.1 Formulation de Base

C-BPO formule la personnalisation comme un problème d'optimisation par feedback binaire :

• Signaux Positifs ($D_+$) : Les données d'interaction historiques de l'utilisateur cible ($H_{tar}$).
• Signaux Négatifs Implicites ($D_-$) : Données issues d'un pool d'utilisateurs auxiliaires ($H_{aux}$).

Contrairement aux méthodes standard d'Optimisation des Préférences par Feedback Binaire (BPO) (par exemple, KTO, BCO) qui supposent des étiquettes négatives "propres", C-BPO reconnaît que $H_{aux}$ est un mélange de vrais signaux négatifs (dégoûts spécifiques à l'utilisateur) et de signaux positifs (préférences communautaires partagées).

2.2 Objectif Calibré par Préférence via l'Apprentissage PU

Pour résoudre le problème du chevauchement des préférences, C-BPO dérive un objectif d'optimisation fondé sur la théorie de l'apprentissage Positif-Inconnu (PU). L'idée centrale est que les données auxiliaires agissent comme un ensemble non étiqueté contenant un mélange de distributions positives et négatives.

Les auteurs reformulent l'estimation du risque pour récupérer le vrai risque négatif en soustrayant le "biais positif" (le risque attendu des préférences cibles trouvé au sein des données utilisateurs plus larges). La fonction objectif finale ($L_{C-BPO}$) est définie comme suit :

$$L_{C-BPO} = L_{pos} + \frac{1}{1-\alpha} \max \{0, L_{pure\_neg}\}$$

Où :

• $L_{pos}$ : La perte sur les données de l'utilisateur cible (Alignement Positif).
• $L_{pure\_neg}$ : La Perte Négative Purifiée, calculée comme $E_{H_{aux}}[l(g, -1)] - \alpha E_{H_{tar}}[l(g, -1)]$.
• $\alpha$ : Un coefficient de correction ($0 < \alpha < 1$) représentant le degré de chevauchement des caractéristiques de préférence entre l'utilisateur cible et les utilisateurs auxiliaires. Il quantifie la proportion de données auxiliaires qui fonctionnent comme un signal positif.

Cette formulation "purifie" explicitement les signaux négatifs, assurant que le modèle se concentre sur les idiosyncrasies individuelles uniques plutôt que de supprimer l'utilité générale.

2.3 Gestion du Déséquilibre des Données

Dans les scénarios personnalisés, le volume de données auxiliaires dépasse souvent largement celui des données de l'utilisateur cible. Les méthodes BPO standard estiment un point de référence ($\delta$) en moyennant les récompenses sur un lot, ce qui peut dériver si le lot est déséquilibré. C-BPO introduit une estimation de point de référence par Moyenne Mobile Exponentielle (EMA) indépendante. Elle maintient des statistiques EMA séparées pour les récompenses positives et auxiliaires, calculant $\delta_{EMA}$ comme leur moyenne. Cela garantit une frontière de décision stable, invariante au déséquilibre des données au niveau du lot.

3. Contributions Clés

1. Cadre Novel : L'article est le premier à formuler la personnalisation des LLM comme un problème d'optimisation des préférences par feedback binaire, utilisant la variabilité inter-utilisateurs comme un signal contrastif naturel pour l'alignement au niveau individuel sans nécessiter de données appariées.
2. Innovation Théorique : Les auteurs identifient le problème du "chevauchement des préférences" dans le BPO standard pour la personnalisation et formulent un objectif calibré par préférence basé sur la théorie de l'apprentissage PU pour atteindre un alignement des préférences non biaisé.
3. Validation Empirique : Des expériences extensives sur cinq tâches de génération personnalisée (Titres d'articles, Titres académiques, Résumés, Critiques et Rédaction de sujets) et divers LLM de base (LLaMA, Qwen, Mistral) démontrent que C-BPO surpasse systématiquement de solides méthodes de référence, y compris les adaptateurs basés sur SFT et les méthodes existantes par feedback binaire.

4. Résultats Expérimentaux

Les auteurs ont évalué C-BPO sur les benchmarks LaMP et LongLaMP en utilisant les architectures de base Mistral-7B, LLaMA-3 et Qwen2.5.

• Performance : C-BPO a systématiquement obtenu les meilleurs scores ROUGE-1 et ROUGE-L sur toutes les tâches. Par exemple, sur la tâche de titres d'articles, C-BPO a obtenu un ROUGE-L de 0,198, surpassant la meilleure méthode de référence (CoPE, une méthode basée sur DPO) à 0,184 et les méthodes BPO standard (BCO à 0,179).
• Comparaison avec les Méthodes de Référence :
  • Les méthodes standard par feedback binaire (KTO, BCO) ont souvent sous-performé par rapport aux méthodes de référence basées sur SFT (OPPU) lorsqu'elles étaient appliquées naïvement à la personnalisation, confirmant l'effet néfaste du chevauchement des préférences non corrigé.
  • C-BPO a surpassé les méthodes basées sur DPO (CoPE) qui nécessitent un échantillonnage de rejet complexe pour construire des paires négatives.
• Études d'Ablation :
  • Volume de Données Auxiliaires : L'augmentation du volume de données auxiliaires ne garantit pas des gains monotones ; une quantité suffisante de données de l'utilisateur cible est requise pour ancrer le processus de débiaisage.
  • Unicité de l'Utilisateur : C-BPO a montré les améliorations les plus significatives dans les groupes d'utilisateurs "Uniques" (grande distance inter-utilisateurs), tandis que les méthodes BPO standard n'ont pas progressé dans les groupes "Non-unicaires" (fort chevauchement).
  • Point de Référence : La stratégie EMA indépendante était cruciale pour la stabilité, empêchant les baisses de performance lorsque les ratios de données étaient déséquilibrés.

5. Importance et Revendications

L'article revendique que C-BPO offre une solution robuste, théoriquement fondée et évolutive pour aligner les LLM sur des préférences individuelles nuancées. Son importance réside dans :

• Efficacité : Il élimine le besoin de construire des paires contrastives coûteuses (comme dans DPO) ou de s'appuyer sur des LLM à haute ressource pour des comparaisons textuelles.
• Utilisation des Données : Il exploite efficacement les données historiques brutes et non appariées des utilisateurs cibles et auxiliaires, transformant le "bruit" des préférences partagées en un signal calibré.
• Généralisation : Le cadre est agnostique au modèle et efficace à travers différentes architectures de base et types de tâches.

Les auteurs reconnaissent des limitations, notamment la sensibilité au coefficient de calibration $\alpha$ (bien qu'une méthode d'estimation soit fournie) et la nécessité d'accéder à un ensemble de données auxiliaires centralisé, ce qui pose des défis de confidentialité dans des contextes fédérés ou sur appareil. Cependant, ce travail établit un nouveau paradigme pour la personnalisation qui va au-delà de la modélisation de l'historique isolé vers une comparaison explicite et calibrée par préférence entre utilisateurs.