Résumé technique : DUET – Optimisation des mélanges de données d'entraînement des LLM via des retours bruités provenant de tâches d'évaluation invisibles

1. Énoncé du problème

La performance des grands modèles de langage (LLM) dépend fortement de l'alignement entre le domaine des données d'entraînement et la tâche d'évaluation en aval. Cependant, dans de nombreux scénarios de déploiement pratiques, la distribution spécifique des données, le domaine ou les étiquettes de la tâche d'évaluation sont inconnus. Cela est désigné comme le cadre de la tâche d'évaluation invisible.

Des exemples courants incluent :

• Conversations chiffrées de bout en bout : Les propriétaires de LLM ne peuvent pas accéder aux données réelles des conversations entre utilisateurs et chatbots en raison de contraintes de confidentialité (par exemple, politiques de confidentialité d'entreprise), mais peuvent observer des retours grossiers tels que les notations des utilisateurs ou la durée des sessions.
• Places de marché de modèles : Un propriétaire de modèle vend un modèle à un consommateur qui fournit des retours sur la performance sans partager les données d'évaluation sensibles utilisées par le consommateur.

Dans ces contextes, le propriétaire ne reçoit que des retours grossiers et bruités (par exemple, notations, temps d'achèvement de la tâche) plutôt que des informations de données fines (gradients, étiquettes ou distributions). Les méthodes existantes de mélange de données (par exemple, DoReMi, BiMix) et les techniques de sélection de données (par exemple, LESS, ensembles de cœur) nécessitent généralement l'accès à des données d'évaluation fines ou supposent que la distribution d'entraînement correspond à la distribution de la tâche. Par conséquent, elles échouent ou fonctionnent de manière sous-optimale lorsqu'elles sont appliquées directement à des contextes où les données d'évaluation sont inaccessibles. Le défi central est le suivant : Comment peut-on optimiser efficacement le mélange de données d'entraînement d'un LLM en utilisant uniquement plusieurs rounds de retours bruités provenant d'une tâche invisible ?

2. Méthodologie : DUET

L'article propose DUET (Optimisation des mélanges de données d'entraînement des LLM via des retours bruités provenant de tâches d'évaluation invisibles), un nouvel algorithme global-vers-local qui entrelace la sélection de données avec l'optimisation bayésienne (BO).

2.1 Reparamétrisation du problème

Les auteurs reparamètrent le problème d'optimisation. Au lieu de rechercher directement l'ensemble optimal de points de données $X^*$, ils recherchent le ratio de mélange optimal $r \in \mathbb{R}^n$ à travers $n$ domaines de données d'entraînement. Le problème est formulé comme une optimisation bi-niveau :

• Niveau externe (Global) : Trouver le ratio de mélange optimal $r$ qui minimise la perte de la tâche d'évaluation invisible.
• Niveau interne (Local) : Pour un ratio donné $r$, trouver le sous-ensemble de données de haute qualité $X \in S_r$ (où $S_r$ est l'ensemble des mélanges de données satisfaisant le ratio $r$) qui minimise la perte.

2.2 La boucle interne : Sélection de données

Pour résoudre le problème interne, DUET emploie une stratégie de sélection de données pour récupérer des points de données de haute qualité de chaque domaine selon le ratio proposé $r$.

• Fonctions d'influence (IF) : L'article utilise principalement les fonctions d'influence comme mécanisme de sélection. Pour chaque domaine, un LLM distinct est affiné (fine-tuned) et les scores IF sont calculés pour chaque point de données par rapport à un ensemble de validation.
• Échantillonnage pondéré par IF : Au lieu d'un échantillonnage aléatoire uniforme, DUET effectue un échantillonnage pondéré où la probabilité de sélectionner un point de données est proportionnelle à son score IF. Cela biaise la sélection vers des points de données plus "influents" dans la réduction de la perte du modèle.
• Estimateur : La solution du problème interne est estimée en entraînant un LLM sur le mélange sélectionné et en l'évaluant sur la tâche invisible. Les auteurs caractérisent théoriquement la distribution de cet estimateur, montrant que l'échantillonnage piloté par IF réduit la variance et le biais par rapport à un échantillonnage aléatoire uniforme.

2.3 La boucle externe : Optimisation bayésienne

La boucle externe utilise l'optimisation bayésienne pour affiner itérativement le ratio de mélange $r$.

• Objectif boîte noire : La fonction $f(r)$ représente la perte de la tâche invisible pour un ratio donné $r$. Puisque cette perte est obtenue via l'estimateur de la boucle interne bruité, $f(r)$ est traitée comme une fonction boîte noire avec des observations bruitées.
• Processus gaussien (GP) : DUET modélise $f(r)$ en utilisant un a priori GP.
• Fonction d'acquisition : À chaque itération $t$, DUET propose un nouveau ratio de mélange $r_t$ en minimisant la fonction d'acquisition de la borne inférieure de confiance (LCB), équilibrant exploration et exploitation.
• Boucle de rétroaction : Le ratio proposé $r_t$ est utilisé pour échantillonner des données, affiner le LLM et observer le retour bruité. Cette observation est ajoutée à l'historique pour mettre à jour l'a posteriori du GP, et le processus se répète pendant $T$ itérations.

2.4 Flux de l'algorithme

1. Initialisation : Pré-calculer les scores IF pour tous les points de données dans les domaines d'entraînement. Initialiser la BO avec des mélanges de données aléatoires.
2. Itération :
   • La BO propose un ratio de mélange $r_t$.
   • Effectuer un échantillonnage pondéré par IF pour générer un mélange de données $X_t$ satisfaisant $r_t$.
   • Affiner le LLM sur $X_t$ et observer le retour bruité (perte d'évaluation) provenant de la tâche invisible.
   • Mettre à jour l'a posteriori du GP avec $(r_t, \text{retour})$.
3. Terminaison : Après $T$ itérations, retourner le mélange de données ayant les meilleures performances observé.

3. Contributions clés

1. Nouveau cadre de problème : L'article définit un cadre réaliste où les données d'évaluation sont inconnues (tâche invisible) mais où des retours grossiers et bruités sont disponibles, le distinguant des tâches d'adaptation de domaine ou de généralisation standard.
2. Algorithme DUET : Introduction d'un cadre global-vers-local qui entrelace la sélection de données (spécifiquement l'échantillonnage piloté par IF) avec l'optimisation bayésienne pour optimiser les mélanges de données sans données de tâche fines.
3. Garanties théoriques : Les auteurs fournissent une analyse théorique de la convergence de DUET en bornant le regret cumulatif. Ils montrent que DUET converge vers le mélange de données d'entraînement optimal même avec des retours bruités, à condition que le nombre d'itérations de BO augmente.
4. Validation empirique : Des expériences extensives démontrent que DUET surpasse les mélanges de données existants (DoReMi, Aioli) et les bases de sélection (LESS) dans les deux contextes de tâches invisibles en domaine et hors domaine.

4. Résultats expérimentaux

Les expériences ont été menées en utilisant Llama-3-8b-Instruct et Qwen2.5-7B-Instruct affinés via PEFT (LoRA).

• Ensembles de données : 9 domaines d'entraînement (par exemple, Wikitext, GSM8K, PubMedQA, TruthfulQA) et diverses tâches d'évaluation invisibles (certaines en domaine, d'autres hors domaine).
• Bases de comparaison : Comparaison avec DoReMi, LESS, Aioli, BO multi-fidélité et approches naïves (mélange uniforme, recherche aléatoire).
• Performance :
  • DUET a constamment obtenu des scores de performance plus élevés sur toutes les tâches d'évaluation par rapport aux bases de comparaison.
  • Dans les tâches en domaine (par exemple, TruthfulQA), DUET a réussi à identifier et à pondérer fortement le domaine d'entraînement pertinent.
  • Dans les tâches hors domaine (par exemple, GSM8K sans données d'entraînement GSM8K), DUET a efficacement exploité les retours pour trouver des domaines proxy pertinents (par exemple, Wikitext, SciQ), surpassant les méthodes qui ne pouvaient pas s'adapter aux retours.
• Études d'ablation :
  • Sélection de données : DUET avec échantillonnage piloté par IF (DUET-IF) a surpassé DUET avec échantillonnage aléatoire uniforme (DUET-UR) et d'autres méthodes de sélection comme LESS et le déterminant-logarithme.
  • Taille de l'échantillon ($k$) : L'augmentation du nombre d'échantillons $k$ dans la boucle interne a amélioré la performance, bien que $k=1$ ait suffi à battre les bases de comparaison.
  • Composantes : La composante BO et la composante de sélection de données se sont toutes deux révélées nécessaires pour une performance optimale.

5. Importance et revendications

L'article revendique que DUET est le premier travail à entrelacer la sélection de données avec l'optimisation bayésienne pour optimiser itérativement les mélanges de données d'entraînement basés sur des retours provenant d'une tâche d'évaluation invisible.

• Pertinence pratique : Il comble une lacune critique dans le déploiement des LLM où la confidentialité ou la propriété des données empêche l'accès aux données d'évaluation, alors qu'une amélioration itérative est souhaitée.
• Efficacité : En utilisant la BO, la méthode est efficace en échantillons, nécessitant moins de rounds d'entraînement/affinage par rapport à l'énumération par force brute des mélanges de données.
• Flexibilité : Le cadre est suffisamment flexible pour intégrer différentes méthodes de sélection de données (IF, LESS, ensembles de cœur) selon le budget computationnel, bien que l'IF se révèle être la plus efficace dans leur contexte.
• Solidité théorique : L'analyse de convergence fournit une base théorique expliquant pourquoi l'algorithme fonctionne malgré le bruit et l'absence de données fines.

Les auteurs notent que, bien que l'accent actuel soit mis sur l'affinage, l'approche est théoriquement adaptable au pré-entraînement, bien qu'ils ne revendiquent pas avoir résolu l'optimisation du pré-entraînement dans ce travail. Ils reconnaissent également que le calcul des scores IF peut être intensif en calculs, mais suggèrent le pré-calcul et les modèles de substitution comme atténuations pratiques.