Résumé Technique : Lorsque les Gradients Entrent en Collision

Énoncé du Problème

La personnalisation de juges basés sur des modèles de langage (LLM) pour des domaines spécifiques nécessite d'optimiser les invites afin de satisfaire simultanément plusieurs critères d'évaluation (par exemple, la fluidité, la pertinence, la cohérence, la consistance). Bien que les méthodes de gradients textuels (par exemple, TEXTGRAD, OPRO) réussissent à automatiser l'optimisation des invites pour des objectifs uniques, elles se heurtent à une barrière structurelle dans les contextes multi-objectifs. Contrairement à l'apprentissage multi-tâches numérique, où des outils de résolution de conflits comme PCGrad ou MGDA s'appuient sur des propriétés de l'espace vectoriel (magnitudes, produits scalaires, sous-espaces linéaires), les gradients textuels sont des chaînes de langage naturel. Par conséquent, les mécanismes existants de résolution de conflits multi-tâches ne peuvent pas être appliqués directement. De plus, les travaux antérieurs n'ont pas systématiquement étudié comment les retours d'information par tâche interagissent au sein d'une seule trajectoire de gradient textuel pour les juges LLM, laissant la faisabilité de l'optimisation d'invites multi-critères inconnue.

Méthodologie

Les auteurs mènent une étude empirique complète sur le jeu de données SUMMEVAL, un benchmark d'évaluation méta de résumé comportant quatre critères distincts (fluidité, pertinence, cohérence, consistance). L'étude utilise un pipeline d'optimisation en quatre étapes :

1. Modèle de Tâche : Prédit les scores pour un lot d'exemples.
2. LLM de Perte : Critique les prédictions par rapport à la vérité terrain pour générer une perte en langage naturel.
3. LLM de Gradient : Agrège les pertes en suggestions structurées de modification d'instructions (gradients textuels).
4. LLM Optimiseur : Réécrit les instructions par tâche de l'invite en fonction du gradient.

La variable expérimentale centrale est le mode de décomposition, paramétré par un code à trois lettres (par exemple, SSS, CCC) indiquant si les étapes de Perte, de Gradient et d'Optimiseur fonctionnent Séparément (S) par tâche ou Combinées (C) sur toutes les tâches conjointement. Les cinq modes testés sont :

• TÂCHE UNIQUE : Des exécutions d'optimisation indépendantes pour chaque tâche.
• SSS : Toutes les étapes séparées par tâche.
• SSC : Perte et Gradient séparés ; Optimiseur combine tous les gradients.
• SCC : Perte séparée ; Gradient et Optimiseur combinent toutes les tâches.
• CCC : Toutes les étapes fonctionnent conjointement sur toutes les tâches.

L'étude évalue ces modes selon deux stratégies de validation : validation MAE (acceptation des mises à jour uniquement si l'Erreur Absolue Moyenne sur un ensemble de test n'augmente pas) et sans validation (acceptation de toutes les mises à jour). La performance est mesurée par la corrélation de rang de Spearman moyennée par tâche ($\bar{\rho}$) sur 12 étapes d'optimisation réparties sur 3 exécutions.

Pour diagnostiquer les échecs, les auteurs introduisent deux métriques au niveau du processus :

1. Spécificité du Gradient : Un score (1–10) mesurant dans quelle mesure un gradient est ciblé sur une seule tâche par rapport à être générique.
2. Adhésion au Retour d'Information : Un score mesurant dans quelle mesure le LLM Optimiseur suit les suggestions du LLM de Gradient.

Résultats Clés

L'étude révèle que l'optimisation d'invites multi-critères stagne fréquemment ou dégrade les performances par rapport à l'invite générique initiale :

• Échec de l'Optimisation : Dans 6 configurations sur 10 (modes de décomposition $\times$ paramètres de validation), le processus d'optimisation n'a jamais amélioré l'invite initiale. Le seul mode multi-tâches à montrer une amélioration modeste était CCC avec validation MAE (+0,012 $\rho$), ce qui n'était pas statistiquement significatif. Seul le référentiel TÂCHE UNIQUE avec validation MAE a obtenu une amélioration significative (+0,031 $\rho$).
• Dilution du Gradient : Lorsque le LLM de Gradient traite plusieurs critères conjointement (modes SCC, CCC), la spécificité du gradient chute de 59 % (passant d'une moyenne de 9,0 dans les modes par tâche à 3,7 dans les modes toutes tâches). Malgré cette baisse, l'adhésion au retour d'information reste élevée (7,8–8,8), indiquant que l'Optimiseur intègre fidèlement des suggestions génériques et peu spécifiques, conduisant à des mises à jour d'invites sous-optimales.
• Interférence des Instructions : Même en utilisant des instructions « oracles » (les instructions par tâche les plus performantes sélectionnées indépendamment), leur combinaison en une seule invite multi-tâches dégrade les performances de −0,053 Spearman par rapport à la référence générique initiale. Cela suggère qu'une interférence au moment de l'inférence, probablement causée par une asymétrie de longueur des instructions (des rubriques verbeuses dominant l'attention par rapport à des instructions brèves), empêche l'agrégation d'instructions individuellement optimales.
• Indicateur d'Hypervolume (HVI) : Bien que la corrélation de Spearman moyenne ait stagné, le HVI a augmenté pour le mode CCC, indiquant que l'optimiseur a découvert des invites spécialisées diverses ayant élargi le front de Pareto, même si aucune invite unique n'a dominé sur toutes les tâches simultanément.

Contributions Clés

L'article apporte trois contributions principales :

1. Étude Empirique : Une évaluation systématique de l'optimisation de gradients textuels multi-critères à travers cinq modes de décomposition, démontrant que les méthodes actuelles échouent largement à améliorer les invites génériques dans les contextes multi-objectifs.
2. Diagnostics au Niveau du Processus : L'introduction des métriques de spécificité du gradient et d'adhésion au retour d'information, qui localisent le goulot d'étranglement dans la qualité du signal de gradient plutôt que dans la conformité de l'optimiseur.
3. Identification des Modes d'Échec : L'isolement de deux modes d'échec distincts :
   • Dilution du gradient au moment de l'optimisation : La perte du signal spécifique à la tâche lorsque plusieurs critères sont traités conjointement par le LLM de gradient.
   • Interférence des instructions au moment de l'inférence : La dégradation des performances lorsque des instructions individuellement optimales sont combinées en une seule invite, indépendamment du processus d'optimisation.

Importance et Revendications

Les auteurs affirment que ces résultats définissent les limites de l'espace de conception pour l'optimisation de juges multi-objectifs utilisant des retours d'information textuels. L'étude démontre que l'extension simple des méthodes de gradients textuels mono-objectif aux contextes multi-critères est insuffisante en raison d'incompatibilités structurelles avec la résolution de conflits dans l'espace vectoriel.

L'importance réside dans l'identification du fait que l'échec n'est pas simplement un manque de puissance d'optimisation, mais un problème fondamental de dilution du signal et d'interférence des instructions. L'article soutient que pour que les praticiens puissent personnaliser de manière fiable les juges selon des critères spécifiques à un domaine, des changements architecturaux sont nécessaires avant que l'optimisation d'invites multi-critères ne fonctionne de manière fiable. Plus précisément, les auteurs suggèrent que traiter un seul mode d'échec (par exemple, améliorer la qualité du gradient) est insuffisant si l'interférence au moment de l'inférence persiste, et vice versa. Ce travail fournit un cadre de diagnostic pour évaluer les approches futures et souligne que les combinaisons naïves d'instructions par tâche sont préjudiciables, nécessitant de nouvelles stratégies pour gérer les retours d'information multi-critères dans les juges LLM.