Résumé Technique : LILO : Optimisation Bayésienne avec Retour d'Information en Langage Naturel

1. Définition du Problème

L'article aborde le défi de l'optimisation de fonctions boîte noire coûteuses à évaluer, où l'objectif véritable n'est pas un scalaire directement mesurable, mais plutôt une préférence complexe et subjective d'un Preneur de Décision (PD). Dans de nombreux scénarios réels, la fonction d'utilité $g(y)$ qui mappe les résultats $y$ vers un score de satisfaction est inconnue et difficile à exprimer sous une forme fermée.

Les méthodes traditionnelles d'Optimisation Bayésienne Basée sur les Préférences (PBO) reposent sur des retours d'information structurés, tels que des comparaisons par paires ou des notations scalaires. Cependant, ces formats sont souvent restrictifs, échouant à capturer les objectifs de haut niveau, les compromis et les contraintes qualitatives que les preneurs de décision expriment naturellement en langage naturel. À l'inverse, l'utilisation de Grands Modèles de Langage (LLM) comme optimiseurs de bout en bout manque souvent d'incertitude calibrée et de compromis fondés sur des principes entre exploration et exploitation, conduisant à une faible efficacité d'échantillonnage.

L'objectif est de résoudre le problème d'optimisation composite :
$$x^* := \arg \max_{x \in X} g(f(x))$$
où $f: X \to Y$ est le système boîte noire et $g: Y \to \mathbb{R}$ est la fonction d'utilité latente, en utilisant un retour d'information en langage naturel libre du PD pour guider la recherche.

2. Méthodologie : Cadre LILO

Les auteurs proposent l'Optimisation en Boucle avec Langage (LILO), un cadre hybride qui intègre l'expressivité des LLM avec la fiabilité de l'Optimisation Bayésienne basée sur les Processus Gaussiens (GP). LILO positionne le LLM comme un agent d'appui pour l'interprétation des retours d'information plutôt que comme l'optimiseur lui-même.

Flux de Travail Principal

L'optimisation se déroule en $T$ essais séquentiels, chacun consistant en trois étapes :

1. Génération de Candidats et Expérimentation :

   • Un lot d'entrées candidates $\{x_i\}$ est sélectionné.
   • Pour le premier essai ($n=1$), les candidats sont soit échantillonnés uniformément, soit générés via une incitation (prompting) du LLM si des connaissances préalables sont fournies.
   • Pour les essais suivants, une fonction d'acquisition par lot (par exemple, Log Noisy Expected Improvement) sélectionne des candidats basés sur le modèle proxy GP actuel $M_{n-1}$.
   • La fonction boîte noire $f$ est évaluée pour produire des résultats observables $y_i = f(x_i)$.

2. Acquisition de Retour d'Information :

   • L'agent LILO génère un lot de questions ($B_{pf}$) pour le PD basé sur les données expérimentales accumulées et les retours d'information précédents.
   • Le PD fournit des réponses en langage naturel libre ($a_j$).
   • Ce retour d'information est stocké dans un ensemble de données de retour de préférence $D_{pf}$.

3. Estimation de l'Utilité via Étiquetage par LLM + Modélisation GP :

   • Étiquetage : Le LLM agit comme un interprète, convertissant le retour d'information en langage naturel accumulé en étiquettes de préférence par paires structurées entre les résultats observés. Étant donné une paire de résultats $(y, y')$, le LLM détermine lequel est préféré en fonction du retour textuel du PD.
   • Budgétisation : Pour gérer les coûts des LLM, l'étiquetage est effectué sous un budget $K$. L'article propose une stratégie séquentielle utilisant la fonction d'acquisition qEUBO (Utilité Espérée de la Meilleure Option) pour sélectionner les paires les plus informatives à étiqueter, plutôt qu'un échantillonnage aléatoire.
   • Modélisation : Les préférences par paires étiquetées sont utilisées pour ajuster un modèle de substitution Processus Gaussien par Paires (GP) $M_n$ sur l'espace d'entrée $X$. Ce modèle approxime l'utilité composite $u(x) = g(f(x))$.
   • Le modèle GP fournit une distribution a posteriori sur l'utilité avec une incertitude calibrée, ce qui entraîne la prochaine ronde de sélection de candidats.

Intégration de Connaissances Préalables

LILO prend en charge le "démarrage à chaud" (warm-starting) en incorporant des connaissances préalables textuelles ($P_{prior}$). Au lieu d'une initialisation aléatoire, le LLM est incité à générer des points candidats initiaux basés sur l'expertise du domaine du PD (par exemple, "les entrées dans ces plages devraient donner de bons résultats"), en tirant parti des connaissances préalables du domaine du LLM.

3. Contributions Clés

L'article énonce cinq contributions principales :

1. Cadre LILO : Un cadre BO novateur qui extrait des informations d'utilité via un langage naturel libre, offrant une interface plus expressive que les retours d'information par paires ou scalaires standard.
2. Mécanisme d'Estimation de l'Utilité : Une approche évolutive combinant l'étiquetage de préférences basé sur les LLM avec la modélisation GP, permettant une incertitude calibrée et une exploration fondée sur des principes sous un retour d'information bruité et indirect.
3. Supériorité de Performance : Des preuves empiriques montrant que LILO surpasse à la fois les bases de référence PBO conventionnelles (reposant sur un retour d'information quantitatif) et les optimiseurs uniquement LLM sur des benchmarks synthétiques et réels.
4. Intégration de Connaissances Préalables : Une méthode pour incorporer des priors textuels afin de démarrer l'optimisation à chaud, améliorant considérablement les performances aux premiers stades.
5. Compatibilité avec des Résultats Non Structurés : Démonstration que LILO peut optimiser des résultats non structurés de haute dimension (par exemple, des résumés de texte) sans exiger de modèle de substitution explicite sur l'espace de résultats $Y$, comptant plutôt sur la capacité du LLM à interpréter les résultats.

4. Résultats Expérimentaux

Les auteurs ont évalué LILO sur 10 environnements, incluant des fonctions multi-objectifs synthétiques (DTLZ2), des simulateurs de sécurité automobile, la conception de cabines de voiture, des modèles de confort thermique et la recherche d'architecture neuronale (NAS-Bench-201). Ils ont également testé une tâche de résumé de texte avec des résultats textuels non structurés.

Constats Clés

• Efficacité d'Échantillonnage : LILO surpasse constamment les bases de référence, en particulier aux premiers stades de l'optimisation. Dans les régimes limités en retour d'information, un seul message en langage naturel du PD s'est révélé être approximativement équivalent à 8–16 comparaisons par paires ou évaluations scalaires en termes de progrès d'optimisation.
• Comparaison avec les Bases de Référence :
  • vs. LLM seul : Les méthodes uniquement LLM (directes ou en 2 étapes) plafonnent souvent ou échouent à s'améliorer de manière significative à mesure que les itérations augmentent, manquant des garanties de convergence de l'OB.
  • vs. OB Quantitative : LILO surpasse l'"OB à Vraie Utilité" et l'"OB de Préférence" (qui utilisent des étiquettes scalaires ou par paires de vérité terrain) lors des premiers essais. L'avantage diminue à mesure que le nombre d'essais augmente, mais la densité d'information du langage naturel offre un départ significatif.
• Étiquetage par Paires vs. Scalaire : L'étude a révélé que l'incitation du LLM pour des comparaisons par paires produit des estimations d'utilité plus fiables et un meilleur progrès d'optimisation que l'incitation pour des valeurs d'utilité scalaires directes.
• Connaissances Préalables : L'incorporation de priors de domaine via l'initialisation par LLM a considérablement amélioré le point de départ et les performances globales.
• Résultats Non Structurés : Dans le benchmark de résumé de texte, LILO a optimisé avec succès les paramètres de décodage en utilisant un retour d'information en langage naturel, égalisant la performance des bases de référence avec un retour d'oracle maximal.

5. Importance et Revendications

L'article revendique que LILO représente une avancée significative pour rendre l'Optimisation Bayésienne accessible aux problèmes ayant des objectifs complexes et subjectifs. En plaçant le LLM dans un rôle d'appui pour traduire un langage riche et non structuré en signaux de préférence structurés, le cadre préserve l'efficacité d'échantillonnage, la stabilité et l'incertitude calibrée de l'OB traditionnelle tout en offrant un canal de retour d'information flexible et dense en information.

Les auteurs soulignent que LILO est particulièrement bien adapté aux environnements réels avec des compromis multi-métriques complexes (par exemple, l'expérimentation en ligne, l'optimisation de la conception) où les objectifs explicites sont indisponibles ou difficiles à formaliser. Ils reconnaissent que, bien que LILO excelle dans les régimes limités en retour d'information, ses performances par rapport aux bases de référence quantitatives peuvent converger sur des horizons très longs, et que des travaux futurs pourraient explorer des approches hybrides combinant langage non structuré et retour d'information quantitatif structuré.

Le code pour reproduire les résultats est disponible à l'adresse https://github.com/facebookresearch/lilo.