Résumé Technique : SELECT-LLM

Énoncé du Problème

La prolifération rapide des Grands Modèles de Langage (LLM) a créé un défi significatif en matière de sélection de modèles. Bien que les LLM modernes possèdent de fortes capacités en zéro-shot, leur performance relative est hautement dépendante du contexte, variant considérablement selon les domaines, les tâches et les langues. Identifier le LLM optimal pour une application spécifique nécessite généralement d'évaluer des candidats contre des ensembles de références fixes. Cependant, l'évaluation standard devient de plus en plus difficile à utiliser pour la sélection car les références ont souvent du retard par rapport aux nouvelles versions de modèles et peuvent ne pas refléter les besoins spécifiques à un domaine.

Une alternative plus pratique consiste à utiliser de petits sous-ensembles annotés de requêtes pour sélectionner le meilleur modèle. Cependant, la sélection aléatoire ou heuristique de ces sous-ensembles conduit souvent à une utilisation inefficace des budgets d'annotation et échoue à révéler des différences de performance significatives parmi les candidats. Bien que l'apprentissage actif ait été largement étudié pour les tâches de classification, les méthodes existantes pour les contextes génératifs sont limitées, restreignant souvent les comparaisons à deux modèles ou se concentrant sur le test d'un seul modèle plutôt que sur la sélection parmi des pools arbitraires de candidats. Le problème central abordé est comment identifier de manière fiable le meilleur LLM pour une tâche cible et une distribution de données sous des ressources d'annotation limitées.

Méthodologie : SELECT-LLM

Les auteurs proposent SELECT-LLM, un cadre pour la sélection active de modèles de LLM. L'objectif est de sélectionner un petit ensemble de $b$ requêtes (où $b \ll n$) parmi un pool de $n$ requêtes non annotées de telle sorte que leurs annotations réduisent au maximum l'incertitude sur l'identité du meilleur modèle.

Formulation

Le problème est formulé comme la maximisation de l'information mutuelle entre l'identité inconnue du meilleur modèle ($F$) et les annotations acquises ($A$). Les auteurs définissent le meilleur modèle comme celui obtenant le score de performance moyen le plus élevé sur l'ensemble des requêtes lorsqu'il est évalué par rapport à des références de vérité terrain.

Pour rendre cela traitable, ils adoptent une formulation probabiliste où la probabilité d'une sortie de modèle est proportionnelle à sa similarité avec la réponse de référence, régie par un paramètre de température $\tau$. L'objectif est de sélectionner les requêtes qui maximisent le gain d'information attendu :
$$A_{opt}[b] = \arg \max_{A \subseteq \{(q_i, r_i)\}, |A| \le b} I(F; A)$$

Algorithme et Approximation

Le calcul direct du gain d'information est intraitable pour la génération ouverte en raison de l'espace de référence non borné. SELECT-LLM dérive une règle de sélection traitable grâce à trois approximations clés :

1. Approximation de Taylor : Le terme logarithmique dans l'objectif d'information mutuelle est approximé à l'aide d'un développement de Taylor du second ordre, convertissant l'objectif en une forme quadratique impliquant des comparaisons par paires.
2. Linéarisation : Le modèle de vraisemblance est linéarisé localement, remplaçant les différences de probabilité par des différences de scores de similarité entre les sorties de modèles et les références potentielles.
3. Substitution de Similarité : La moyenne sur les réponses de référence possibles est approximée par la dissimilarité entre les sorties des modèles candidats eux-mêmes.

Cela aboutit à une règle de sélection gloutonne (Équation 5) qui sélectionne la prochaine requête $q_t$ en minimisant la similarité par paires pondérée par l'a posteriori entre les sorties des modèles candidats :
$$q_t = \arg \min_{q \in U_t} \sum_{j=1}^{m} \sum_{k=1}^{m} P(F = f_j | A_t) P(F = f_k | A_t) s(f_j(q), f_k(q))$$
Intuitivement, l'algorithme privilégie les requêtes où les modèles candidats les plus plausibles produisent les réponses les plus dissimilaires, maximisant ainsi l'information obtenue à partir d'une seule annotation.

Nature Agnostique du Modèle

Une caractéristique critique de SELECT-LLM est qu'il repose uniquement sur les réponses générées par les modèles. Il ne nécessite pas l'accès aux poids du modèle, aux logits ou aux états internes. Cela rend le cadre applicable aux LLM à poids ouverts et aux LLM boîtes noires (uniquement via API).

Sélection des Paramètres

Le paramètre de température $\tau$, qui contrôle la netteté de la distribution a posteriori, est sélectionné avant le processus de sélection active sans nécessiter d'annotations d'oracle. Les auteurs utilisent un signal proxy bruité dérivé des similarités par paires entre les réponses des modèles pour effectuer une recherche par grille et identifier le $\tau$ qui produit les meilleures performances d'identification.

Contributions Clés

1. Première Formulation : À la connaissance des auteurs, il s'agit de la première formulation et étude de la sélection active de modèles pour les LLM sous des budgets d'annotation limités.
2. Cadre SELECT-LLM : Un cadre principiel et agnostique du modèle qui sélectionne de manière gloutonne les requêtes pour maximiser le gain d'information. Il dérive une approximation traitable basée sur les similarités par paires entre les sorties de modèles, évitant ainsi le besoin d'accès interne au modèle.
3. Évaluation Complète : Le cadre est validé sur 23 ensembles de données diversifiés (couvrant le raisonnement, la QA, la synthèse, la traduction, etc.) et 156 modèles évalués (incluant des modèles open-source et uniquement via API) en utilisant plusieurs métriques basées sur des références (BERTScore, ROUGE, BLEU, F1, Exact Match, etc.).

Résultats

L'évaluation démontre que SELECT-LLM surpasse constamment les stratégies de base adaptées (incluant Random, Margin, Min Agreement, VMA et AMC) dans tous les contextes :

• Identification du Meilleur Modèle : SELECT-LLM identifie le vrai meilleur modèle en utilisant significativement moins d'annotations que la base la plus forte. Les réductions de coûts d'annotation ont atteint jusqu'à 81,8 % (par exemple, sur l'ensemble de données XSum avec ROUGE-L).
• Sélection de Modèle Presque Meilleur : Lorsque l'objectif est assoupli pour identifier un modèle dans un petit écart de performance ($\delta$) par rapport au meilleur, SELECT-LLM atteint une efficacité encore plus élevée, avec des réductions d'annotation allant jusqu'à 84,78 %.
• Robustesse : En termes d'écart de performance au 95e percentile (la pire différence entre le modèle sélectionné et le vrai meilleur), SELECT-LLM maintient constamment l'écart le plus faible à travers les ensembles de données et les niveaux de probabilité d'identification (70 %, 80 %, 90 %, 100 %), indiquant une robustesse même dans des réalisations difficiles.
• Généralisation : La méthode fonctionne bien à travers diverses familles de tâches et métriques d'évaluation, indiquant qu'elle n'est pas liée à une règle de score ou un domaine spécifique.

Signification et Revendications

L'article revendique que SELECT-LLM fournit une approche pratique pour la sélection active de modèles dans des contextes réalistes de boîte noire. En se fiant uniquement aux sorties de modèles et à un oracle externe, il comble le fossé entre l'apprentissage actif théorique et les contraintes pratiques du déploiement moderne des LLM.

Les auteurs notent que si la méthode réduit considérablement les coûts d'annotation pour la sélection de modèles, elle opère sous des hypothèses spécifiques :

• Elle suppose un signal d'oracle fiable (évaluation basée sur des références) plutôt que des préférences humaines bruitées ou des systèmes de type LLM-comme-Juge.
• Elle suppose que le pool de candidats et le pool de requêtes sont fixes avant le début de la sélection.

Le travail souligne qu'une sélection efficace peut rendre la comparaison rigoureuse des LLM plus accessible, mais met également en garde que des annotations biaisées ou des critères d'évaluation pourraient conduire à des choix de modèles biaisés, en particulier dans des domaines critiques pour la sécurité. Les auteurs positionnent cela comme une étape fondamentale vers des protocoles d'évaluation des LLM plus efficaces et fiables.