Résumé Technique : Amélioration des Incertitudes Basées sur la Cohérence dans les LLM via la Recherche en Faisceau

Énoncé du Problème

La Quantification d'Incertitude (UQ) basée sur la cohérence s'est imposée comme une méthode robuste pour évaluer la fiabilité des sorties des Grands Modèles de Langage (LLM), en particulier dans des contextes de boîte noire. Ces méthodes estiment généralement l'incertitude en mesurant le niveau d'accord parmi plusieurs générations produites par échantillonnage multinomial.

Cependant, les auteurs identifient des limitations critiques dans l'application de l'échantillonnage multinomial aux tâches de Question-Réponse (QA) à réponse courte :

1. Redondance Élevée : En raison des distributions de probabilité très concentrées dans les réponses courtes, l'échantillonnage multinomial produit fréquemment des générations dupliquées ou quasi-identiques. L'article note que pour des sorties courtes (2–4 tokens), les taux de redondance peuvent atteindre 30–50 %, entraînant un gaspillage de ressources informatiques.
2. Variance Élevée : Puisque chaque exécution d'échantillonnage produit un ensemble différent de candidats, les estimations d'incertitude résultantes présentent une variance significative d'une exécution à l'autre, compromettant leur robustesse.
3. Inefficacité : Obtenir des estimations stables nécessite souvent un grand nombre d'échantillons, ce qui est coûteux en termes de calcul.

Le problème central est que l'échantillonnage multinomial échoue à explorer efficacement l'espace de sortie du modèle dans les scénarios à réponse courte, entraînant des estimations de confiance bruitées et une quantification d'incertitude sous-optimale.

Méthodologie

L'article propose une nouvelle famille de méthodes d'UQ qui remplacent l'échantillonnage multinomial par la Recherche en Faisceau (Beam Search) pour générer des sorties candidates. La méthodologie repose sur trois insights clés :

1. Candidats Distincts : La recherche en faisceau maintient intrinsèquement les $k$ séquences partielles les plus probables, garantissant des sorties candidates distinctes et réduisant la redondance.
2. Estimation Pondérée par la Probabilité : Traiter simplement les candidats du faisceau comme des échantillons uniformes surpondérerait les sorties à faible probabilité. Au lieu de cela, les auteurs introduisent un estimateur pondéré par l'importance. Ils normalisent les probabilités de séquence des candidats du faisceau ($b^{(i)}$) pour former des poids $w_i$ :
   $$w_i = \frac{p(b^{(i)} | x)}{\sum_{j=1}^M p(b^{(j)} | x)}$$
   Ces poids sont ensuite utilisés pour calculer des métriques basées sur la cohérence (par exemple, Dissimilarité, Excentricité) plutôt qu'une simple moyenne.
3. Justification Théorique : Les auteurs dérivent une borne inférieure théorique sur la masse de probabilité ($m_B$) de l'ensemble du faisceau requise pour que l'estimateur pondéré par le faisceau atteigne une erreur quadratique moyenne (MSE) inférieure à celle de l'estimateur Monte Carlo standard (multinomial). Ils prouvent que si l'ensemble du faisceau couvre une portion suffisante de la masse de probabilité (spécifiquement $m_B > 1 - \frac{1}{2\sqrt{M}}$ pour une condition simplifiée), l'approche par recherche en faisceau produit une erreur plus faible.

Méthodes Adaptées

Les auteurs adaptent plusieurs méthodes d'UQ basées sur la cohérence existantes pour utiliser la recherche en faisceau :

• Dissimilarité : Mesure la différence sémantique attendue entre la réponse principale et les candidats du faisceau, pondérée par $w_i$.
• Excentricité : Utilise un Laplacien de graphe sur la matrice de similarité de tous les échantillons (incluant la réponse principale). Les auteurs modifient le calcul des embeddings pour utiliser des centroïdes pondérés par la probabilité.
• Dissimilarité par Vecteur Propre : Mesure la distance entre l'embedding de la réponse principale et la moyenne pondérée des embeddings d'échantillons dans l'espace du Laplacien.
• CoCoA : Une méthode hybride combinant les vraisemblances au niveau des tokens avec la cohérence des échantillons. Les auteurs remplacent le signal de cohérence par l'estimateur pondéré par le faisceau.

Contributions Clés

1. Identification des Limitations : L'article démontre empiriquement que l'échantillonnage multinomial entraîne une redondance et une variance élevées dans les QA à réponse courte, le rendant sous-optimal pour l'UQ basée sur la cohérence dans ces contextes.
2. Estimateurs Pondérés par le Faisceau : La proposition d'une nouvelle famille de méthodes d'UQ qui utilisent les candidats de la recherche en faisceau avec un pondération par importance pour mieux approximer la distribution du modèle sans générer de duplicatas.
3. Analyse Théorique : La dérivation d'une condition suffisante sans distribution (Théorème 1) garantissant que l'estimateur pondéré par le faisceau surpasse l'estimateur Monte Carlo multinomial lorsque l'ensemble du faisceau capture une masse de probabilité suffisante.
4. Validation Empirique : Évaluation extensive sur six jeux de données QA (TriviaQA, WebQuestions, CoQA, HotpotQA, CommonsenseQA, ARC-Challenge) et six modèles (Gemma 3, Llama 3.1, Qwen 3).

Résultats

Les expériences démontrent que le remplacement de l'échantillonnage multinomial par la recherche en faisceau améliore systématiquement les performances des méthodes d'UQ basées sur la cohérence :

• Performances de l'État de l'Art : Les variantes guidées par le faisceau de la Dissimilarité, de l'Excentricité, de la EigVecDissimilarité et de CoCoA atteignent les scores de Ratio Prédiction-Rejet (PRR) les meilleurs ou deuxième meilleurs dans presque toutes les combinaisons de modèles et de jeux de données.
• Robustesse : Les méthodes par recherche en faisceau montrent une variance significativement plus faible dans les estimations d'incertitude par rapport à l'échantillonnage multinomial.
• Efficacité Échantillonnaire : Les améliorations sont les plus prononcées avec de petits budgets d'échantillons ($M \ge 2$). La recherche en faisceau atteint des scores PRR élevés avec moins de candidats (saturant autour de $M=5$ pour les tâches ouvertes et $M=2$ pour les tâches à choix multiples), tandis que l'échantillonnage multinomial s'améliore plus progressivement.
• Avantage des Réponses Courtes : L'écart de performance entre la recherche en faisceau et l'échantillonnage multinomial est le plus grand pour les longueurs de sortie courtes (où la redondance est la plus élevée) et se réduit à mesure que la longueur de sortie augmente.

Signification et Revendications

L'article revendique que la recherche en faisceau ne doit pas être écartée comme stratégie de décodage pour la quantification d'incertitude. Bien qu'elle soit souvent associée à une génération déterministe et de haute qualité, les auteurs soutiennent que, combinée à un pondération par probabilité, la recherche en faisceau fournit un mécanisme plus efficace et stable pour explorer l'espace de sortie dans les QA à réponse courte que l'échantillonnage multinomial stochastique.

La signification de ce travail réside dans :

• Efficacité Pratique : Elle offre un moyen d'améliorer les performances d'UQ « essentiellement gratuitement » dans des contextes de boîte blanche, car la recherche en faisceau est souvent déjà effectuée ou peut être exécutée avec un coût supplémentaire négligeable par rapport à la génération de $M$ échantillons multinomiaux indépendants.
• Fondement Théorique : Elle fournit une condition formelle selon laquelle la recherche en faisceau est prouvée supérieure à l'échantillonnage pour l'UQ, dépassant les améliorations heuristiques.
• Applicabilité Étendue : La méthode améliore à la fois les métriques purement basées sur la cohérence et les méthodes hybrides (comme CoCoA) qui combinent la cohérence avec les vraisemblances des tokens, suggérant une amélioration généralisable pour l'estimation d'incertitude dans les tâches de génération à réponse courte.

Les auteurs restent modestes concernant les limites, notant que leur évaluation est actuellement restreinte aux contextes de boîte blanche (nécessitant l'accès aux probabilités du modèle) et aux jeux de données QA à réponse courte. Ils reconnaissent que la généralisation à la génération de longs textes et aux contextes de boîte noire (nécessitant une estimation empirique des probabilités) reste une question ouverte.