Résumé Technique : Aligner les Modèles de Langage avec la Prédiction Sélective

Énoncé du Problème

Les grands modèles de langage (LLM) sont de plus en plus déployés dans des domaines à enjeux élevés tels que la finance, la santé et le droit. Dans ces contextes, le coût d'une décision erronée dépasse souvent considérablement le coût d'un recours à un humain. Les paradigmes d'entraînement standard des LLM exigent que les modèles répondent à chaque requête, indépendamment de leur certitude interne, ce qui conduit à des « erreurs confiantes » et à des hallucinations.

Bien que la Calibration de la Confiance (CC) soit souvent considérée comme un prérequis pour la Prédiction Sélective (SP), les auteurs soutiennent que la CC n'est ni suffisante ni nécessaire pour une SP efficace.

• La CC garantit que les scores de confiance assignés correspondent à la véritable probabilité de justesse (par exemple, une confiance de 80 % implique une chance de 80 % d'avoir raison).
• La SP exige que les prédictions correctes soient classées plus haut que les incorrectes sur la base de la confiance, permettant au modèle de s'abstenir pour les requêtes à faible confiance afin de réduire le taux d'erreur sur le sous-ensemble sélectionné.

L'article démontre qu'une calibration parfaite ne garantit pas une prédiction sélective parfaite (comme le montre la Fig. 1), et inversement, une SP parfaite peut exister avec une confiance mal calibrée si le classement est correct. Les méthodes d'alignement existantes, telles que l'Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR) et l'Apprentissage par Renforcement avec Récompenses de Calibration (RLCR), se concentrent respectivement sur la précision ou les métriques de calibration, mais échouent à optimiser directement le compromis risque-couverture requis pour la SP.

Méthodologie : Apprentissage par Renforcement pour la Récompense de Sélection (RLSR)

Les auteurs proposent le RLSR, un nouveau cadre d'alignement qui optimise directement les LLM pour la performance de la Prédiction Sélective en utilisant l'algorithme Group Relative Policy Optimization (GRPO). L'objectif central est de minimiser l'Aire Sous la Courbe Risque-Couverture (AURC), une métrique standard résumant le compromis entre le taux d'erreur (risque) et la proportion d'entrées traitées (couverture).

Défis Techniques Clés et Solutions

L'intégration de l'AURC dans un cadre d'apprentissage par renforcement présente deux défis principaux, que le RLSR traite via des innovations spécifiques :

1. Récompenses Creuses et Unilatérales :

   • Défi : La formulation canonique de l'AURC ne pénalise que les erreurs (prédictions incorrectes) et ne fournit aucun signal de récompense pour les prédictions correctes. Cela conduit à des signaux d'apprentissage creux et ne parvient pas à imposer une marge entre la confiance des réponses correctes et incorrectes.
   • Solution : Les auteurs introduisent un objectif AURC Soulevé (Lifted AURC). Ils reformulent l'indicateur d'erreur binaire $I\{f(x) \neq y\}$ en une variable signée $(2I\{f(x) \neq y\} - 1) \in \{-1, +1\}$. Cela crée une dynamique de « poussée-traction » où les prédictions correctes reçoivent des récompenses positives et les incorrectes des récompenses négatives, encourageant activement le modèle à séparer les distributions de confiance des réponses correctes et incorrectes.

2. Dépendance au Classement Global :

   • Défi : L'AURC est une métrique au niveau de la population dépendant du classement global de tous les scores de confiance des échantillons. La descente de gradient stochastique (SGD) standard par mini-lots ne peut pas calculer les classements globaux sans itérer sur l'ensemble du jeu de données, ce qui contredit l'efficacité de l'entraînement par lots.
   • Solution : Le RLSR emploie une Stratégie d'Entraînement par Lots. Pour chaque étape d'entraînement, le modèle génère $G$ déroulements pour chaque $B$ de prompts. Ces $B \times G$ échantillons sont regroupés dans un « lot effectif ». Les rangs et les poids sont calculés au sein de ce lot effectif pour approximer l'AURC globale. Cela permet à l'algorithme de rester compatible avec le GRPO standard tout en approximant la métrique de la population.

Aperçu de l'Algorithme

La fonction de récompense $R_{RLSR}$ pour un échantillon $i$ est définie par :
$$R_{RLSR}(y_i, \hat{y}_i, s_i) = \begin{cases} +\hat{\alpha}_i & \text{si } \hat{y}_i = y_i \\ -\hat{\alpha}_i & \text{si } \hat{y}_i \neq y_i \end{cases}$$
où $\hat{\alpha}_i$ est un poids dérivé du rang de l'échantillon au sein du lot effectif (basé sur la formulation du nombre harmonique de l'AURC). Le modèle est ensuite mis à jour en utilisant la fonction d'avantage GRPO, qui normalise les récompenses au sein de groupes de déroulements pour le même prompt.

Principales Contributions

1. Alignement Direct de la SP : C'est le premier travail proposant d'aligner directement les LLM pré-entraînés avec les métriques de Prédiction Sélective, plutôt que de s'appuyer sur des objectifs intermédiaires comme la calibration.
2. Cadre RLSR : L'introduction d'un nouveau cadre d'alignement qui utilise un objectif d'AURC Soulevé et une stratégie d'entraînement par lots pour surmonter les obstacles techniques de l'optimisation de l'AURC via l'apprentissage par renforcement.
3. Supériorité Empirique : Des expériences approfondies démontrant que le RLSR surpasse les bases solides (RLVR et RLCR) tant dans les contextes in-domain que out-of-domain.

Résultats Expérimentaux

Les auteurs ont évalué le RLSR sur les modèles Qwen2.5-7B et Llama-3.1-8B à travers plusieurs jeux de données (HotPotQA, BigMath, et divers benchmarks OOD comme GSM8K, GPQA et MedQA).

• Compromis Risque-Couverture : Le RLSR a systématiquement obtenu des scores AURC plus faibles (indiquant une meilleure performance) que le RLVR et le RLCR. Par exemple, sur HotPotQA (in-domain), le RLSR a atteint un AURC de 0,44, surpassant nettement le RLVR (0,56) et le RLCR (0,51).
• Précision à Faible Couverture : Dans des scénarios à enjeux élevés où une faible couverture est acceptable pour une haute précision, le RLSR a montré une performance supérieure. À 10 % de couverture sur HotPotQA, le RLSR a atteint 66,0 % de précision, contre 45,5 % pour le RLVR et 53,5 % pour le RLCR.
• Généralisation Hors-Domaine (OOD) : Le RLSR a maintenu de solides performances sur les tâches OOD, alors que le RLVR et le RLCR ont souvent décliné ou montré des améliorations incohérentes. Cela suggère que le RLSR apprend un classement de confiance plus robuste plutôt que de sur-apprendre des propriétés distributionnelles spécifiques.
• Déploiement sous Contrôle de Risque : Dans une simulation de déploiement médical (MedQA) avec une précision cible de 75 %, le RLSR était la seule méthode capable d'atteindre la précision cible tout en maintenant un taux de couverture raisonnable. Le RLVR n'a pas réussi à atteindre la précision cible quel que soit le seuil, et la performance du RLCR a chuté de manière significative sur l'ensemble de test par rapport à la validation.
• Séparation de la Confiance : L'analyse des distributions de confiance (Fig. 3) a confirmé que la récompense de l'AURC Soulevé a réussi à créer une marge (écart) plus grande entre les scores de confiance des prédictions correctes et incorrectes par rapport à l'AURC standard ou aux récompenses basées sur la calibration.

Signification et Revendications

L'article affirme que le RLSR fournit une approche fondée sur des principes pour améliorer la fiabilité des LLM pour un déploiement réel. En optimisant directement le compromis risque-couverture, le RLSR permet aux LLM de s'abstenir efficacement de répondre lorsqu'ils sont incertains, réduisant ainsi les taux d'erreur dans les applications critiques sans nécessiter l'intervention humaine pour chaque requête.

Les auteurs soulignent que si la calibration (ECE) est une métrique utile, elle n'est pas un substitut de la performance de la prédiction sélective. Optimiser pour la calibration ne garantit pas nécessairement l'amélioration du classement des réponses correctes versus incorrectes, ce qui est l'exigence fondamentale de la SP. Par conséquent, le RLSR représente une voie plus directe et plus efficace pour déployer des LLM dans des environnements à enjeux élevés où le contrôle de l'erreur est primordial.

Limites : Les auteurs notent que leur alignement actuel se concentre sur la métrique globale de l'AURC. Ils reconnaissent que dans des contextes réels à enjeux élevés, un niveau de risque spécifique est souvent connu à l'avance, suggérant que des travaux futurs pourraient formuler des objectifs de maximisation de la couverture sous contrainte de risque.