Résumé technique : Calibration des LLM avec une récompense au niveau sémantique

Énoncé du problème

Alors que les modèles de langage de grande taille (LLM) sont déployés dans des domaines à haut risque tels que la réponse aux questions médicales et le raisonnement juridique, la capacité à estimer quand les sorties sont susceptibles d'être correctes est cruciale. Le Reinforcement Learning avec Récompenses Vérifiables (RLVR) standard optimise la justesse binaire mais échoue à prendre en compte la confiance du modèle. Cette structure de récompense binaire est indifférente aux niveaux de confiance, incitant structurellement à des devinettes trop confiantes car l'expression de la certitude n'entraîne aucune pénalité. Par conséquent, les modèles entraînés par RL présentent souvent des taux d'hallucination accrus et une mauvaise calibration.

Les tentatives récentes pour remédier à cela consistent à entraîner les modèles à produire des scores de confiance verbalisés (par exemple, « Je suis sûr à 80 % ») parallèlement aux réponses. Cependant, l'article soutient que la confiance verbalisée est un proxy peu fiable de l'incertitude. L'analyse empirique montre que ces scores sont hautement sensibles à la formulation des invites et aux variations du texte de réponse, même lorsque le sens sémantique sous-jacent reste identique. La confiance verbalisée échoue souvent à suivre la distribution réelle des significations produites par le modèle, calibrant une interface de rapport plutôt que l'incertitude sémantique réelle du modèle.

Méthodologie : Calibration avec Récompense Sémantique (CSR)

Les auteurs proposent la Calibration avec Récompense Sémantique (CSR), un cadre qui calibre directement les LLM dans l'espace sémantique, évitant ainsi le besoin d'interfaces explicites de rapport de confiance.

Concept de base

La CSR cadre la calibration en termes d'incertitude au niveau sémantique : la distribution des significations qu'un modèle produit lorsqu'il est échantillonné à plusieurs reprises à partir de la même question. Un modèle est considéré comme bien calibré si :

1. Les prédictions correctes forment un cluster sémantique concentré (forte accord sémantique).
2. Les prédictions incorrectes produisent des sorties dispersées et sémantiquement diversifiées (faible accord sémantique).

L'incertitude est estimée a posteriori à partir de la distribution des réponses en utilisant l'Entropie Sémantique, sans exiger que le modèle génère un token de confiance.

Structure de récompense

La CSR utilise un système de récompense dual optimisé via l'Optimisation de la Politique Relative de Groupe (GRPO) :

1. Récompense de justesse vérifiable ($r_{RLVR}$) : Une récompense binaire standard ($1$ si le déroulement correspond à la vérité terrain, $0$ sinon). Cela déplace la masse de probabilité vers les modes sémantiques corrects.
2. Récompense de calibration sémantique ($r_{calibration}$) : Une récompense novatrice qui aligne l'accord sémantique par paires avec la justesse.
   • Pour un groupe de $K$ déroulements, la récompense pénalise un déroulement $C^{(j)}$ si son accord avec les autres déroulements $C^{(i)}$ ne correspond pas à sa justesse par rapport à la vérité terrain.
   • Plus précisément, elle minimise la perte d'entropie croisée binaire entre l'indicateur d'accord par paires $J(C^{(j)}, C^{(i)})$ et l'indicateur de justesse $J(C^{(j)}, C^*)$.
   • Effet : Cela encourage les déroulements corrects à s'accorder entre eux (formant des clusters serrés) et les déroulements incorrects à ne pas s'accorder (favorisant l'exploration loin des modes incorrects).

Objectif d'entraînement

Les auteurs observent que l'optimisation de la récompense de calibration de manière isolée conduit à des modes d'échec dégénérés (soit un effondrement vers une seule réponse incorrecte, soit la génération de réponses incorrectes maximales diversifiées). Pour prévenir cela, ils emploient un calendrier d'Apprentissage par Curriculum :
$$r_{CSR}^{(j)}(t) = r_{RLVR}^{(j)} + \lambda(t) r_{calibration}^{(j)}$$
où $\lambda(t)$ est une fonction non décroissante (calendrier linéaire utilisé dans les expériences). Cela garantit que le modèle établit d'abord une précision non nulle via $r_{RLVR}$ avant que le signal de calibration ne façonne la structure de la distribution.

Intégration

La CSR s'intègre de manière transparente avec GRPO. Puisque GRPO échantillonne déjà un groupe de déroulements pour calculer les avantages, la CSR utilise ce même groupe pour évaluer l'accord sémantique par paires, n'engendrant aucune surcharge d'échantillonnage supplémentaire.

Contributions clés

1. Formulation de la calibration sémantique : Un passage de la confiance verbalisée à l'incertitude au niveau sémantique, offrant une alternative fondée sur des principes aux interfaces de confiance dépendantes des invites.
2. Cadre CSR : Une méthode d'apprentissage par renforcement qui aligne l'accord sémantique par paires avec la justesse, permettant aux modèles d'apprendre une incertitude calibrée sans supervision explicite de la confiance.
3. Validation empirique : Démontrée sur trois familles de modèles (Llama, Qwen, Mistral) et quatre jeux de données de questions-réponses (HotpotQA, TriviaQA, MSMARCO, NQ-Open).

Résultats expérimentaux

Les expériences ont été menées sur 10 000 exemples d'entraînement HotpotQA, avec une évaluation sur 1 000 exemples par jeu de données (incluant des ensembles hors distribution).

• Performance de calibration : La CSR a constamment obtenu l'erreur de calibration attendue (ECE) la plus faible et la plus grande aire sous la courbe ROC (AUROC) dans presque tous les paramètres.
  • Réduction de l'ECE : Jusqu'à 40 % de réduction par rapport aux bases de référence à confiance verbalisée (RD, RLCR).
  • Amélioration de l'AUROC : Jusqu'à 31 % d'amélioration par rapport aux bases de référence à confiance verbalisée.
  • Généralisation : La CSR a maintenu de solides performances de calibration sur les jeux de données hors distribution (OOD), tandis que les méthodes verbalisées ont montré des gains inconstants.
• Précision : La CSR a maintenu une précision compétitive avec le RLVR standard, évitant l'effondrement de la précision observé lors de l'optimisation des récompenses de calibration de manière isolée.
• Efficacité :
  • Coût en tokens : Le coût en tokens de la CSR était comparable aux modèles de base et RLVR et significativement inférieur (2,7x–5,7x) à celui de RLCR, qui nécessite un raisonnement séquentiel et une génération de confiance.
  • Efficacité du juge : Les auteurs ont exploré le remplacement du juge sémantique basé sur LLM par un seuil F1 au niveau des tokens léger. Bien que le juge LLM fût plus robuste, le substitut F1 a préservé l'essentiel des gains de calibration de la CSR, offrant une alternative économe en calcul.
• Robustesse : Les gains de calibration ont persisté à travers différents budgets de déroulement ($K$) et ont été robustes au choix du calendrier de curriculum.

Importance et affirmations

L'article affirme que la CSR adresse la limitation fondamentale des méthodes de confiance verbalisée : leur dépendance à une interface de rapport sensible à la forme de surface et aux variations des invites. En calibrant directement la distribution sémantique du modèle, la CSR atteint :

• Généralisation robuste : Le comportement de calibration se transfère efficacement vers de nouveaux jeux de données avec un contenu lexical différent mais des structures d'incertitude sémantique similaires.
• Fiabilité : Elle fournit un signal d'incertitude plus fiable pour la prise de décision en aval dans des contextes à haut risque.
• Praticité : Elle évite les échecs d'analyse et les contraintes de format associés à la confiance verbalisée (par exemple, les traces de raisonnement de RLCR ou les bins entiers de RD), atteignant un taux d'analyse de 100 % sur toutes les configurations testées.

Les auteurs concluent que la calibration au niveau sémantique représente une direction prometteuse pour l'estimation fiable de l'incertitude, bien qu'ils reconnaissent la surcharge computationnelle du jugement d'équivalence sémantique comme une limitation actuelle, suggérant un travail futur sur des métriques de cohérence basées sur des règles.