Résumé Technique : Quand le Contrôle de Risque Conforme peut-il certifier les sorties des LLM ?

1. Énoncé du Problème

Les grands modèles de langage (LLM) sont de plus en plus déployés pour des tâches de génération structurée — telles que la reconnaissance d'entités nommées (NER), l'extraction JSON, les réponses aux questions (QA) et la classification — où les sorties doivent respecter un schéma spécifique et peuvent être évaluées par rapport à une vérité de terrain. Cependant, ces modèles manquent de garanties de fiabilité formelles. Les méthodes classiques de quantification de l'incertitude (ex: probabilités de jetons, seuils d'entropie) sont souvent mal calibrées pour les pertes structurées, et les politiques d'abstention heuristiques manquent fréquemment les cibles de risque spécifiées par l'utilisateur de 7,5 à 12,5 %.

Le problème central abordé est de déterminer quand le Contrôle de Risque Conforme (CRC) peut formellement certifier qu'une sortie de LLM respecte une cible de risque $\alpha$ définie par l'utilisateur (ex: « taux d'erreur $\le 10 \%$ »), et quand une telle certification est prouvablement impossible, quelle que soit la méthode utilisée.

2. Méthodologie

2.1. Configuration du Problème

Les auteurs définissent un prédicteur sélectif qui émet une prédiction $\hat{y}$ si un score de confiance $s(x, \hat{y}) \ge \lambda$ et s'abstient autrement. L'objectif est de trouver un seuil $\lambda^*$ tel que le risque conditionnel satisfasse :
$$E[R_{task}(\hat{Y}, Y) \mid s(X) \ge \lambda^*] \le \alpha$$
avec une probabilité $\ge 1-\delta$, où $R_{task}$ est un risque spécifique à la tâche (ex: $1 - F_1$ pour NER, $1 - \text{Exact Match}$ pour QA).

2.2. Hiérarchie de Certification

L'article analyse une hiérarchie de bornes utilisées pour sélectionner $\lambda^*$ :

1. Borne de Hoeffding : La borne supérieure de confiance (UCB) standard qui ignore la variance.
2. Borne de Bernstein Empirique : Incorpore la variance de l'échantillon $\hat{\sigma}^2$, fournissant des bornes plus serrées lorsque la variance est faible ($\hat{\sigma}^2 < 1/4$).
3. e-CRC (Basée sur les paris) : Utilise un cadre de test par pari (e-values) pour construire un processus de richesse. Cela s'adapte pleinement à la distribution empirique via des paris séquentiels, offrant la borne la plus serrée, particulièrement dans les régimes de données rares.

Les auteurs prouvent un ordre strict des seuils certifiés : $\Lambda^*_{Hoeff} \subseteq \Lambda^*_{Bern} \subseteq \Lambda^*_{e-CRC}$.

2.3. Résultat d'Impossibilité (Test de Faisabilité)

Une contribution théorique centrale est une borne inférieure fermée sur l'abstention. Les auteurs prouvent que si le risque de base $\mu = E[R]$ du modèle sur la population de déploiement dépasse la cible $\alpha$, toute méthode sans distribution préalable doit s'abstenir sur une fraction significative d'exemples :
$$\text{Abstention} \ge \frac{\mu - \alpha}{1 - \alpha}$$
Cela sert de test de faisabilité : si $\mu > \alpha$, la certification n'est possible qu'en rejetant une partie importante des entrées.

2.4. Inférence Conforme Adaptative (ACI)

Pour traiter le décalage de distribution (lorsque la distribution de test diffère de l'ensemble de calibration), l'article évalue l'ACI. Cette méthode met à jour le seuil en ligne basé sur le risque observé :
$$\lambda_{t+1} = \lambda_t + \gamma(r_t - \alpha)$$
Cela fournit un contrôle asymptotique sous décalage, bien que cela n'offre pas de garanties en échantillon fini.

2.5. Fusion de Scores

Les auteurs proposent d'apprendre un score de confiance fusionné $\tilde{s}(x)$ via une régression logistique sur des données de calibration disjointes, combinant plusieurs signaux (ex: Auto-Cohérence, Marge de Jetons, Entropie Sémantique). Ils prouvent que si la fonction de fusion est fixe et indépendante de l'échantillon de calibration CRC, la garantie de validité du CRC est préservée.

3. Contributions Clés

1. Résultat d'Impossibilité et Caractérisation de la Faisabilité : L'article établit que lorsque le risque de base $\mu > \alpha$, aucune méthode sans distribution préalable ne peut certifier les sorties sans s'abstenir sur $\ge (\mu - \alpha)/(1 - \alpha)$ des exemples. Cela fournit un contrôle pré-déploiement pour déterminer si une cible de risque est atteignable.
2. Hiérarchie de Certification : Les auteurs établissent et vérifient empiriquement la hiérarchie $\Lambda^*_{Hoeff} \subseteq \Lambda^*_{Bern} \subseteq \Lambda^*_{e-CRC}$. Ils montrent que passer de Hoeffding à Bernstein produit le gain le plus important (+37 % de configurations certifiées supplémentaires) dans les régimes de faible variance, tandis que l'e-CRC apporte une valeur critique lorsque les données de calibration sont rares (ex: 10 % de certification à 20 % de données contre 0 % pour Hoeffding).
3. Adaptation au Décalage : L'étude valide l'ACI lors d'un transfert de jeu de données, démontrant une réduction des violations de la cible de risque de 71 % (CRC statique) à 21 %. Les échements résiduels se produisent précisément là où la borne d'impossibilité prédit qu'une forte abstention est requise.
4. Benchmark Empirique : Une évaluation complète sur six modèles à poids ouverts (3B–72B paramètres), huit jeux de données, quatre tâches et six scores de non-conformité. L'étude montre que les configurations NER/QA/CLS difficiles sont souvent non certifiables à un $\alpha=0,10$ strict, mais que l'assouplissement de $\alpha$ à 0,30–0,40 permet une certification pratique (47 % pour NER, 40 % pour QA, 60 % pour CLS).

4. Résultats

• Mauvaise Calibration : Les LLM présentent une mauvaise calibration significative pour les tâches structurées. Bien que la confiance moyenne soit élevée (74–97 %), le risque réel varie largement (3 % pour JSON à 80 % pour NQ Open QA).
• Limites de Faisabilité : À $\alpha=0,10$, les taux de certification pour NER/QA/CLS sont proches de zéro car $\mu \gg \alpha$. Par exemple, NQ Open QA a $\mu \approx 0,80$, nécessitant $\ge 78 \%$ d'abstention pour atteindre une cible de risque de 10 %.
• Performance des Bornes :
  • Hoeffding : Certifie 8,7 % des configurations.
  • Bernstein : Certifie 11,9 % (+37 % de gain par rapport à Hoeffding).
  • e-CRC : Certifie 12,2 %, avec l'avantage le plus significatif dans les régimes de faibles données.
  • Toutes les méthodes maintiennent des taux de violation proches de zéro parmi les configurations certifiées.
• Mise à l'échelle du Modèle : L'augmentation de la taille du modèle réduit le risque de base $\mu$. Pour CoNLL NER, $\mu$ passe de 0,42 (3B) à 0,24 (72B), permettant la certification à $\alpha=0,25$ pour les modèles 72B là où les modèles 14B échouent.
• Fusion de Scores : La fusion calibrée améliore l'AUROC dans 89 % des configurations, avec les gains les plus importants pour les tâches de classification et de NER où les scores individuels sont plus faibles.

5. Signification et Revendications

L'article prétend fournir une caractérisation orientée vers le déploiement plutôt qu'une simple nouvelle primitive conforme. Sa principale signification réside dans le passage de la question du praticien de « Quelle borne est la plus serrée ? » à « La certification est-elle faisable ? ».

• La Faisabilité d'abord : La borne d'impossibilité permet aux praticiens de calculer l'abstention minimale requise avant de lancer toute procédure CRC. Si l'abstention requise est inacceptable, l'article suggère de passer à un modèle supérieur, d'assouplir la cible de risque $\alpha$, ou d'accepter une forte abstention.
• Recette Pratique : Les auteurs proposent un cadre de déploiement en trois étapes :
  1. Vérifier la Faisabilité : Calculer $\mu$ ; si $\mu > \alpha$, calculer le plancher d'abstention.
  2. Sélectionner la Borne et le Score : Utiliser Bernstein ou e-CRC (jamais Hoeffding) et employer la fusion de scores ou l'Auto-Cohérence.
  3. Mitiger le Décalage : Déployer l'ACI si la distribution de test peut différer de la calibration.
• Attentes Réalistes : Ce travail clarifie que pour les tâches difficiles (risque $\mu$ élevé) et les cibles strictes (faible $\alpha$), la certification est intrinsèquement limitée par la performance de base du modèle, et non par la méthode statistique elle-même. Assouplir $\alpha$ à des niveaux réalistes (ex: 0,30–0,40) rend la certification pratique pour de nombreuses tâches structurées.

L'article conclut que bien que le CRC fournisse des garanties formelles, son utilité est limitée par le compromis fondamental entre le risque de base et le risque cible, une contrainte qu'aucune borne statistique ne peut surmonter.