Résumé Technique : Conformal Cascade (Cascade Conforme)

Énoncé du Problème

Le déploiement des modèles de langage de grande taille (LLM) à grande échelle nécessite un arbitrage entre la qualité de l'inférence et le coût. Les cascades de LLM répondent à ce besoin en acheminant les requêtes vers un modèle petit et peu coûteux en premier lieu, pour ne les escalader vers un modèle plus grand et plus performant que lorsque cela est nécessaire. Cependant, les cascades de production actuelles reposent sur des seuils de confiance (par exemple, la probabilité softmax, l'accord de cohérence de soi) pour prendre les décisions de report. Ces approches souffrent de trois limitations critiques :

1. Miscalibration (Mauvaise calibration) : Les scores de confiance des LLM sont notoirement mal calibrés, particulièrement sur les tâches de raisonnement complexe, ce qui signifie qu'une confiance élevée ne corrèle pas de manière fiable avec la justesse.
2. Absence de garanties formelles : Aucun réglage d'un seuil de confiance $\theta$ ne fournit une borne formelle, indépendante de la distribution, sur la précision de la cascade. Le taux d'erreur réalisé dépend de la distribution jointe inconnue des requêtes et des confiances.
3. Surcharge de réglage : Les praticiens doivent empiriquement balayer les seuils pour chaque nouveau couple de modèles, domaine ou distribution de difficulté afin d'atteindre un taux d'erreur cible, car il n'existe aucune correspondance analytique entre un budget d'erreur souhaité et une valeur de seuil.

Méthodologie : Conformal Cascade (CC)

Les auteurs proposent la Conformal Cascade (CC), un cadre d'inférence multi-niveaux qui remplace les seuils de confiance par des ensembles de prédiction conforme. Le mécanisme central fonctionne comme suit :

1. Score de non-conformité

Au lieu d'utiliser des scores de confiance bruts, la CC utilise un score de non-conformité basé sur la fréquence dérivé du décodage par cohérence de soi (self-consistency). Pour un niveau $k$ donné et une requête $x$, le modèle génère $N$ échantillons indépendants. Pour chaque réponse candidate $a$ dans l'ensemble fini de réponses $A(x)$, le score est défini par :
$$s_k(x, a) = 1 - \frac{|\{i : \hat{y}^{(k)}_i = a\}|}{N}$$
Les réponses échantillonnées fréquemment reçoivent des scores faibles (haute conformité), tandis que les réponses rares reçoivent des scores élevés. Cette approche ne nécessite qu'un accès API "boîte noire" et réutilise les échantillons générés pour la cohérence de soi.

2. Calibration par niveau

En utilisant un ensemble de calibration $D_{cal}$ mis de côté, un seuil $\hat{q}_k$ est calculé pour chaque niveau $k$ afin de satisfaire un niveau de sous-couverture $\alpha$ spécifié par l'utilisateur. Le seuil est fixé au quantile $(1-\alpha)$ des scores de non-conformité sur les données de calibration. L'ensemble de prédiction pour une nouvelle requête est :
$$C_k(x) = \{a \in A : s_k(x, a) \leq \hat{q}_k\}$$
Grâce aux propriétés de la prédiction conforme par partition (split conformal prediction), cet ensemble garantit que la véritable réponse est contenue dans $C_k(x)$ avec une probabilité d'au moins $1-\alpha$ (couverture marginale).

3. Règle de report (Deferral Rule)

La décision de report est pilotée par la taille de l'ensemble de prédiction conforme, et non par une valeur de confiance :

• Accepter : Si la taille de l'ensemble $|C_k(x)| \leq \kappa$ (où $\kappa \geq 1$ est un paramètre d'acceptation, par défaut $\kappa=1$), la cascade s'engage sur la réponse la plus fréquente de l'ensemble.
• Reporter : Si $|C_k(x)| > \kappa$, la requête est escaladée vers le niveau suivant.
• Repli (Fallback) : Si le dernier niveau ne parvient pas à produire un ensemble de taille $\leq \kappa$, la cascade renvoie la réponse la plus fréquente parmi les échantillons du dernier niveau.

Crucialement, le report en soi ne peut pas causer d'erreur ; les erreurs ne surviennent qu'en cas d'acceptation. Cette structure permet aux garanties par niveau de se composer en une garantie au niveau de la cascade.

Contributions Clés

1. Cadre Théorique : Les auteurs formulent la CC pour un nombre arbitraire de $K$ niveaux et prouvent une borne de couverture au niveau de la cascade (Théorème 2). Dans le pire des cas, la probabilité que la cascade accepte une mauvaise réponse est bornée par $K\alpha$. Sous une condition de "préservation de la sélection" (Hypothèse 3), cette borne se resserre à $\alpha$.
2. Caractérisation Coût-Précision : L'article dérive une expression en forme close du coût d'inférence attendu en fonction de $\alpha$ et du taux d'acceptation de l'ensemble de calibration (Théorème 4). Cela permet aux praticiens de négocier explicitement le budget d'erreur contre le coût computationnel.
3. Validation Empirique : Une évaluation exhaustive sur 18 benchmarks à choix multiples (couvrant les sciences, la médecine, le sens commun et les examens) et quatre familles de modèles en poids ouverts (Llama, Gemma, Ministral, Phi) démontre que la CC surpasse strictement les cascades heuristiques les plus fortes sur la majorité des couples modèle-benchmark.

Résultats Expérimentaux

• Gains de Précision : La CC s'améliore par rapport aux meilleures bases heuristiques (incluant l'accord, l'entropie et les stratégies de report aléatoires) sur 49 des 72 couples modèle-benchmark. Les gains les plus significatifs se produisent sur les benchmarks riches en raisonnement (ex: GPQA-Diamond, MathQA, MedMCQA) où le vote majoritaire est peu fiable. Par exemple, sur Phi/GPQA-Diamond, la CC réalise un gain de +4,3 points de pourcentage.
• Efficacité : Sur les benchmarks plus faciles où le petit modèle est fiable, la CC s'engage sur la grande majorité des requêtes avec le petit modèle sans coût de précision, réduisant ainsi considérablement le coût d'inférence attendu par rapport à un report systématique ou à des bases fortes systématiques.
• Garanties de Couverture : Les taux de sous-couverture empiriques tombent généralement entre les limites strictes de $\alpha$ et de $K\alpha$. Par exemple, avec $\alpha=0,10$ et $K=2$, la sous-couverture observée était souvent proche de 0,10, restant bien en deçà de la borne théorique de 0,20.
• Frontière de Pareto : La CC domine les méthodes heuristiques sur la frontière de Pareto coût-précision. En ajustant le paramètre d'acceptation $\kappa$, la CC peut débloquer des points de fonctionnement moins coûteux tout en maintenant la garantie conforme, un compromis impossible à atteindre avec des seuils de confiance fixes.

Signification et Revendications

L'article affirme que la Conformal Cascade fournit la première garantie de précision de type "distribution-free" (indépendante de la distribution) et à échantillon fini pour l'inférence multi-niveaux de LLM. Contrairement aux méthodes précédentes qui reposent sur des scores de confiance mal calibrés et nécessitent un réglage extensif par déploiement, la CC offre :

• Interprétabilité : L'hyperparamètre $\alpha$ correspond directement au budget d'erreur de l'utilisateur.
• Compatibilité Boîte Noire : Elle ne nécessite aucun entraînement de modèle, aucun accès aux log-probabilités, et uniquement l'échantillonnage standard par API.
• Robustesse : Elle traite efficacement le problème de la calibration en bornant la couverture au niveau de l'ensemble plutôt qu'en tentant de rescaler les scores de confiance.

Les auteurs notent que la méthode est actuellement limitée aux tâches possédant des ensembles de réponses finis et extractibles (ex: choix multiples). L'extension à la génération ouverte via le regroupement de réponses (answer clustering) est identifiée comme un travail futur. De plus, la garantie est marginale (sur la distribution des données) plutôt que conditionnelle à la difficulté de la requête, et le cadre suppose l'échangeabilité entre les données de calibration et les données de test, nécessitant une recalibration en ligne pour les changements de covariables.