UCCI: Calibrated Uncertainty for Cost-Optimal LLM Cascade Routing

Résumé Technique : UCCI – Incertitude Calibrée pour le Routage Optimal en Coût des Cascades de LLM

Énoncé du Problème
Les grands modèles de langage (LLM) offrent des performances élevées sur les tâches de prédiction structurée, mais les coûts d'inférence augmentent de manière abrupte avec la taille du modèle. L'inférence en cascade – qui achemine les requêtes faciles vers un petit modèle et escalade les requêtes difficiles vers un grand modèle – promet une réduction des coûts. Cependant, les routeurs déployés actuellement reposent souvent sur des scores de confiance non calibrés (par exemple, l'entropie brute des tokens ou les marges) qui sont sensibles à la formulation des invites et aux changements de charge de travail. Par conséquent, le réglage des seuils est souvent un exercice manuel, spécifique à chaque charge de travail, qui ne généralise pas, créant un fossé entre la promesse théorique des cascades et les performances en production.

Méthodologie
L'article propose UCCI (Inférence en Cascade à Incertitude Calibrée), un cadre de routage qui traite la conception de la cascade comme un problème de décision calibré plutôt que comme un exercice de réglage. La méthodologie se déroule en trois étapes :

1. Extraction de l'Incertitude au Niveau des Tokens : Pour une séquence générée, le système calcule un score d'incertitude scalaire $u(x)$ basé sur la marge entre les probabilités du token suivant en première et en deuxième position ($p_{t,1} - p_{t,2}$) sur tous les tokens. Cette marge est agrégée pour représenter l'incertitude globale de la sortie du petit modèle.
2. Calibration Isotonique : Le score d'incertitude brut $u(x)$ n'est pas une probabilité. UCCI mappe ce score vers une probabilité d'erreur calibrée par requête $\hat{p}(x)$ en utilisant une régression isotonique sur un ensemble de calibration retenu. Cette étape transforme le signal mal calibré en une estimation fiable de la probabilité que la sortie du petit modèle soit incorrecte ($P(e(x)=1 | u(x))$).
3. Minimisation Contrainte du Coût : Une politique de seuil $\pi_\theta$ est sélectionnée sur un ensemble de validation. Le seuil $\theta^*$ est choisi pour minimiser le coût d'inférence attendu sous réserve d'une contrainte de précision cible ($\tau$). La politique achemine les requêtes avec $\hat{p}(x) \leq \theta$ vers le petit modèle et escalade celles avec $\hat{p}(x) > \theta$ vers le grand modèle.

Contributions Théoriques
L'article fournit deux résultats théoriques clés :

• Optimalité des Politiques de Seuil : Sous trois hypothèses explicites (le coût du grand modèle > le coût du petit modèle ; la précision du grand modèle est invariante aux requêtes escaladées ; et accès à la probabilité d'erreur calibrée réelle), les auteurs prouvent qu'une politique de seuil sur la probabilité d'erreur calibrée est optimale en termes de coût.
• Complexité Échantillonnaire : L'article établit que la régression isotonique atteint une Erreur de Calibration Attendue (ECE) de $O(n^{-1/3})$ avec $n$ exemples de calibration, fournissant une borne théorique sur l'efficacité des données de l'étape de calibration.

Configuration Expérimentale et Résultats
Le cadre a été évalué sur une charge de travail de production de Reconnaissance d'Entités Nommées (NER) impliquant 75 000 requêtes étiquetées manuellement provenant d'un système de gestion de photos d'entreprise.

• Modèles : Un petit modèle de 4 milliards de paramètres ($f_s$) et un grand modèle de 12 milliards de paramètres ($f_\ell$), tous deux ajustés par instruction et servis sur des GPU H100.
• Mesure des Coûts : Les coûts ont été dérivés de la latence de bout en bout mesurée sur des GPU H100, produisant un ratio de coût de $c_\ell/c_s \approx 3,02$.
• Lignes de Base : L'étude a comparé UCCI à l'inférence par modèle unique, au seuillage d'entropie non calibré, au routage par conformité fractionnée, et à un seuil appris de style FrugalGPT.

Principales Découvertes :

• Réduction des Coûts : À un micro-F1 cible de 0,91, UCCI a réduit les coûts d'inférence de 31 % (IC à 95 % : [27 %, 35 %]) par rapport à l'utilisation exclusive du grand modèle.
• Qualité de la Calibration : La régression isotonique a réduit l'Erreur de Calibration Attendue (ECE) de 0,12 (non calibré) à 0,03.
• Performance par rapport aux Lignes de Base : Au même point de fonctionnement (F1 = 0,91), UCCI a atteint le coût le plus bas (2,08 unités normalisées) par rapport au seuillage d'entropie (2,31), à la prédiction conforme (2,18) et au routage de style FrugalGPT (2,24).
• Validation des Hypothèses : L'hypothèse selon laquelle la précision du grand modèle reste invariante au routage a été testée empiriquement ; la précision sur les requêtes escaladées (0,928) était presque identique à la précision globale (0,932), soutenant le cadre théorique.

Signification et Revendications
L'article soutient que la principale valeur d'ingénierie dans les systèmes en cascade réside dans la calibration du score de routage plutôt que dans le réglage manuel du seuil final. En convertissant un signal de marge de tokens bruité en une estimation probabiliste d'erreur via un petit ajustement isotonique, UCCI atteint des performances de routage quasi optimales sans architectures complexes d'apprentissage pour le report ni données de préférence.

Les auteurs soulignent que leurs résultats sont basés sur un routage de bout en bout utilisant les sorties réelles des modèles et la latence matérielle mesurée, évitant le biais de sélection inhérent aux simulations basées sur des précisions globales ou des prix d'API nominaux. Bien que le cadre soit agnostique à la tâche, les auteurs notent que les économies de coûts spécifiques (31 %) et les métriques de calibration sont spécifiques à la charge de travail. Ils reconnaissent les limites concernant l'hypothèse d'invariance dans les domaines où les requêtes « difficiles » pour le petit modèle sont disproportionnellement difficiles pour le grand modèle, et notent que la calibration statique peut nécessiter une adaptation pour les déploiements en streaming avec des décalages de distribution.