🤖 machine learning

PASC: Pipeline-Aware Conformal Prediction with Joint Coverage Guarantees for Multi-Stage NLP and LLM Pipelines

L'article présente PASC, une méthode de prédiction conforme consciente du pipeline qui garantit une couverture conjointe à échantillon fini pour les systèmes NLP et LLM multi-étapes en réduisant le problème à un calcul unique de quantile scalaire, surpassant ainsi significativement l'étalonnage indépendant et les bornes conservatrices de Bonferroni tant en précision qu'en efficacité.

Auteurs originaux : Varun Kotte

Publié 2026-05-20

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Varun Kotte

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : La « Chaîne Cassée » de l'IA

Imaginez que vous construisez une machine complexe pour trier le courrier. Elle comporte trois étapes :

Étape A : Un robot scanne l'enveloppe et trouve l'adresse.
Étape B : Un deuxième robot consulte cette adresse dans une base de données pour trouver le code postal.
Étape C : Un troisième robot place la lettre dans le bon bac en fonction de ce code postal.

Dans le monde de l'IA (spécifiquement le TALN et les LLM), on appelle cela des pipelines. Le document souligne un gros problème : si vous vous assurez que l'Étape A est précise à 90 %, que l'Étape B est précise à 90 %, et que l'Étape C est précise à 90 %, la machine entière n'est pas précise à 90 %.

Parce que les étapes se déroulent les unes après les autres, les erreurs s'accumulent. Si l'Étape A fait une toute petite erreur, l'Étape B reçoit la mauvaise entrée, et l'Étape C échoue complètement. Au moment où la lettre atteint le bac, l'ensemble du système ne fonctionne peut-être que 73 % du temps, même si chaque robot individuel était « fiable à 90 % ».

Les Anciennes Solutions : Deviner ou Se Surprotéger

Le document indique que les méthodes existantes pour résoudre ce problème sont défectueuses :

La Méthode « Indépendante » : Elle traite chaque robot séparément. Elle dit : « Je suis sûr à 90 % que l'Étape A est juste, et sûr à 90 % que l'Étape B est juste. »
- Le Défaut : Elle ignore le fait que si l'Étape A échoue, toute la chaîne se brise. Elle donne un faux sentiment de sécurité concernant le résultat final.
La Méthode « Bonferroni » : C'est l'approche « paranoïaque ». Pour garantir que toute la chaîne fonctionne 90 % du temps, elle force chaque robot à être précis à 99 % (en divisant le budget d'erreur équitablement).
- Le Défaut : C'est trop conservateur. Elle fait travailler les étapes faciles (comme trouver une adresse) beaucoup plus dur que nécessaire, ce qui ralentit tout et rend le système moins efficace, même si le résultat final est sûr.

La Nouvelle Solution : PASC (La Stratégie du « Maillon Faible »)

Les auteurs introduisent PASC (Pipeline-Aware Split Conformal Prediction).

L'Idée Centrale :
Au lieu de vérifier si le Robot A est bon, si le Robot B est bon et si le Robot C est bon séparément, PASC pose une seule question : « L'erreur la plus grave dans toute la chaîne est-elle suffisamment petite ? »

Pensez à une chaîne faite de maillons métalliques. La force de la chaîne n'est pas la moyenne de tous les maillons ; elle est déterminée par le maillon le plus faible.

Si le Maillon 1 est solide, le Maillon 2 est solide, mais le Maillon 3 est faible, toute la chaîne se brise au Maillon 3.
PASC se concentre entièrement sur ce maillon le plus faible (l'« erreur maximale ») à travers tout le processus.

Comment cela fonctionne :

Le système exécute le pipeline sur un tas d'exemples d'entraînement.
Pour chaque exemple, il calcule le « score d'erreur » pour chaque étape.
Il sélectionne le score d'erreur le plus élevé de cette exécution spécifique (le « pire maillon »).
Il définit un seuil de sécurité unique basé sur ces scores de « pire maillon ».

Si le « pire maillon » d'un nouvel exemple du monde réel est en dessous de ce seuil, le système dit : « Nous sommes en sécurité ! » Si le pire maillon est trop élevé, il dit : « Ne faites pas confiance à ce résultat. »

Pourquoi PASC est-il Meilleur ?

Le document affirme que PASC est une solution « Boucle d'Or » — elle est juste ce qu'il faut.

C'est plus sûr que la méthode « Indépendante » : Elle garantit réellement que l'ensemble du pipeline fonctionne 90 % du temps (ou selon la cible que vous fixez), et pas seulement les parties individuelles.
C'est plus intelligent que la méthode « Paranoïaque » : Elle ne force pas les étapes faciles à être parfaites. Elle réalise que si l'Étape A est facile et l'Étape C est difficile, la sécurité du système dépend de l'Étape C. PASC s'ajuste automatiquement à la partie la plus difficile de la chaîne, tandis que l'ancienne méthode « Paranoïaque » gaspillait des efforts pour rendre les parties faciles super-duper parfaites.

Les Résultats (La « Preuve »)

Les auteurs ont testé cela sur un pipeline réel de traitement de texte (trouver des noms, les lier à des faits et les catégoriser).

Précision : PASC a atteint un taux de réussite de 96,4 % pour l'ensemble du pipeline. La méthode « Paranoïaque » a obtenu 93,4 %, et la méthode « Indépendante » n'a obtenu que 86,5 %.
Efficacité : PASC était tout aussi efficace que les autres (il ne produisait pas d'énormes listes inutiles de suppositions).
Vitesse : Parce que PASC n'a besoin de calculer qu'un seul chiffre de sécurité au lieu de trois séparés, il est 1,7 fois plus rapide à configurer.
Robustesse : Lorsque les données changeaient (par exemple, passer des articles de presse aux publications Twitter), PASC restait fiable, tandis que la méthode « Indépendante » s'effondrait et échouait à protéger l'utilisateur.

La Conclusion

PASC est une nouvelle façon de faire confiance aux systèmes d'IA qui comportent plusieurs étapes. Au lieu de faire confiance à chaque étape individuellement ou d'être excessivement prudent à propos de chaque étape unique, elle examine l'ensemble de la chaîne et s'assure que le maillon le plus faible est suffisamment solide. Cela offre aux utilisateurs un filet de sécurité mathématiquement garanti pour le résultat final sans ralentir le système.

Résumé technique : PASC (Prédiction Conformale Sensible au Pipeline)

1. Énoncé du problème

Les systèmes modernes de traitement du langage naturel (NLP) et de modèles de langage de grande taille (LLM) sont de plus en plus déployés sous forme de pipelines multi-étapes (par exemple, Reconnaissance d'Entités Nommées $\to$ Désambiguïsation d'Entités $\to$ Typage d'Entités, ou chaînes Planificateur $\to$ Outil $\to$ Critique). Un défi critique dans ces systèmes est la Quantification de l'incertitude de bout en bout (E2E).

Bien que les étapes individuelles puissent être calibrées pour fournir des garanties de couverture marginale (par exemple, $P(\text{étape}_k \text{ couverte}) \ge 1-\alpha$ ), ces garanties ne se traduisent pas pour l'ensemble du pipeline.

Calibration indépendante : La calibration de chaque étape au niveau $1-\alpha$ indépendamment entraîne une probabilité de couverture conjointe d'au plus $(1-\alpha)^K$ (sous l'hypothèse d'indépendance), ce qui se dégrade considérablement à mesure que le nombre d'étapes $K$ augmente. Pour $K=3$ et $\alpha=0,1$ , la couverture conjointe chute à $\approx 72,9\%$ , bien en dessous de l'objectif de $90\%$ .
Correction de Bonferroni : L'application d'une borne d'union en calibrant chaque étape à $1-\alpha/K$ garantit une couverture conjointe ( $\ge 1-\alpha$ ) mais est excessivement conservatrice. Elle alloue des budgets d'erreur uniformément, indépendamment de la difficulté de l'étape, conduisant à des ensembles de prédiction inutilement larges (sur-couverture) sur les étapes faciles, sans gains proportionnels en fiabilité conjointe.
Alternatives existantes : Des méthodes comme MC Dropout ou les Deep Ensembles fournissent des estimations d'incertitude heuristiques mais manquent de garanties distributionnelles et à échantillon fini, et ignorent souvent les dépendances inter-étapes.

Le problème central est l'absence d'une méthode fournissant une garantie formelle, à échantillon fini et distributionnelle de couverture conjointe pour l'ensemble du pipeline tout en maintenant l'efficacité (c'est-à-dire sans gonfler inutilement la taille des ensembles de prédiction).

2. Méthodologie : PASC

Les auteurs proposent PASC (Pipeline-Aware Split Conformal), une méthode qui réduit le problème de calibration conjointe multi-étapes à un problème standard de prédiction conforme scalaire.

Idée clé

L'événement « toutes les $K$ étapes sont simultanément couvertes » est mathématiquement équivalent à l'événement « le score de non-conformité maximal sur toutes les étapes ne dépasse pas un seuil ».
$\bigcap_{k=1}^K \{s_k \le q\} \iff \left\{ \max_{k} s_k \le q \right\}$
où $s_k$ est le score de non-conformité de l'étape $k$ .

Algorithme

Définition du score : Pour un échantillon de pipeline, calculez les scores de non-conformité par étape ( $s_1, \dots, s_K$ $s_{1}, \dots, s_{K}$ ).
- REN : $s_{REN} = \max_t (1 - p_{BIO, t})$ (probabilité softmax).
- DNE : $s_{DNE} = 1 - \text{score}(e^*)$ (score de l'entité classée première).
- Typage d'entité : $s_{typing} = 1 - \max_c \min_{\text{span}} p_{RoBERTa}$ .
Score maximum conjoint : Calculez le score maximum scalaire pour chaque échantillon : $s_{\max} = \max_k s_k$ .
Calibration : En utilisant un ensemble de calibration, calculez le quantile conforme $\hat{q}$ de la distribution de $s_{\max}$ au niveau $1-\alpha$ .
Prédiction : Pour une entrée de test, calculez les scores par étape. Le pipeline est accepté si $s_{\max} \le \hat{q}$ . L'ensemble de prédiction pour chaque étape $k$ est $C_k(x) = \{y_k : s_k(x, y_k) \le \hat{q}\}$ .

Garantie théorique

Sous l'hypothèse d'échangeabilité entre les données de calibration et les données de test, PASC fournit une garantie à échantillon fini et distributionnelle :
$P\left( \bigcap_{k=1}^K \{s_k(x_{n+1}, y_{k,n+1}) \le \hat{q}\} \right) \ge 1 - \alpha$
La garantie est presque optimale, bornée par $1 - \alpha + \frac{1}{n+1}$ . Contrairement à Bonferroni, qui utilise une borne d'union au pire des cas, PASC s'adapte à la distribution conjointe empirique des scores, attribuant automatiquement des budgets plus stricts aux étapes « faciles » (scores faibles) et des budgets plus lâches aux étapes « difficiles ».

3. Contributions clés

Algorithme PASC : Une procédure de calibration sensible au pipeline qui réduit la couverture conjointe multi-étapes à un calcul unique de quantile scalaire sur le score de non-conformité maximum conjoint.
Garantie formelle : Un théorème prouvant une couverture conjointe à échantillon fini et distributionnelle ( $\ge 1-\alpha$ ) sous échangeabilité, avec un résultat de quasi-optimalité.
Évaluation complète : Expériences sur trois scénarios de dérive (distribution interne, NER Twitter, NER Wikipédia), avec variation des tailles de calibration, et passage de $K=1$ à $K=6$ étapes.
Vérifications de bon sens : Tests de permutation et contrôles négatifs confirmant que la validité n'est pas un artefact d'erreurs d'implémentation, de fuite de données ou de seuils trop larges.

4. Résultats expérimentaux

Les auteurs ont évalué PASC sur un pipeline à trois étapes (REN $\to$ DNE $\to$ Typage d'entité) utilisant les ensembles de données CoNLL-2003, WNUT-17 et WikiNEuRal.

Couverture vs Efficacité : À $\alpha=0,1$ $α = 0, 1$ avec $K=3$ $K = 3$ :
- PASC : A atteint 96,4 % de couverture E2E.
- Bonferroni : A atteint 93,4 % de couverture E2E.
- CP Indépendante : A atteint 86,5 % de couverture E2E.
- Crucialement, toutes les méthodes ont maintenu une taille moyenne d'ensemble de prédiction identique de 1,083, démontrant la supériorité de l'efficacité de PASC dans la conversion de la probabilité de couverture en taille d'ensemble.
Dérive de distribution : Lorsqu'il est calibré sur CoNLL-2003 et testé sur des domaines dérivés (WNUT-17, WikiNEuRal) :
- La CP Indépendante s'est effondrée à 59,0 % de couverture.
- PASC et Bonferroni ont maintenu 100 % de couverture (en raison de seuils conservateurs fournissant une marge contre la dérive).
Passage à l'échelle vers $K$ étapes : Dans des expériences synthétiques passant à $K=6$ $K = 6$ :
- La couverture de la CP Indépendante est tombée à 0,53 (effondrement multiplicatif).
- PASC est resté proche de la couverture cible, évitant la décroissance multiplicatrice.
Couverture conditionnelle : PASC a montré des avantages significatifs sur les sous-populations « difficiles » (par exemple, le quintile de confiance NER le plus difficile), atteignant 82,0 % de couverture contre 67,0 % pour Bonferroni et 30,0 % pour la CP Indépendante.
Temps d'exécution : La calibration PASC est 1,7 fois plus rapide que Bonferroni et la CP Indépendante car elle ne nécessite le calcul que d'un seul quantile au lieu de $K$ .

5. Importance et affirmations

L'article affirme que PASC comble un vide fondamental dans le déploiement des systèmes NLP multi-étapes :

Certification directe : Contrairement à la CP Indépendante (qui certifie les étapes locales mais échoue globalement) ou à Bonferroni (qui garantit globalement mais paie une « taxe de conservatisme »), PASC certifie directement l'événement déployé exact d'intérêt (acceptation conjointe).
Réduction minimale : La réduction d'un problème multi-étapes à un problème scalaire est mathématiquement simple (en utilisant le maximum) mais représente la scalarisation monotone minimale suffisante pour l'événement d'acceptation conjointe.
Applicabilité pratique : La méthode est immédiatement applicable à n'importe quel pipeline multi-étapes (y compris les systèmes composés de LLM et les flux de travail d'agents) sans nécessiter de modification du modèle ou de surcharge d'inférence lourde.
Robustesse : Bien que les garanties théoriques reposent sur l'échangeabilité, les résultats empiriques suggèrent que PASC maintient une couverture sous dérive de distribution mieux que la CP Indépendante, bien que les auteurs notent que l'extension à la CP pondérée pour une gestion robuste de la dérive est un travail futur.

Les auteurs positionnent PASC non pas comme un remplacement de la calibration spécifique à une étape, mais comme la couche d'agrégation nécessaire qui garantit la fiabilité de la sortie de l'ensemble du pipeline, qui est la métrique qui compte pour la prise de décision en aval dans les applications à haut risque.