Résumé Technique : QUIVER – Un Cadre Formel pour Quantifier la Propagation des Perturbations et la Bifurcation dans les Systèmes d'IA Composés

1. Énoncé du Problème

Les systèmes d'IA composés, qui enchaînent plusieurs appels de modèles de langage (LLM) dans des graphes de calcul dirigés comportant des branches parallèles, des étapes séquentielles et des boucles conditionnelles, sont devenus l'architecture dominante pour les applications d'IA en production. Cependant, ces systèmes présentent un défi d'évaluation unique : ils sont constitués de nœuds hétérogènes produisant des sorties en mode mixte (allant de schémas typés à du langage naturel), où les nœuds sont stochastiques et les chemins d'exécution peuvent diverger structurellement sous l'effet de perturbations mineures.

Les méthodologies d'évaluation actuelles souffrent de deux limitations principales :

1. Évaluation de bout en bout : Bien qu'elle soit capable de détecter des réponses de faible qualité, elle ne peut pas localiser le nœud spécifique responsable ni distinguer si la dégradation de la qualité résulte d'une chaîne continue de petites perturbations ou d'un changement en amont unique ayant franchi un seuil, inversant ainsi le chemin d'exécution.
2. Évaluation par nœud : Le test des composants de manière isolée par rapport à des entrées curatées échoue souvent à refléter la distribution réelle des données reçues des nœuds en amont, conduisant à des estimations de qualité qui ne prédisent pas le comportement en production. Ce problème est aggravé dans les pipelines comportant des boucles conditionnelles, où de petites perturbations en amont peuvent activer différents nœuds, exécuter différentes itérations de boucle ou récupérer des connaissances entièrement différentes.

Les outils d'optimisation et d'évaluation existants (par exemple, DSPy, TextGrad) traitent généralement les nœuds de manière indépendante, manquant de mécanismes pour mesurer comment les perturbations se propagent à travers les arêtes ou où se produit la bifurcation structurelle.

2. Méthodologie : Le Cadre QUIVER

Les auteurs introduisent QUIVER, un cadre formel conçu pour mesurer la propagation des perturbations dans les pipelines de LLM structurés en graphes de calcul. Le cadre définit quatre objets et principes mathématiques fondamentaux :

2.1 Graphe de Pipeline Typé et Métriques de Distance

Le système est modélisé comme un Graphe de Pipeline Typé $G = (V, E, T, F)$, où les nœuds représentent des fonctions stochastiques mappant les sorties des parents vers des distributions de probabilité sur des espaces de sortie typés (schémas, listes, catégories, texte).
Pour mesurer les différences, le cadre emploie des Métriques de Distance à Dispatch de Type. Au lieu d'une fonction de distance unique, il utilise une somme pondérée de noyaux spécifiques aux champs, appropriés au type de données (par exemple, distance d'édition normalisée pour les listes ordonnées, distance de Jaccard pour les ensembles, distance cosinus pour le texte, et indicateurs binaires pour les champs catégoriels).

2.2 Matrice de Sensibilité et Levier d'Occurrence

Le cadre quantifie le comportement des arêtes à travers deux mesures découplées :

• Sensibilité de l'Arête ($\sigma_{ij}$) : Le rapport attendu entre la distance de la sortie en aval et la distance de la sortie en amont. Les arêtes sont classées comme amplificateurs ($\sigma > 1$), absorbeurs ($\sigma < 1$) ou insensibles ($\sigma \approx 0$). Le cadre note que la sensibilité moyenne peut masquer des distributions bimodales où une arête agit comme un absorbeur pour la plupart des entrées mais comme un amplificateur pour une queue minoritaire.
• Levier d'Occurrence ($\lambda_{ij}$) : La probabilité qu'une dérive en aval se produise étant donné une dérive en amont, indépendamment de l'ampleur. Cela capture la probabilité de couplage, complétant l'ampleur capturée par $\sigma$.

La sensibilité du chemin est définie de manière multiplicative le long des chemins dirigés, permettant l'identification de « amplificateurs en cascade » où de petites erreurs en amont sont amplifiées à travers le graphe.

2.3 Divergence de Trajectoire et Bifurcation

Pour les pipelines comportant des boucles et des branches conditionnelles, le cadre décompose la variation de trajectoire en trois composantes :

1. Dérive de Valeur ($D_{output}$) : Différentes sorties le long du même chemin structurel.
2. Divergence de Chemin Structurel ($D_{shape}$) : Différentes logiques internes, actions ou activations de nœuds.
3. Divergence du Nombre d'Itérations ($D_{iter}$) : Différents nombres d'itérations de boucle ou d'appels de sous-étapes.

Crucialement, le cadre définit des Seuils de Bifurcation ($\beta$), identifiant la plus petite magnitude de perturbation à un nœud en amont qui provoque un changement structurel dans le chemin d'exécution. Cela distingue la dégradation continue de la qualité des changements structurels discrets.

2.4 Fidélité de la Distribution

Le cadre introduit la Fidélité de la Distribution pour quantifier le moment où les ensembles de données d'évaluation par nœud divergent des distributions de production. Il postule que l'évaluation d'un nœud sur des entrées ne correspondant pas à la distribution marginale de son producteur en amont (en particulier aux arêtes à haute sensibilité) conduit à des erreurs d'estimation de qualité amplifiées en aval.

3. Validation Expérimentale

Le cadre a été validé sur trois topologies distinctes :

1. Système P : Un pipeline d'entreprise complexe avec une entrée parallèle, une sélection d'outils de récupération et une boucle de replanification conditionnelle ($k_{max}=5$).
2. Système Q : Un pipeline à double planificateur avec un reclassement parallèle et un routage voie rapide/lente, sans boucle de replanification mais comportant une branche conditionnelle.
3. DSPy Multi-Hop QA : Une chaîne séquentielle stricte publique (HotpotQA/ColBERTv2) sans boucles ni entrée parallèle, servant de contrôle pour la distinction structurelle.

L'étude a utilisé plus de 8 200 traces instrumentées (observationnelles et interventionnelles) générant plus de 32 000 comparaisons de paires.

4. Résultats Clés

• Profils de Sensibilité Distincts : Le cadre a révélé que les architectures présentent des profils de sensibilité radicalement différents. Le Système Q a montré plusieurs arêtes avec des facteurs d'amplification allant jusqu'à 9x, tandis que le Système P présentait un mélange d'amplificateurs et d'absorbeurs avec des distributions bimodales.
• Distinction Mécanistique : Des taux de divergence identiques ont été trouvés provenir de motifs mécanistiquement distincts. Par exemple, dans le Système P, différents types de perturbations (par exemple, échanges de réécriture vs inversions de signal) ont produit des taux de divergence structurelle similaires (~37 %) mais ont suivi des signatures de cascade différentes (par exemple, « amplifier puis inverser » vs « chaîne directe »), distinguables uniquement par la décomposition nodale.
• Bifurcation Prédictive : Les profils de sensibilité observationnels ont prédit avec succès les nœuds sujets à la bifurcation de trajectoire. Dans le Système P, le planificateur a été identifié comme la seule source intrinsèque de bifurcation, tandis que les expériences interventionnelles ont révélé un seuil de bifurcation du réécrivain ($\hat{\beta} \approx 0,25$) qui était dormant dans des conditions naturelles mais activé sous perturbation.
• Invalidation de l'Évaluation : L'analyse de la fidélité de la distribution a localisé des « artefacts d'évaluation obsolètes » vers des catégories spécifiques de nœuds-champs. Dans le Système P, un changement de configuration augmentant la profondeur de récupération a été trouvé invalider les données d'évaluation de référence pour les champs de référence de fragments, une divergence invisible pour les métriques agrégées.
• Généralisation : Le cadre s'est généralisé avec succès à la chaîne séquentielle DSPy, identifiant correctement une divergence structurelle nulle (comme attendu pour une chaîne sans branches) et isolant les amplificateurs et les absorbeurs cohérents avec la topologie du système.

5. Signification et Revendications

L'article revendique que QUIVER fournit les premiers primitifs formels pour mesurer les dynamiques de propagation invisibles à la fois pour l'évaluation au niveau des composants et l'évaluation de bout en bout. Sa signification réside dans :

• Localisation : Aller au-delà de la « détection des symptômes » pour localiser les nœuds et les arêtes spécifiques responsables de la dégradation de la qualité ou de l'échec structurel.
• Conscience Structurelle : Modéliser et mesurer explicitement la divergence de chemin structurel et les seuils de bifurcation, qui sont critiques pour les systèmes avec des boucles conditionnelles mais ignorés par les outils d'optimisation actuels.
• Validité de l'Évaluation : Introduire la « fidélité de la distribution » pour détecter lorsque les ensembles de données d'évaluation ne reflètent plus les réalités de production, empêchant ainsi des estimations de qualité trompeuses.
• Diagnostics Actionnables : Le cadre permet aux praticiens d'identifier des composants fragiles (par exemple, des nœuds à fort bruit alimentant des absorbeurs fuyards) et de procéder à des changements architecturaux ou au niveau des invites ciblés, comme démontré par des interventions en production qui ont supprimé un reclasseur bruyant et ajusté les invites du planificateur pour réduire la bifurcation.

Les auteurs soulignent que le cadre ne nécessite aucun modèle auxiliaire (tel que des juges LLM) pour ses mesures principales, s'appuyant plutôt sur des métriques de distance à dispatch de type et une régression standard sur les traces de production. La matrice de sensibilité est notée comme étant localement valide au point de fonctionnement actuel et nécessite une réestimation après des changements de configuration significatifs.