Résumé technique : Quantification de l'incertitude sans distribution pour l'évaluation continue des agents IA

1. Énoncé du problème

L'évaluation des agents IA fait actuellement face à une « crise de l'incertitude ». Les benchmarks statiques existants (par exemple, SWE-bench, GAIA, WebArena) produisent des estimations ponctuelles traitées comme définitives, mais ils ne parviennent pas à prendre en compte les incertitudes implicites découlant de :

• Hétérogénéité de la mesure : Désaccords entre différentes plateformes concernant la qualité.
• Spécification du modèle : Classements qui évoluent sous différents schémas de pondération.
• Non-stationnarité temporelle : Évolution des scores à mesure que les agents sont mis à jour ou publiés.

Bien que certains cadres comme Chatbot Arena fournissent des intervalles de confiance via un rééchantillonnage par bootstrap, ils manquent de garanties pour des échantillons finis et ne traitent souvent que des sources de signaux uniques. Il n'existe aucun cadre fournissant des garanties de couverture sans distribution pour les scores d'agents, des bornes d'incertitude compositionnelles pour les pipelines multi-agents, ou des règles d'abstention fondées sur des principes lorsque la confiance dans l'évaluation est faible.

2. Méthodologie : Le cadre AgentPulse

Les auteurs proposent AgentPulse, un cadre d'évaluation continue qui traite l'incertitude comme une sortie de premier ordre. Le système évalue 50 agents en utilisant un score composite à quatre facteurs ($AP$) collecté chaque heure à partir de 19 sources de données :
$$AP(a) = 0,35 B(a) + 0,25 A(a) + 0,20 S(a) + 0,20 E(a)$$
Où $B$ est la performance du benchmark, $A$ l'adoption (étoiles GitHub, téléchargements), $S$ le sentiment (agrégé à partir de 9 plateformes) et $E$ la santé de l'écosystème.

Le cadre emploie quatre piliers méthodologiques fondamentaux :

2.1 Prévision sans distribution (Conformité divisée et ACI)

Pour prévoir les scores $h$ heures à l'avance, le système utilise un modèle de réversion vers la moyenne. Pour garantir la couverture sans supposer une distribution de données spécifique :

• Prédiction conforme divisée (Split Conformal Prediction) : L'historique des scores est divisé en entraînement (70 %) et calibration (30 %). Des scores de non-conformité sont calculés, et un quantile $\hat{q}_{1-\alpha}$ est sélectionné pour construire des intervalles $C_{1-\alpha}$. Cela garantit $\Pr[AP_{t+h} \in C_{1-\alpha}] \ge 1-\alpha$ sous l'hypothèse d'échangeabilité.
• Inférence conforme adaptative (ACI) : Pour gérer les décalages de distribution causés par les publications d'agents (violant l'échangeabilité), l'ACI ajuste le niveau de non-couverture $\alpha_t$ en ligne. Si une observation tombe en dehors de l'intervalle, $\alpha$ est augmenté, élargissant l'intervalle jusqu'à ce que la couverture soit rétablie.

2.2 Couverture conditionnelle (Conformité Mondrian)

La prédiction conforme standard fournit une couverture marginale (moyenne sur tous les agents), ce qui peut masquer une mauvaise performance pour des agents spécifiques et volatiles. Les auteurs mettent en œuvre une prédiction conforme Mondrian, stratifiant les agents en groupes « stables » et « volatiles » en fonction de l'écart-type inter-source ($\sigma_{cross}$). Des ensembles de calibration et des quantiles séparés sont calculés pour chaque groupe, garantissant une couverture conditionnelle pour les agents volatiles qui échoueraient autrement sous les méthodes standard.

2.3 Incertitude compositionnelle pour les pipelines

Pour les pipelines multi-agents ($a_1 \to a_2$), le cadre dérive des bornes d'incertitude pour la mesure composite :

• Borne d'indépendance : $\sigma_{pipeline} = \sqrt{\sigma_1^2 + \sigma_2^2}$.
• Borne du pire cas : $\sigma_{pipeline} \le \sigma_1 + \sigma_2$.
  Ces bornes sont validées par simulation sur des corrélations inter-étapes $\rho \in [-0,5, 0,9]$.

2.4 Abstention sélective et contrôle du FDR

Pour gérer la fiabilité du classement :

• Abstention conforme : Pour les comparaisons par paires, si l'intervalle de confiance pour la différence de scores $\Delta_{ab}$ contient zéro, le système s'abstient de classer. Cela contrôle le taux de faux classement.
• Correction FDR : Pour les tests multiples à l'échelle du classement (1 225 paires), la procédure de Benjamini-Hochberg (BH) est appliquée pour contrôler le taux de fausses découvertes (FDR), garantissant que la fraction de paires mal ordonnées parmi toutes les paires classées reste en dessous d'un seuil cible.

3. Résultats clés

3.1 Calibration et couverture

• Erreur de calibration : Les intervalles conformes ont atteint des erreurs de calibration inférieures à 0,02 à tous les niveaux nominaux à l'horizon de 24 heures.
• Comparaison avec les méthodes paramétriques/Bootstrap : Les intervalles paramétriques étaient systématiquement trop conservateurs (plus larges que nécessaire). Les intervalles bootstrap étaient modérément trop conservateurs à court terme, mais sous-couverts (74 % de couverture contre 80 % nominaux) à 72 heures en raison de la non-stationnarité temporelle. Les méthodes conformes ont maintenu une couverture robuste (79 % à 72 h).
• Réponse adaptative : Suite aux publications d'agents, l'ACI a correctement élargi les intervalles de 35 % dans les 6 heures et a reconvergé sur 48 heures, tandis que les méthodes statiques ont subi des baisses de couverture.

3.2 Améliorations de la couverture conditionnelle

• Agents volatiles : Sous la prédiction conforme standard, les agents volatiles (haut $\sigma_{cross}$) avaient une couverture moyenne de 64,6 % (11 agents sur 15 en dessous de 75 %).
• Correction Mondrian : En stratifiant les agents, la conformité Mondrian a porté la couverture pour les agents volatiles à 80,4 % (seulement 2 agents sur 15 en dessous de 75 %), au prix d'intervalles plus larges pour ce groupe spécifique.
• Distribution globale : La couverture moyenne par agent sur 50 agents était de 80,4 %, avec 90 % des agents se situant dans la plage [72 %, 90 %].

3.3 Stabilité des pipelines et du classement

• Bornes de pipeline : Les simulations ont confirmé que l'incertitude réelle du pipeline se situe entre les bornes d'indépendance et du pire cas pour les corrélations positives.
• Taux d'abstention : À $\alpha=0,20$, 31 % des paires ont déclenché une abstention. Après correction BH pour le contrôle du FDR, 50 % des paires ont été classées avec confiance, les restantes étant signalées comme incertaines.
• Divergence de signal : La divergence du sentiment inter-source était un prédicteur fort de l'instabilité du classement ($r=0,64, p<0,01$).

3.4 Validation

• Validité prédictive : Un sous-composite excluant les signaux GitHub a prédit les étoiles GitHub ($\rho_s=0,52$) et les questions Stack Overflow ($\rho_s=0,49$).
• Contrôle de circularité : La validation a confirmé que le cadre capture des signaux au-delà des benchmarks standard ($\rho_s=0,52, p<0,01, n=35$).
• Déplacements de classement : Le classement composite différait significativement des classements basés uniquement sur les benchmarks, en particulier pour les agents à forte adoption mais scores de benchmark plus faibles, ou pour les agents propriétaires sans signaux d'adoption.

4. Importance et affirmations

L'article affirme que AgentPulse comble une lacune critique dans l'évaluation de l'IA en fournissant le premier cadre offrant des garanties de couverture sans distribution pour l'évaluation continue et multi-source des agents.

Les auteurs soulignent que leur contribution n'est pas l'invention de la prédiction conforme divisée elle-même, mais son application rigoureuse à un domaine caractérisé par quatre défis distincts :

1. Violations structurées de l'échangeabilité : Résolues via l'ACI pour gérer les publications d'agents.
2. Échec de la couverture conditionnelle : Résolu via la conformité Mondrian avec stratification par $\sigma_{cross}$, améliorant considérablement la fiabilité pour les agents volatiles.
3. Structure compositionnelle : Résolue via des bornes de propagation d'incertitude validées pour les pipelines.
4. Tests multiples à l'échelle du classement : Résolu via l'abstention contrôlée par le FDR.

Le travail démontre que les méthodes sans distribution surpassent les approches de rééchantillonnage standard (bootstrap) dans des conditions de non-stationnarité temporelle. En traitant l'incertitude comme une sortie primaire, le cadre permet une évaluation plus fiable, dynamique et nuancée des agents IA, dépassant les estimations ponctuelles statiques pour une compréhension probabiliste de la qualité des agents.

Limites reconnues par les auteurs :

• L'ACI suppose des décalages de distribution bornés ; des changements de régime non bornés peuvent violer la convergence.
• Les bornes compositionnelles peuvent être anti-conservatives sous une corrélation inter-étape négative.
• Le contrôle du FDR suppose l'indépendance ou une dépendance de régression positive parmi les statistiques de test.
• L'étude d'ablation ($n=11$) était sous-puissante.
• Le traitement NLP actuel est uniquement en anglais, et les agents propriétaires manquent de signaux d'adoption.