Résumé technique : BRIDGE – Prédire le temps de complétion des tâches humaines à partir de la performance des modèles

Énoncé du problème

L'évaluation des capacités réelles des systèmes d'IA repose généralement sur des scores de référence (benchmarks) et des métriques agrégées. Cependant, ces scores sont difficiles à interpréter en tant que mesures de la difficulté réelle d'une tâche ou de l'effort concret. Les améliorations de scores peuvent refléter des gains sur des instances courtes et routinières, tout en laissant inchangés les processus plus longs et multi-étapes ; de même, des changements de scores comparables peuvent correspondre à des décalages très différents en termes de capacité pratique.

Une alternative notable, proposée par METR (Kwa et al., 2026), mesure la capacité en termes de « temps de complétion de la tâche humaine » requis pour qu'un agent IA réussisse. Bien que cela fournisse une échelle interprétable par l'humain, cela repose sur des annotations humaines coûteuses, bruitées et difficiles à mettre à l'échelle. À mesure que de nouveaux benchmarks émergent, la dépendance à des études humaines sur mesure pour ancrer chaque benchmark crée un fossé croissant entre l'évaluation centrée sur le benchmark et les notions de difficulté centrées sur l'humain. Le défi central est le suivant : pouvons-nous prédire le temps de complétion des tâches humaines pour de nouveaux benchmarks sans mener de nouvelles études humaines ?

Méthodologie : Le cadre BRIDGE

Les auteurs proposent BRIDGE (Benchmark Response Inferred Difficulty Grounded in Elapsed human time), un cadre psychométrique unifié qui aligne la difficulté latente des tâches, inférée par la performance des modèles, avec le temps de complétion des tâches par l'humain.

1. Modélisation par la Théorie de la Réponse aux Items (IRT)

Le cadre utilise un modèle IRT logistique à deux paramètres (2PL) pour estimer conjointement :

• La difficulté latente de la tâche ($b_i$) : Un paramètre caractérisant la difficulté des tâches individuelles.
• La capacité du modèle ($\theta_j$) : Un paramètre caractérisant la capacité des modèles individuels.
• La discrimination ($a_i$) : Un paramètre mesurant comment une tâche différencie les modèles de capacités variables.

La probabilité qu'un modèle $j$ accomplisse avec succès la tâche $i$ est modélisée par :
$$P(y_{i,j} = 1 | \theta_j, a_i, b_i) = \sigma(a_i(\theta_j - b_i))$$
où $\sigma$ est la fonction logistique. Le modèle est ajusté à l'aide de l'échantillonnage de Monte Carlo par chaînes de Markov (MCMC) avec des priors hiérarchiques sur les résultats binaires de succès/échec à travers plusieurs benchmarks.

2. Ancrage au temps humain

Bien que l'IRT fournisse une échelle latente unifiée, ses paramètres sont intrinsèquement invariants par rapport à l'échelle et manquent de signification sémantique propre. BRIDGE résout cela en ancrant l'échelle de difficulté latente au temps de complétion humain.

• Calibration : En utilisant un ensemble de données de tâches dont les temps de complétion humains sont connus (spécifiquement de METR), les auteurs ajustent une relation linéaire entre la difficulté latente inférée par l'IRT ($b_i$) et le logarithme du temps de complétion humain ($h_i$) :
  $$\log(h_i) = \text{pente} \times b_i + \text{ordonnée à l'origine}$$
• Prédiction : Une fois calibrée, cette mise en correspondance log-linéaire permet de prédire le temps de complétion humain pour de nouveaux benchmarks (sans annotations humaines) uniquement sur la base de leur difficulté latente inférée par l'IRT.

3. Horizon de prévision

Le cadre suit l'évolution des capacités des modèles de pointe en identifiant le modèle le plus performant dans des fenêtres de publication spécifiques. En faisant correspondre la capacité estimée du modèle ($\theta_{max}$) à l'échelle de difficulté ($b = \theta_{max}$ à 50 % de succès), le système prévoit l'« horizon de longueur de tâche » — la durée des tâches qu'un modèle peut accomplir avec une probabilité donnée.

Principales contributions

1. Cadre psychométrique unifié : BRIDGE comble le fossé entre les métriques de performance des modèles et les unités de temps interprétables par l'humain en calibrant la difficulté latente de l'IRT par rapport au temps de complétion humain.
2. Alignement log-linéaire : L'article démontre un résultat empirique fort selon lequel la difficulté latente des tâches varie linéairement avec le logarithme du temps de complétion humain ($R^2 = 0,81$ sur les données de METR). Cela permet d'inférer la durée des tâches humaines à partir de la performance des modèles uniquement.
3. Prévision évolutive : Le cadre permet de prévoir les capacités des modèles de pointe en termes de longueur de tâche humaine sans nécessiter de nouvelles études humaines pour chaque benchmark.
4. Robustesse : La méthode se montre robuste à la parcimonie de la couverture modèle-tâche, maintenant une corrélation élevée dans les estimations de difficulté même lorsque jusqu'à 70 % des entrées observées sont supprimées.

Résultats expérimentaux

Les auteurs ont évalué BRIDGE sur plusieurs benchmarks hors distribution : SWE-bench Verified, MLE-bench, GDPval, et Cybench.

• Précision de la prédiction du temps :
  • Sur SWE-bench Verified, les compartiments de temps prédits par BRIDGE s'alignent nettement mieux avec les annotations humaines que l'heuristique du taux de succès logit et les estimateurs basés sur les LLM (Gemini 3 Pro, GPT-5.2). BRIDGE a obtenu un score F1 macro pondéré de 0,284 contre 0,198 pour le baseline logit et 0,048 pour GPT-5.2.
  • Sur Cybench, BRIDGE a obtenu un $R^2$ de 0,45 par rapport aux temps de première résolution humains, avec 92,3 % des tâches tombant dans une bande de tolérance de 0,5×–2×. En revanche, les baselines logit sous-estimaient systématiquement la durée, tandis que les estimateurs LLM la surestimaient systématiquement.
• Tendances de prévision :
  • En utilisant uniquement les journaux de performance des modèles, BRIDGE prévoit que l'« horizon de temps de complétion de la tâche à 50 % » (la longueur des tâches solubles avec une probabilité de 50 %) croît de manière exponentielle.
  • Le temps de doublement estimé est d'environ 6 mois.
  • À l'ère des derniers modèles de pointe (ex: Claude 4.5 Opus, GPT-5), l'horizon de succès à 50 % est estimé à environ 1,4 à 2,5 heures d'effort humain, selon le benchmark.
  • À un seuil de succès plus strict de 80 %, l'horizon se contracte à environ 40 minutes, mais le temps de doublement reste constant à environ 6 mois.

Signification et affirmations

L'article affirme que BRIDGE fournit une méthode évolutive, fiable et ancrée dans l'humain pour évaluer et prévoir le progrès de l'IA.

• Indépendance vis-à-vis des études humaines : Il démontre que la difficulté des tâches centrée sur l'humain peut être inférée à partir de données centrées sur le modèle, réduisant ainsi le coût et la friction du suivi du progrès réel de l'IA.
• Validation des lois d'échelle (Scaling Laws) : Les résultats reproduisent et corroborent de manière indépendante les conclusions de METR concernant la croissance exponentielle des horizons de longueur de tâche, validant l'utilisation de la performance des modèles comme proxy du temps humain.
• Interprétabilité : En traduisant les scores abstraits des benchmarks en « heures d'effort humain », BRIDGE offre une métrique plus actionnable pour comprendre ce que les systèmes d'IA peuvent réellement faire et la rapidité avec laquelle leurs capacités pratiques s'améliorent.

Les auteurs concluent que, bien que l'IRT soit intrinsèquement invariante par rapport à l'échelle, l'ancrage au temps humain crée une « pierre de Rosette » pour les benchmarks d'IA, permettant le transfert des estimations de difficulté entre les humains et les modèles à travers diverses et évolutives distributions de tâches.