Résumé Technique : PROBE – Mesurer la résolution proactive de problèmes par les agents LLM

1. Définition du problème

Les agents basés sur les grands modèles de langage (LLM) actuels sont principalement réactifs, opérant uniquement après avoir reçu des instructions explicites de l'utilisateur. Bien que des progrès significatifs aient été réalisés dans les domaines réactifs comme le codage et la navigation web, la transition vers des agents proactifs — capables d'anticiper les besoins de l'utilisateur, d'identifier des problèmes de manière autonome et d'exécuter des solutions sans sollicitation — reste sous-évaluée.

Les benchmarks existants pour la proactivité sont limités par :

• Un contexte localisé : Ils reposent souvent sur des contextes temporels étroits et immédiats, échouant à capturer des informations qui nécessitent une analyse à long terme à travers de multiples documents.
• L'absence de recherche : Ils ne testent pas adéquatement la capacité d'un agent à effectuer des recherches dans un « magasin de données utilisateur » pour trouver des problèmes non spécifiés.
• Des contraintes synthétiques : La collecte de données réelles pour la proactivité à long horizon est entravée par des préoccupations de confidentialité et une surcharge d'annotation.

Le défi central est d'évaluer si les agents peuvent : (1) rechercher dans un magasin de données personnalisé pour trouver des problèmes non spécifiés, (2) identifier des « goulots d'étranglement » spécifiques (problèmes critiques et exploitables), et (3) exécuter la résolution correcte parmi des alternatives plausibles.

2. Méthodologie : Le Benchmark PROBE

Pour combler ces lacunes, les auteurs introduisent PROBE (Proactive Resolution of Bottlenecks), un benchmark conçu pour opérationnaliser la proactivité sous la forme d'un pipeline à trois étapes.

2.1 Pipeline de génération de données

Le benchmark utilise un pipeline de génération de données synthétiques pour créer 1 000 échantillons de test diversifiés sans risques liés à la confidentialité :

1. Construction du Modèle du Monde : En partant de profils LinkedIn réels, le système construit des « modèles du monde » complets pour des utilisateurs simulés. Ces modèles encodent les hiérarchies professionnelles, les styles de communication, les points de friction et les espaces d'action disponibles.
2. Génération de Goulots d'Étranglement : Pour chaque utilisateur, le système génère un « goulot d'étranglement » spécifique — un problème critique et exploitable (ex: une échéance manquée, une documentation manquante) qui est dissimulé dans l'historique documentaire de l'utilisateur.
3. Synthèse de Documents : Un magasin de données ($D$) est créé pour chaque échantillon, composé de :
   • Vrais Positifs ($T$) : Documents contenant des preuves du goulot d'étranglement. Les preuves sont souvent réparties sur plusieurs documents, nécessitant une synthèse et un raisonnement temporel.
   • Distracteurs ($K$) : Documents réalistes et non pertinents (e-mails, événements de calendrier) de longueur et de pertinence comparables pour introduire du bruit.
4. Espace d'Action : Un ensemble d'actions candidates ($A$) est défini, où exactement une action ($a^*$) résout correctement le goulot d'étranglement, tandis que les autres sont plausibles mais sous-optimales.

2.2 Formulation de la tâche

Un agent reçoit le magasin de données $D$ et l'ensemble des actions disponibles $A$. Il doit produire un tuple $\hat{O} = (\hat{T}, \hat{b}, \hat{a}, \hat{p})$ :

• $\hat{T}$ : Le sous-ensemble de documents identifiés comme pertinents.
• $\hat{b}$ : La description du goulot d'étranglement identifié.
• $\hat{a}$ : L'action sélectionnée.
• $\hat{p}$ : Les paramètres de l'action sélectionnée.

2.3 Métriques d'évaluation

La performance est mesurée à travers trois étapes hiérarchiques :

1. Recherche : Précision, Rappel et score F1 pour la récupération des documents corrects ($T$).
2. Identification du Goulot d'Étranglement : Évaluée via un cadre d'évaluation par LLM (LLM-as-a-judge), scorant l'exactitude des détails essentiels (cause racine, bloqueur) et non essentiels.
3. Exécution de la Tâche : Évaluation de la justesse de l'action sélectionnée et de l'exhaustivité de ses paramètres.

L'évaluation humaine sur un sous-ensemble à « contexte court » (supprimant les distracteurs) a montré que les annotateurs atteignaient environ 71 % en identification et environ 67 % en exécution, validant que la difficulté principale du benchmark complet provient du raisonnement sur long contexte et de la recherche plutôt que de l'ambiguïté de la tâche.

3. Contributions Clés

• Benchmark PROBE : Un ensemble de 1 000 échantillons évaluant systématiquement les capacités proactives à travers un cadre unifié de recherche, d'identification et d'exécution sur des contextes de long horizon et multi-documents.
• Évaluation Exhaustive : Une évaluation rigoureuse des modèles fermés de pointe (GPT-5, Claude Opus 4.1, etc.) et des modèles open-source (DeepSeek-R1, Kimi K-2) aux côtés des principaux frameworks agentiques (ReACT, Reflexion, ReWOO).
• Analyse des Modes de Défaillance : Une décomposition approfondie des échecs des systèmes, distinguant les erreurs de recherche, les erreurs de raisonnement (identification de la cause racine) et les erreurs d'exécution (spécification des paramètres).

4. Résultats

L'évaluation révèle un plafond de capacité significatif pour les systèmes d'IA actuels dans les tâches proactives :

• Faible Performance de Bout en Bout : Même les modèles de pointe peinent à atteindre des taux de réussite élevés. La meilleure performance de bout en bout (score d'Exécution de la Tâche) est de 40 %, réalisée par GPT-5 et Claude Opus 4.1.
• Goulots d'Étranglement du Pipeline :
  • Recherche : GPT-5 mène avec un F1 de 0,65, tandis que les autres modèles chutent considérablement (ex: GPT-OSS-20b à 0,04).
  • Identification : Les modèles Claude (Opus 4.1, Sonnet 4) montrent un léger avantage en raisonnement (score de 0,43) par rapport à GPT-5 (0,42), suggérant un arbitrage entre force de recherche et profondeur de raisonnement.
  • Exécution : La performance chute brutalement de l'identification à l'exécution. Les modèles identifient souvent correctement le problème mais échouent à sélectionner l'action correcte ou à fournir des paramètres complets.
• Frameworks Agentiques : Les frameworks standards (ReACT, Reflexion, ReWOO) performent nettement moins bien que les LLM « prêts à l'emploi », avec des scores d'exécution allant de 0,01 à 0,11. Cela est attribué à leur dépendance vis-à-vis d'outils de récupération itératifs qui peinent en l'absence d'une cible de recherche bien définie au sein d'un vaste magasin de données non structuré.
• Modes de Défaillance :
  • Identification de la Cause Racine : Le mode de défaillance dominant, représentant 73,8 % des erreurs d'identification. Même les meilleurs modèles identifient fréquemment mal la cause racine.
  • Raisonnement Interpersonnel : Les modèles ont du mal à raisonner sur les relations et les rôles (taux d'échec de 46,9 % à 78,0 %), échouant souvent à attribuer le goulot d'étranglement à la bonne personne.
  • Spécification des Paramètres : Des taux élevés de paramètres critiques manquants (65 %–79 %) ou de remplissage de paramètres incorrects, indiquant un fossé entre le diagnostic d'un problème et la formulation d'une solution précise.

5. Signification et Revendications

L'article affirme que PROBE expose une limitation fondamentale des systèmes agentiques autonomes actuels : l'incapacité à traduire de manière fiable un contexte de long horizon en solutions actionnables et paramétrées.

• Au-delà de la Réactivité : Les résultats soulignent que le simple passage à l'échelle des modèles ou l'utilisation de boucles agentiques standards (comme ReACT) est insuffisant pour une véritable proactivité. L'écart entre les outils « réactifs » et les assistants « proactifs » reste substantiel.
• Utilisation Fidèle des Preuves : Les auteurs soutiennent que les progrès futurs dépendent d'une « utilisation fidèle des preuves » — la capacité de synthétiser des informations provenant de multiples sources pour identifier les goulots d'étranglement avec précision avant de tenter une résolution. Les modèles actuels utilisent souvent des « raccourcis » en devinant la solution sans preuves suffisantes, entraînant des scores d'identification élevés mais des scores d'exécution faibles.
• Directions de Recherche : Le papier identifie des domaines spécifiques pour les travaux futurs, notamment :
  • Le développement de benchmarks intégrant la dynamique temporelle et des modèles d'utilisateurs évolutifs (dépassant les modèles du monde fixes).
  • L'extension de l'évaluation à des flux de travail multi-étapes où les actions modifient l'état de l'agent.
  • L'amélioration des capacités de raisonnement interpersonnel et d'analyse de la cause racine.

En résumé, l'article pose que si les LLM ont fait des progrès immenses dans les tâches réactives, le saut vers l'autonomie proactive nécessite de résoudre des défis complexes de recherche en contexte long, de synthèse multi-documents et de planification d'actions précises, des domaines que les modèles de pointe actuels n'ont pas encore maîtrisés.