Résumé Technique : ProactBench

Définition du Problème

Les benchmarks actuels des grands modèles de langage (LLM) évaluent principalement la compétence réactive : la capacité d'un modèle à répondre aux demandes explicites de l'utilisateur. Bien que les modèles aient considérablement progressé dans le suivi des instructions, une capacité conversationnelle critique reste non mesurée : la proactivité conversationnelle. Celle-ci est définie comme la capacité à remarquer et à agir sur des besoins que l'utilisateur a implicites mais non explicitement énoncés.

Les évaluations existantes échouent souvent à distinguer entre une assistance proactive authentique et des comportements réactifs tels que :

• Suivi des instructions : Une conformité polie à des demandes évidentes.
• Recherche de clarification : Demander des informations que l'utilisateur a déjà fournies.
• Utilité générique : Des formules de politesse standardisées (par exemple, « Faites-moi savoir si vous avez besoin de quoi que ce soit ») qui n'apportent aucune valeur ancrée.
• Sycophancie : Un comportement agreeable mais épistémiquement faible.

L'article soutient que la véritable proactivité exige qu'un modèle infère des implications non énoncées à partir de détails divulgués et introduise une valeur prospective utile sans être sollicité.

Méthodologie

ProactBench introduit un cadre d'évaluation novateur conçu pour mesurer la proactivité à travers trois phases distinctes de conversation, en utilisant une architecture à trois agents pour garantir la validité.

1. Les Trois Types de Déclencheurs

Le benchmark décompose la proactivité en types de déclencheurs liés à des phases, chacun avec des critères spécifiques :

• ÉMERGENT (Tours 1–3) : Inférer un besoin non énoncé à partir d'un seul ancrage divulgué (détail factuel) au début de la conversation.
• CRITIQUE (Tours 4–7) : Synthétiser plusieurs ancrages divulgués en une nouvelle conclusion au milieu du dialogue.
• RÉCUPÉRATION (Tours 8–10) : Offrir une valeur ancrée et prospective après que l'utilisateur a signalé la fin de la tâche. Cette phase est critique car c'est là que les modèles ont souvent l'air utiles tout en ne disant rien d'utile.

2. Architecture d'Évaluation à Trois Agents

Pour se prémunir contre un scoring confondu par le style, une fuite de critères, une contamination par un contexte externe et des déversements d'informations, le benchmark emploie :

• Le Planificateur : Rédige la stratégie de dialogue, décide quand un déclencheur se produit et s'engage sur un critère prospectif avant que le modèle ne réponde. Il voit le persona et le scénario mais pas le style de communication.
• L'Agent Utilisateur : Transforme les ordres tactiques du Planificateur en messages d'utilisateur naturels basés sur un persona spécifique et l'un des 24 styles de communication dérivés de l'Inventaire des Styles de Communication (CSI).
• Le Modèle Assistant : Reçoit uniquement l'historique de conversation naturel. Il est aveugle au persona, au critère, au calendrier des déclencheurs et aux objectifs cachés.
• Le Juge Hors Ligne : Relance uniquement les tours de déclencheur d'un dialogue sélectionné pour noter la réponse par rapport au critère fixe, garantissant des contextes identiques pour tous les modèles évalués.

3. Jeu de Données et Protocole

• Corpus : 198 dialogues sélectionnés contenant 624 points de déclenchement.
• Variabilité : Les dialogues couvrent 24 styles de communication (combinaisons de 6 traits CSI : expressivité, précision, agressivité verbale, tendance à poser des questions, émotivité et manipulation de l'impression) et 5 domaines de vie (Professionnel, Sport, Arts, Voyage, Culinaire).
• Sélection : Les dialogues ont été générés en utilisant une isolation « démarrage à froid » où le modèle de sélection (Gemini-2.5-Pro) n'avait aucun accès au critère ou aux objectifs cachés, garantissant que l'historique de conversation ne contient que des informations qu'un véritable assistant posséderait naturellement.
• Notation : Les réponses sont notées Pass, Partiel ou Échec en fonction de leur conformité au principe proactif (par exemple, inférence à partir d'un seul ancrage, synthèse multi-ancrage ou valeur prospective ancrée).

Contributions Clés

1. Définition de la Proactivité Conversationnelle : Une définition formelle séparant la proactivité du suivi des instructions, de la clarification et de l'utilité générique, structurée en trois types de déclencheurs liés à des phases.
2. Architecture d'Évaluation : Un système à trois agents (Planificateur, Agent Utilisateur, Assistant) avec des asymétries d'information qui atténuent quatre menaces spécifiques de validité courantes dans les évaluations LLM-comme-juge.
3. Le Corpus ProactBench : Une publication de 198 dialogues avec 624 déclencheurs, ancrés dans des personas synthétiques américains et variés à travers 24 styles de communication, audités par un juge LLM indépendant.
4. Évaluation Empirique : Une évaluation complète de 16 modèles de pointe et à poids ouverts, révélant que la RÉCUPÉRATION est une capacité distincte qui se décorrèle des benchmarks standards.
5. Validation Humaine : Une étude humaine par paires démontrant que les réponses proactives conditionnées par un critère sont préférées aux générations standards dans 80 % des comparaisons non-nulles, confirmant que le benchmark mesure une capacité valorisée par les humains.

Résultats

L'évaluation de 16 modèles (incluant GPT-5.5, Claude-Opus-4.7, Qwen3.5 et des variantes Llama) produit plusieurs conclusions clés :

• La RÉCUPÉRATION est Difficile et Distincte : La RÉCUPÉRATION est le type de déclencheur le plus difficile. Le meilleur modèle (GPT-5.5) ne réussit que 37,2 % des déclencheurs de RÉCUPÉRATION, tandis que 14 modèles sur 16 en réussissent moins de 20 %.
• Décorrélations avec les Benchmarks Standards : Alors que les scores ÉMERGENT et CRITIQUE corrélatent fortement avec les benchmarks existants (GPQA, MMLU, SWE-bench, etc.), la RÉCUPÉRATION ne le fait pas. Sa corrélation moyenne avec six benchmarks standards est de $\bar{r} = 0,51$ (IC 95 % [0,29, 0,71]), comparé à $\bar{r} \approx 0,83$ pour les autres types.
  • Exemple : Kimi-K2.6 surpasse GPT-5.5 sur LiveCodeBench et SWE-bench mais obtient un score 5 fois plus faible sur la RÉCUPÉRATION (7,4 % contre 37,2 %).
• Politique vs Capacité : L'écart dans les performances de RÉCUPÉRATION semble refléter une différence de politique (par exemple, mélange de données de post-entraînement et retours d'expérience utilisateur) plutôt qu'un plafond de capacité pur. GPT-5.5 présente une politique « uniforme en style », maintenant une performance élevée en RÉCUPÉRATION à travers des styles d'utilisateurs difficiles, tandis que d'autres modèles performants concentrent leur avantage sur des styles plus faciles.
• Modes d'Échec :
  • Les modèles fermés de pointe (à l'exception de GPT-5.5) échouent principalement via des formules de politesse génériques (signatures polies mais vides).
  • GPT-5.5 et les petits modèles à poids ouverts échouent principalement via la répétition des livrables (réénoncer la tâche accomplie sans ajouter de nouvelle valeur).
• Préférence Humaine : Dans une étude contrôlée, les humains ont préféré les réponses générées avec le critère de RÉCUPÉRATION comme instruction système par rapport aux générations standards dans 80 % des cas, même lorsque la réponse standard avait déjà réussi le critère.

Signification et Revendications

L'article affirme que ProactBench identifie un « angle mort » dans l'évaluation actuelle des LLM. Alors que les modèles deviennent de plus en plus capables de suivre des instructions, ils peinent à fournir une valeur prospective ancrée une fois la tâche apparemment terminée.

Les auteurs affirment que :

1. La RÉCUPÉRATION est un nouveau signal d'évaluation : Elle est faiblement prédite par les benchmarks standards de raisonnement et de codage, suggérant qu'elle mesure une capacité comportementale distincte.
2. La proactivité est préférée par les humains : Les comportements proactifs spécifiques définis et mesurés par ProactBench ne sont pas simplement un « débordement de type nounou » mais sont véritablement préférés par les évaluateurs humains lorsqu'ils sont ancrés dans des détails divulgués spécifiques.
3. L'écart est comportemental, pas seulement cognitif : La variation des performances en RÉCUPÉRATION entre les modèles suggère que les modèles de pointe actuels diffèrent dans leur « politique » concernant l'initiative, probablement pilotée par des données d'alignement, plutôt que par un manque fondamental de capacité de raisonnement.

L'article conclut que ProactBench sert de sonde de capacité pour ce comportement spécifique, offrant un substrat pour la modélisation de la récompense et l'apprentissage des préférences afin d'enseigner aux modèles quand l'initiative est la bienvenue, plutôt que de les entraîner à être maximalement proactifs dans tous les contextes.