Résumé Technique : STT-Arena

Énoncé du Problème

Les agents basés sur les grands modèles de langage (LLM) sont de plus en plus déployés dans des applications commerciales réelles telles que les réservations aériennes et les consultations cliniques. Bien que les benchmarks dynamiques existants (par exemple, GAIA-2, Real-Time Reasoning Gym) se concentrent sur la mesure de la capacité d'un agent à détecter les changements temporels et à réagir rapidement, ils négligent largement le défi complémentaire de la replanification adaptative. Dans des scénarios réalistes, des perturbations en cours de tâche, induites par des dynamiques spatio-temporelles, peuvent invalider les décisions antérieures, obligeant l'agent à abandonner un plan échoué et à reconstruire une stratégie alternative multi-étapes. Les benchmarks actuels ne parviennent pas à évaluer systématiquement cette capacité, laissant un vide dans la compréhension de la manière dont les LLM gèrent des environnements où les changements d'état sont abrupts, couplés dans le temps et l'espace, et susceptibles de rendre les plans en cours obsolètes.

Méthodologie

Construction du Benchmark STT-Arena

Les auteurs introduisent STT-Arena (Spatio-Temporal Tool-Use Arena), un benchmark comprenant 227 tâches interactives de haute qualité. La construction suit un pipeline en trois étapes :

1. Curation de l'Environnement : Des environnements statiques et exécutables sont synthétisés à partir de requêtes utilisateurs réelles (filtrées pour leur état et leur sensibilité spatio-temporelle) en utilisant des LLM pour inférer les attributs des entités et les spécifications des outils. Ceux-ci sont implémentés sous forme de classes Python et validés pour leur correction fonctionnelle.
2. Injection de Dynamiques Spatio-Temporelles : Des conflits contrôlés sont injectés dans des environnements statiques sur la base d'une taxonomie de neuf types de conflits classés en dynamiques Temporelles (T1–T3), Spatiales (S1–S3) et Spatio-Temporelles (ST1–ST3). Un « plan directeur » définit l'objectif utilisateur, la séquence d'outils nominale, les conditions de déclenchement, les mutations d'état et les chemins de récupération. Cette étape crée des tâches avec des niveaux de solvabilité variables : Facile, Moyen, Difficile et Impossible.
3. Évaluation par Double Agent : Un agent de planification génère une trajectoire exempte de conflits, tandis qu'un agent de vérification confirme que les déclencheurs injectés se déclenchent correctement, mutent l'état comme prévu et perturbent avec succès le plan original. Une revue avec humain dans la boucle assure la cohérence et le réalisme.

Protocole d'Évaluation

Les tâches sont évaluées en faisant interagir le LLM avec un simulateur d'utilisateur passif. Le succès est mesuré via Pass@1, calculé comme une moyenne pondérée sur les niveaux de difficulté. Pour les tâches solubles, une liste de contrôle de critères vérifie l'état final. Pour les tâches impossibles, le modèle doit correctement reconnaître l'inviabilité et la communiquer à l'utilisateur.

Entraînement de STT-Agent

Pour remédier aux modes de défaillance identifiés, les auteurs proposent STT-Agent, un modèle de 4 milliards de paramètres entraîné en utilisant :

• Raffinement Itératif des Trajectoires : Une technique de post-traitement qui réorganise, supprime ou modifie les blocs d'appels d'outils dans les données d'entraînement pour éliminer les patterns inefficaces (par exemple, les réessais aveugles, l'absence de vérification).
• Apprentissage par Renforcement en Ligne (RL) : Un affinage sur des tâches dynamiques vérifiables utilisant REINFORCE++ pour optimiser l'adaptation réussie.

Contributions Clés

1. Une Taxonomie Spatio-Temporelle Fine : Le benchmark catégorise les dynamiques environnementales en neuf sous-types (par exemple, Expiration de Fenêtre, Inadéquation de Site, Cascade d'Échec) qui capturent explicitement l'évolution temporelle, la dépendance spatiale et leurs interactions couplées.
2. Infrastructure Interactive Évolutive : Un cadre reproductible pour générer des environnements dynamiques où les déclencheurs peuvent invalider abruptement les plans, forçant les agents à détecter les changements d'état et à se replanifier.
3. Paradigme Complet de Benchmarking et d'Entraînement : Une évaluation extensive des LLM de pointe révèle des écarts de performance significatifs. Les auteurs introduisent une technique de raffinement itératif des trajectoires combinée à un RL en ligne pour produire STT-Agent-4B, qui surpasse de nombreux modèles open-source plus grands malgré sa taille compacte.

Résultats

• Difficulté Fondamentale : Même les modèles propriétaires les plus puissants, y compris Claude-4.6-Opus, atteignent moins de 40 % de précision globale (35,39 %) sur STT-Arena. Les performances se dégradent significativement à mesure que la difficulté de la tâche augmente, passant de Facile à Difficile.
• Échelle du Modèle vs Entraînement : Les modèles open-source traînent généralement derrière les leaders propriétaires. Les modèles efficaces (par exemple, Llama-3.1-8B) performent nettement moins bien, soulignant le rôle critique de l'échelle du modèle. Cependant, STT-Agent-4B (27,17 % Pass@1) surpasse plusieurs modèles de pointe plus grands (par exemple, GLM-5.1 à 27,31 %, Deepseek-V3.2 à 32,16 % sur certaines métriques mais plus faible globalement), suggérant qu'un entraînement ciblé sur les patterns d'échec spatio-temporels est hautement efficace.
• Modes de Défaillance : Une analyse systématique identifie trois patterns d'erreurs récurrents dans les modèles existants :
  1. Exécution sur État Périmé : Continuer d'agir sur des états mondiaux obsolètes après que des changements se sont produits.
  2. Mauvais Diagnostic des Déclencheurs Dynamiques : Interpréter des blocs réglementaires ou structurels comme des erreurs de paramètres ou des bugs transitoires.
  3. Absence de Vérification Post-Adaptation : Échouer à vérifier que l'état global final satisfait toutes les contraintes après une étape d'adaptation.
• Mise à l'Échelle au Moment du Test : Augmenter le nombre de tentatives (Pass@k) améliore les performances mais produit des rendements décroissants, indiquant que l'échantillonnage seul ne peut surmonter les défis fondamentaux de raisonnement.

Importance

L'article soutient que la capacité à se replanifier et à reconsidérer les décisions face à des changements environnementaux en cours de tâche est essentielle pour le déploiement digne de confiance des agents LLM dans des contextes réels. STT-Arena expose des déficiences fondamentales dans la capacité des modèles actuels à gérer les dynamiques spatio-temporelles, démontrant qu'une haute performance sur des benchmarks statiques ne garantit pas la robustesse dans des conditions réalistes et évolutives. En identifiant des modes de défaillance spécifiques et en proposant un paradigme d'entraînement (raffinement de trajectoire + RL) qui les atténue efficacement, ce travail fournit une base pour construire des agents véritablement robustes dans des environnements dynamiques. Les auteurs positionnent STT-Arena comme un test de stress nécessaire pour évaluer la préparation au déploiement, allant au-delà de la simple réactivité pour évaluer un véritable raisonnement adaptatif.