Résumé technique : Agentick, une référence unifiée pour les agents de prise de décision séquentielle générale

Énoncé du problème

La recherche sur les agents autonomes couvre un large spectre, allant des agents d'apprentissage par renforcement profond (RL) apprenant à partir de zéro aux agents de modèles de base (FM) (LLM et VLM) exploitant des connaissances mondiales préentraînées. Malgré cette diversité, un écart critique subsiste : aucune référence unifiée ne permet une comparaison équitable entre ces paradigmes. Les références existantes sont généralement conçues pour des types d'agents spécifiques (par exemple, des environnements basés sur des pixels pour le RL ou des jeux textuels pour les LLM), rendant impossible l'évaluation de savoir si une combinaison d'apprentissage par interaction et de connaissances préentraînées est nécessaire pour construire des agents pleinement capables. De plus, les références actuelles manquent souvent de l'infrastructure pour supporter l'entraînement, ne décomposent pas les capacités en dimensions spécifiques, ou n'offrent pas de modalités d'observation standardisées empêchant les biais architecturaux.

Méthodologie : La référence Agentick

Les auteurs présentent Agentick, une référence conçue dès l'origine pour soutenir une évaluation équitable à travers tout le spectre de la conception d'agents (RL, LLM, VLM, hybrides et agents humains). La référence repose sur quatre principes directeurs :

1. Universalité des paradigmes : Chaque tâche expose cinq modalités d'observation synchronisées simultanément :

   • Grilles de texte ASCII (pour les LLM).
   • Descriptions en langage naturel.
   • Dictionnaires structurés.
   • Rendus isométriques de pixels 512×512 (pour les VLM et le RL basé sur CNN).
   • Tableaux d'état bruts numpy (pour les agents programmatiques).
     Cela garantit qu'aucun type d'agent n'est désavantagé par le format d'entrée.

2. Décomposition des capacités : Au lieu d'un score agrégé unique, l'évaluation est décomposée en six catégories de capacités :

   • Navigation (8 tâches)
   • Planification (9 tâches)
   • Raisonnement (8 tâches)
   • Mémoire (4 tâches)
   • Généralisation (3 tâches)
   • Coordination multi-agent (5 tâches)
     Cela permet un profilage sous forme de « radar » pour identifier les forces et faiblesses spécifiques.

3. Conception axée sur l'entraînement : La référence inclut une API de codage pour l'interaction programmatique avec les tâches, des politiques de référence oracle pour les 37 tâches, et des jeux de données d'ajustement fin supervisé (SFT) préconstruits (120k–500k épisodes oracle) disponibles sur HuggingFace. Les environnements sont vectorisables pour un entraînement RL parallèle.

4. Difficulté contrôlée : Les tâches présentent quatre niveaux de difficulté (facile à expert) et sont générées de manière procédurale pour garantir des dispositions uniques à chaque graine, en faisant évoluer la taille de la grille, la complexité des contraintes et la durée des épisodes.

Métrique d'évaluation : La métrique principale est le Score normalisé par l'oracle (ONS) :
$$ONS = \frac{\text{retour\_agent} - \text{base\_aléatoire}}{\text{retour\_oracle} - \text{base\_aléatoire}}$$
Cela normalise les performances par rapport à une base aléatoire et à une politique de référence forte (oracle), permettant une comparaison entre tâches.

Configuration expérimentale : Les auteurs ont évalué 27 configurations à travers 37 tâches, 4 niveaux de difficulté et 25 graines par paire tâche-difficulté (totalisant >90 000 épisodes). Les agents évalués comprenaient :

• LLM de pointe : GPT-5 mini, Gemini 3.1 Flash Lite, Claude Haiku 4.5.
• RL à partir de zéro : Agents PPO entraînés avec des récompenses denses et clairsemées.
• LLM à poids ouverts : Modèles Qwen3 et Qwen3.5 (de 0,8 à 4 milliards de paramètres).
• Enchaînements (Harnesses) : Les agents ont été testés avec différentes stratégies d'inférence, notamment un enchaînement « Raisonneur Markovien » invitant au raisonnement par chaîne de pensée.

Résultats clés

L'évaluation révèle qu'aucun paradigme unique ne domine toutes les capacités :

• Performance globale : GPT-5 mini a obtenu le ONS global le plus élevé (0,309), suivi de près par le PPO entraîné à partir de zéro (0,287). Cependant, même le meilleur agent atteint moins d'un tiers des performances de l'oracle, indiquant une marge d'amélioration substantielle.
• Spécialisation des capacités :
  • GPT-5 mini a excellé en Navigation (0,456) et en Généralisation (0,437), exploitant les connaissances préentraînées.
  • PPO a dominé la Planification (0,402) et les tâches Multi-agent (0,432), où un contrôle précis et répétable appris par interaction est critique.
  • Les tâches de Raisonnement sont restées la catégorie la plus faible pour tous les agents, avec le meilleur score (PPO) à seulement 0,191.
• Impact de la conception de l'enchaînement : Le choix de la stratégie d'incitation était aussi critique que l'échelle du modèle. L'enchaînement Raisonneur (chaîne de pensée) a multiplié les performances des LLM par 3 à 10 fois sur tous les modèles testés. Par exemple, Qwen3.5-4B est passé de 0,023 à 0,228 ONS en passant d'un enchaînement Markovien standard à l'enchaînement Raisonneur.
• Modalité d'observation : Les observations ASCII ont systématiquement surpassé le langage naturel pour les agents LLM (par exemple, Qwen3.5-4B a obtenu 0,228 sur ASCII contre 0,181 sur le langage), suggérant que les représentations compactes et économes en tokens sont supérieures pour le raisonnement spatial.
• Efficacité des modèles : Des modèles plus petits avec de meilleurs enchaînements ont surpassé des modèles plus grands avec des configurations plus faibles (par exemple, Qwen3.5-0.8B avec Raisonneur a surpassé Qwen3-4B sans).

Importance et revendications

Les auteurs affirment qu'Agentick fournit l'infrastructure empirique nécessaire pour stimuler les progrès vers des agents autonomes généraux. Son importance réside dans :

1. Permettre la comparaison inter-paradigmes : C'est la première référence à soutenir une évaluation équitable des agents RL, LLM, VLM et hybrides sur les mêmes tâches avec des métriques standardisées.
2. Stimuler l'entraînement post-RL : Elle sert de terrain d'entraînement pour l'entraînement post-RL des modèles de base dans des environnements véritablement séquentiels, stochastiques et interactifs, allant au-delà des succès actuels du RLVR (Apprentissage par renforcement à partir de récompenses vérifiables) dans des domaines statiques comme les mathématiques et le code.
3. Révéler des lacunes fondamentales : Les résultats soulignent que les approches actuelles sont insuffisantes pour la prise de décision séquentielle complexe, en particulier dans le raisonnement et la planification à long horizon, suggérant que des architectures hybrides combinant le raisonnement des FM avec un contrôle entraîné par RL pourraient être nécessaires.
4. Utilité pour la recherche : En fournissant un enchaînement composable, des jeux de données oracle et un classement en direct, Agentick facilite l'étude de l'assemblage d'agents, de l'apprentissage par curriculum et des effets des modalités d'observation sur les performances des agents.

L'article conclut que, bien qu'aucune approche unique ne domine actuellement, la référence parvient à discriminer les paradigmes et met en évidence l'importante agenda de recherche à venir pour construire de véritables agents autonomes généraux.