$\texttt{YC-Bench}$: Benchmarking AI Agents for Long-Term Planning and Consistent Execution

1. Problématique et Contexte

Les agents basés sur les grands modèles de langage (LLM) démontrent des capacités croissantes à interagir avec des environnements et à utiliser des outils. Cependant, une question critique demeure : peuvent-ils maintenir une cohérence stratégique sur de longues périodes ?

Les tâches actuelles impliquent souvent des centaines d'appels d'outils. Les travaux existants (comme PlanBench ou Vending-Bench) ont commencé à tester cette capacité, mais ils présentent des limites :

• Ils se concentrent souvent sur des boucles de défaillance immédiates ou des conséquences tangibles à court terme.
• Ils ne simulent pas suffisamment la complexité du monde réel où les décisions suboptimales à court terme peuvent être nécessaires pour des récompenses à long terme, et où les conséquences négatives (comme une faillite) sont le résultat de décisions cumulatives sur plusieurs mois.
• Il manque un cadre pour évaluer la capacité d'un agent à apprendre de retours d'information différés et à s'adapter lorsque des erreurs précoces s'accumulent.

Le papier introduit YC-Bench pour combler ce vide en évaluant la capacité d'un agent à gérer une startup simulée sur un horizon d'un an, avec des dynamiques financières et opérationnelles complexes.

2. Méthodologie : YC-Bench

YC-Bench est formalisé comme un Processus de Décision Markovien Partiellement Observable (POMDP). L'agent agit en tant que PDG d'une entreprise ("Bench Co.") avec un capital de départ de 200 000 $.

Mécanismes Clés de l'Environnement :

• Horizon Temporel : Une simulation d'un an (environ 365 jours), divisée en centaines de tours. L'agent contrôle le temps via la commande sim resume.
• Tâches et Domaines : L'agent accepte des tâches depuis un marché (4 domaines : formation, inférence, recherche, ingénierie des données). Chaque tâche a une récompense, une échéance et une quantité de travail.
• Employés : L'entreprise dispose d'un effectif fixe (8 employés) avec des compétences spécifiques par domaine et des niveaux de productivité variables (Junior, Mid, Senior). Les employés gagnent en productivité avec le succès, mais leurs salaires augmentent également, créant une pression sur la masse salariale.
• Clients et Confiance :
  • La réussite des tâches augmente la confiance avec un client spécifique, réduisant la charge de travail future et débloquant des tâches plus lucratives.
  • La confiance avec les autres clients diminue légèrement, forçant l'agent à choisir des relations stratégiques.
• Clients Adversariaux (Le Défi Principal) : Environ 35 % des clients sont "adversariaux". Ils offrent des récompenses attractives mais inflatent secrètement la quantité de travail, rendant les délais impossibles à respecter. Leur statut est caché ; l'agent doit l'inférer en analysant l'historique des échecs.
• Mémoire et Troncature de Contexte : L'historique de conversation est tronqué à K=20 tours. Pour maintenir la cohérence, l'agent doit utiliser un bloc-notes persistant (scratchpad) injecté dans l'invite système à chaque tour. C'est le seul moyen de retenir des informations à long terme (ex: "Éviter le client X", "L'employé Y est meilleur en recherche").

Objectif : Maximiser les fonds finaux de l'entreprise après un an, tout en évitant la faillite (fonds < 0).

3. Contributions Principales

1. YC-Bench : Un benchmark open-source, reproductible et configurable qui évalue la cohérence à long terme, la planification et l'exécution adaptative dans un environnement partiellement observable avec des récompenses retardées et éparses.
2. Évaluation Large : Tests approfondis sur 12 modèles (propriétaires et open-source) de pointe, incluant GPT-5.4, Claude Opus 4.6, Gemini 3, Qwen 3.5, GLM-5, Kimi-K2.5, etc. (3 graines par modèle).
3. Analyse des Modes d'Échec : Identification de lacunes spécifiques dans les modèles de pointe, notamment l'incapacité à détecter les clients adversariaux, les erreurs d'allocation des employés et le fossé entre le raisonnement et l'exécution.

4. Résultats Expérimentaux

Les résultats révèlent des écarts de performance significatifs entre les modèles, même ceux qui performent bien sur des benchmarks standards.

• Performance Financière :
  • Sur 12 modèles, seuls 3 dépassent le capital initial de 200 000 $ de manière constante.
  • Claude Opus 4.6 arrive en tête avec une moyenne de 1,27 M$.
  • GLM-5 suit avec 1,21 M$, mais avec un coût d'inférence 11 fois inférieur à celui d'Opus.
  • 7 modèles sur 12 finissent avec moins de 200 000 $, et plusieurs font faillite sur au moins une graine.
• Facteurs de Succès :
  • L'utilisation du scratchpad est le prédicteur le plus fort de réussite. Les modèles qui ne l'utilisent pas pour mémoriser les clients non fiables répètent les mêmes erreurs coûteuses.
  • La détection des clients adversariaux est le mode d'échec principal, responsable de 47 % des faillites.
• Analyse des Échecs :
  • Détection Adversariale : La moitié des modèles acceptent des tâches adversariales à un taux supérieur à leur part de marché naturelle (~32 %). Les modèles performants (Opus, GLM-5) apprennent à "noircir" (blacklist) ces clients.
  • Allocation des Employés : De nombreux modèles échouent à assigner les bons employés aux bonnes tâches ou à gérer la charge de travail, entraînant des retards.
  • Fossé Raisonnement-Exécution : Des modèles comme Claude Sonnet 4.6 ou Grok 4.20 peuvent déduire des stratégies correctes dans leur scratchpad (ex: "Éviter ce client") mais échouent à les appliquer dans leurs actions suivantes.
• Efficacité Coût-Rendement :
  • Kimi-K2.5 est le modèle le plus efficace en termes de coût (revenu généré par dollar de coût API), surpassant les modèles les plus performants en revenus bruts.
  • Les modèles top (comme Opus) sont moins rentables en raison de leurs coûts d'inférence élevés.

5. Signification et Conclusion

YC-Bench démontre que la cohérence à long terme reste une capacité critique et sous-testée des agents IA.

• Limites des Modèles Actuels : Même les modèles de pointe échouent souvent à maintenir une stratégie cohérente sur des centaines de tours. Ils souffrent de boucles de répétition, d'hallucinations de faits passés et d'une incapacité à adapter leur comportement face à des dynamiques adversariales complexes.
• Importance de la Mémoire : La capacité à utiliser un mécanisme de mémoire externe (scratchpad) pour persister les connaissances au-delà de la fenêtre de contexte est essentielle pour la réussite.
• Implications Futures : Le benchmark met en lumière la nécessité de développer des agents capables non seulement de planifier, mais aussi de réfléchir, enregistrer, récupérer et agir de manière cohérente sur de longues périodes.

En conclusion, YC-Bench fournit un cadre rigoureux pour évaluer la maturité des agents autonomes dans des scénarios de prise de décision stratégique complexe, révélant que malgré les progrès, un fossé important subsiste entre les capacités de raisonnement à court terme et l'exécution stratégique à long terme. Le benchmark est disponible en open-source pour permettre à la communauté de tester les futurs modèles contre ces dynamiques adversariales et cumulatives.