Résumé Technique : Optimisation de l'Espace de Travail

Énoncé du Problème

Les agents modernes construits sur des modèles de langage de pointe (LLM) font souvent face à une limitation critique : ils ne peuvent pas adapter leurs poids internes au cours d'un épisode. Le fine-tuning est trop lent pour une adaptation en ligne, sur un seul épisode, et dans de nombreux scénarios de déploiement (par exemple, les modèles basés sur API ou les traces sensibles à la vie privée), l'accès aux poids n'est pas disponible. Par conséquent, le modèle reste fixe, pourtant l'agent doit toujours apprendre à résoudre des tâches complexes à plusieurs tours où l'objectif et les règles sont cachés dans l'environnement.

L'article identifie un écart dans les paradigmes standards d'apprentissage agentique. L'apprentissage par renforcement (RL) traditionnel repose sur la mise à jour d'une politique ou d'une fonction de valeur (espace des poids) basée sur des signaux de perte. Cependant, lorsque les poids sont figés, l'« état apprenable » est indéfini. Les auteurs soutiennent que l'espace de travail de l'agent — le substrat externe structuré qu'il lit, écrit et teste — devrait être l'objet de l'adaptation. Cela est particulièrement pertinent pour des benchmarks comme ARC-AGI-3, où les agents doivent découvrir les mécanismes de jeu, les objectifs et les dynamiques par l'interaction dans un budget d'actions strict, sans données hors ligne ni possibilité de revenir en arrière.

Méthodologie : Optimisation de l'Espace de Travail

L'article propose l'Optimisation de l'Espace de Travail, un cadre où un agent à modèle figé s'adapte en éditant un espace de travail structuré et mutable plutôt que ses paramètres. Cette approche reflète la structure computationnelle de l'entraînement dans l'espace des poids mais substitue des composants clés :

• Les Artifacts remplacent les paramètres.
• Les Preuves remplacent les données d'entraînement.
• Les Contre-exemples remplacent les fonctions de perte.
• Le Feedback textuel remplace les gradients.

L'État Apprenable

L'agent est modélisé comme un tuple $(M, H)$, où $M$ est un modèle de langage figé et $H$ est un dispositif fournissant des outils et un bac à sable. L'espace de travail $W_t$ à l'étape $t$ se compose de :

1. Programmes ($P_t$) : Artifacts réutilisables et exécutables (par exemple, analyseurs d'observations, simulateurs de dynamique, stratégies).
2. Journaux ($L_t$) : Résumés, hypothèses, candidats abandonnés et questions non résolues.
3. Données de Trace ($D_t$) : Un jeu de données en ajout-only d'observations, d'actions, de récompenses et de contre-exemples.

La boucle d'apprentissage fonctionne comme suit :

1. Action et Prédiction : L'agent lit $W_t$ et $D_t$ pour sélectionner une action $a_t$. Il s'engage sur une prédiction (par exemple, « se déplacer vers la gauche entraînera l'état $z_{t+1}$ »).
2. Évaluation : Après réception de l'observation suivante $o_{t+1}$, le dispositif compare la prédiction à la réalité.
3. Feedback et Routage : Si une prédiction échoue, l'erreur n'est pas une perte scalaire mais un contre-exemple routé vers l'artifact (interface) spécifique responsable de l'échec. Cela résout le problème de l'attribution du crédit en traitant quel artifact éditer plutôt que combien mettre à jour un poids.
4. Réparation et Régression : Le rôle responsable édite son artifact (par exemple, en corrigeant une fonction Python). Crucialement, le dispositif maintient un ensemble de régression ($R_t$) de transitions passées. Le nouveau correctif est rejoué contre cet ensemble pour s'assurer qu'il ne brise pas les cas résolus précédemment avant d'être accepté.

Architecture DREAMTEAM

Les auteurs implémentent ce cadre dans DREAMTEAM, un dispositif multi-agents pour ARC-AGI-3. Le système décompose l'agent en six rôles, chacun possédant une « surface » spécifique (slot typé) dans l'espace de travail :

• Observateur : Analyse les observations brutes en un état structuré ($z_t$) et possède la logique de rendu.
• Simulateur : Suit l'état caché ($h_t$) et possède le modèle de dynamique (prédisant les états suivants).
• Explorateur Inductif (IE) : Maintient une bibliothèque de stratégies et de sous-objectifs réutilisables.
• Explorateur Transductif (TE) : Propose des sondes de recherche d'information lorsque le modèle du monde est immature.
• Critique : Audite les artifacts, route les échecs vers leurs propriétaires et signale les régressions.
• Chef d'Équipe (TL) : Arbitre les propositions et engage l'action finale.

Le système emploie une boucle engagement puis rétrodict. Le Simulateur s'engage sur un programme de dynamique ; si l'observation suivante contredit la prédiction, le Simulateur corrige le code. Le Critique s'assure que les correctifs sont cohérents avec les preuves antérieures via l'ensemble de régression. Au début d'une partie, le système favorise la sonde (TE) pour réduire l'incertitude ; à mesure que le modèle du monde se stabilise, le contrôle bascule vers la planification basée sur le modèle (IE/TL).

Contributions Clés

1. Cadre d'Optimisation de l'Espace de Travail : Une formalisation de l'adaptation des agents à modèle figé par l'édition d'un espace de travail structuré d'artifacts typés. Cela reformule l'attribution du crédit comme une décision d'adressage (quel artifact éditer) plutôt que comme une mise à jour de gradient.
2. DREAMTEAM : Une implémentation multi-agents de ce cadre, présentant une architecture inspirée de DreamerV3 où les rôles possèdent l'observation, la dynamique, la stratégie, la sonde, la critique et l'arbitrage.
3. Performance État-de-l'Art Efficace : Sur l'ensemble public de 25 jeux ARC-AGI-3, DREAMTEAM atteint un 38,4 % d'efficacité relative des actions humaines (RHAE), surpassant la précédente ligne de base appariée au protocole de 36 %. Notamment, il y parvient tout en utilisant 31 % moins d'actions d'environnement par jeu (444 contre 643), démontrant une efficacité de planification supérieure.

Résultats

• Performance : Moyennée sur deux exécutions indépendantes, DREAMTEAM a atteint 38,4 % de RHAE sur l'ensemble public ARC-AGI-3, contre 36,08 % pour la ligne de base Agentica SDK de Symbolica.
• Efficacité : Le système a nécessité significativement moins d'actions pour résoudre les niveaux. Sur les niveaux résolus avec succès, DREAMTEAM a moyenné 54,1 actions par niveau contre 100,1 pour la ligne de base.
• Budget d'Actions : Le système reste en avance sur une référence humaine appariée au budget pour les ~5 premières heures d'une exécution de 24 heures, bien que l'humain finisse par prendre de l'avance en raison de capacités de transfert inter-niveaux plus fortes que le système actuel reconstruit à chaque transition.

Importance et Revendications

L'article revendique que l'Optimisation de l'Espace de Travail ouvre une agenda de recherche parallèle à des décennies d'apprentissage dans l'espace des poids, spécifiquement pour les contextes où les modèles sont fixes. En traitant l'espace de travail comme l'objet apprenable, le système rend l'adaptation explicite et exécutable : chaque prédiction est un engagement écrit, chaque contradiction devient une réparation typée, et chaque réparation est validée contre les preuves antérieures.

Les auteurs soulignent que leurs résultats sont bornés par des budgets de temps et de coût plutôt que par des limites d'intelligence du système. Ils notent que la méthodologie est conçue pour des contextes interactifs où le modèle est fixe et où l'apprentissage doit se produire à travers l'espace de travail. L'article ne revendique pas résoudre tous les défis ARC-AGI-3 ni de se généraliser à tous les domaines interactifs sans recherche supplémentaire, mais il établit une voie viable pour l'« adaptation au moment du test » qui évite le besoin de mises à jour de poids ou de données d'entraînement hors ligne.

Le travail se distingue des méthodes précédentes d'adaptation au moment du test (comme les banques de cas ou le code s'écrivant lui-même) en utilisant des artifacts nommés et typés pour le routage des échecs, ce qui contourne le problème ouvert de l'attribution des échecs, et en imposant des vérifications de régression pour assurer la cohérence avec les preuves historiques.