Résumé Technique : L'Effet de Harnais (The Harness Effect)

1. Énoncé du Problème : Le "Token Maxing" et l'Angle Mort de l'Orchestration

Le document identifie une inefficacité prédominante dans le développement de l'IA Agentique en entreprise, nommée token maxing (maximisation des jetons). Il s'agit d'une trajectoire de développement où les équipes achètent de la capacité en augmentant de manière monotone l'intensité des jetons (traces de raisonnement plus longues, charges utiles d'outils plus larges, rejeu complet de l'historique) alors que la qualité marginale par jeton décline. Bien que le prix par jeton baisse, la dépense totale augmente car la « facture » d'une tâche agentique est régie non pas par la verbosité interne du modèle, mais par la couche d'orchestration (le harnais) qui assemble le contexte, gère les schémas d'outils et séquence les tours de parole.

La recherche actuelle sur l'efficacité se concentre sur deux domaines :

1. Côté Modèle/Service : Des techniques telles que le décodage spéculatif ou la compression de prompts qui réduisent le prix d'un jeton, mais ne réduisent pas la quantité de jetons qu'un agent décide de consommer.
2. Routage : Des stratégies qui sélectionnent des modèles moins chers pour des tâches plus faciles, ce qui change quel modèle paie la facture, mais pas la taille de cette facture.

Le document soutient que la couche d'orchestration est le levier décisif. Elle contrôle les termes de la facture de jetons (prompts système, rejeu de l'historique, charges utiles de récupération, tentatives) et est actuellement souvent implémentée de manière naïve, entraînant une croissance quadratique des jetons d'entrée à mesure que les tours de l'agent augmentent ($O(k^2)$).

2. Méthodologie : Le Remplacement Contrôlé du Harnais

Pour isoler l'impact de l'orchestration de la capacité du modèle, les auteurs ont mené une expérience contrôlée avec la conception suivante :

• Variables Constantes : 22 tâches d'entreprise verrouillées et auditées en termes de capacité ; 6 modèles de fondation (Claude Sonnet 4.6, Gemini 3.1, Gemini Flash 3.5, Qwen 3.6, GLM 5.1, et Palmyra X6) ; juges et tables de prix identiques.
• Variable : La couche d'orchestration.
  • Référence (Baseline) : Une boucle d'agent de production conventionnelle (gelée au 07-06-2026) présentant des prompts système monolithiques, un rejeu complet de l'historique et une troncature destructive.
  • Traitement : Le Writer Agent Harness, une couche d'orchestration agnostique au modèle comprenant la délégation de sous-agents, la compaction structurée et une discipline de forme de cache.
• Mesure : Comptabilité au niveau de la trace des jetons, du coût (en utilisant une table de prix publique fixée), de la latence de temps de calcul (wall-clock) et de la qualité d'exécution des tâches.

3. Contributions Clés et Mécanismes

Le document formalise l'économie des jetons au niveau de l'orchestration, définissant le harnais comme le composant qui fixe le prix du travail. Il introduit six familles de mécanismes implémentés dans le Writer Agent Harness qui réécrivent la facture de jetons :

1. Discipline de Forme de Cache (Le Prompt à Deux Zones) : Les prompts sont structurellement divisés en un préfixe stable en octets (schémas d'outils, prompt système, transcript durable) et une queue volatile (données spécifiques au tour). Cela permet jusqu'à 99,9 % des jetons d'entrée d'être servis comme lectures de cache à environ 0,1x le prix de liste, convertissant la croissance des coûts d'entrée de quadratique à linéaire.
2. Compaction Structurée et Incrémentale : Au lieu d'une troncature destructive, l'historique ancien est replié dans des points de contrôle typés (mémoire, résumés, contraintes) tandis qu'une queue de messages récents est préservée. Cela maintient la pertinence du contexte sans gonfler le prompt.
3. Déchargement de Contexte (Context Offload) : L'information est maintenue disponible sans être dans la fenêtre de contexte. Cela inclut l'utilisation de sous-agents comme « pare-feu de contexte » (retournant des résumés plafonnés), la divulgation progressive des documents d'outils, et le transfert des sorties d'outils volumineuses vers des fichiers plutôt que dans le prompt.
4. Attente à Zéro Jeton (Zero-Token Waiting) : Les approbations humaines ou les tâches de fond sont gérées via une suspension durable et une reprise d'événement, éliminant les boucles de sondage (polling) qui consomment des jetons.
5. Gouvernance de la Dépense de Défaillance : Les échecs sont classifiés et gérés avant d'engager des coûts (par exemple, en écartant les brouillons partiels, des disjoncteurs sur les échecs répétés). Cela limite l'effet multiplicateur des tentatives et des branches sans issue.
6. Plancher Agnostique au Modèle : Le harnais normalise les flux des fournisseurs et impose une hygiène de schéma, assurant une base d'efficacité quel que soit le modèle sous-jacent.

4. Résultats

Le remplacement de la couche d'orchestration a produit des gains d'efficacité significatifs sur tous les modèles, la qualité restant stable ou s'améliorant selon la force du modèle.

• Gains d'Efficacité (Moyenne pondérée) :
  • Coût par tâche : Réduit de 41 % (0,21 $→ 0,12$).
  • Jetons par tâche : Réduit de 38 % (14,2k → 8,8k).
  • Temps de calcul (Wall-clock) : Réduit de 44 % (48s → 27s).
  • Qualité par dollar : Augmentée de 82 %.
  • Exécutions de tâches par million de jetons : Augmentée de 54,9 à 92,0 (+68 %).
• Invariance du Modèle : Chaque modèle testé a vu ses coûts réduits entre 33 % et 61 %. Le harnais était un levier de coût plus important que la sélection du modèle ; passer du modèle le plus cher au moins cher économisait 36 %, tandis que conserver un modèle et adopter le harnais économisait 33 à 61 %.
• Qualité et Levier du Harnais :
  • La qualité de l'exécution des tâches principales est restée à l'équilibre (0,78 → 0,81, directionnel).
  • Levier du Harnais : Le gain de qualité extrait du harnais est presque parfaitement corrélé à la force de base du modèle ($r = 0,99$). Les modèles plus forts convertissent la structure du harnais en une qualité plus élevée ; les modèles plus faibles sont parfois submergés par les fonctionnalités d'orchestration avancées (ex: sous-agents).
  • Plancher de Capacité : Le harnais a permis une nouvelle capacité (délégation de sous-agents) qui n'a franchi le seuil de fiabilité utilisable que sur les deux modèles les plus puissants (0,85–0,86).

5. Signification et Revendications

Le document soutient que le harnais est la seule composante dont l'efficacité se multiplie sur chaque modèle qu'une organisation utilise, présent et futur.

• Changement Économique : Le document affirme que, pour les déploiements en entreprise, optimiser la couche d'orchestration offre de meilleurs rendements que l'optimisation de la sélection ou du routage des modèles. Cela déplace l'attention de « l'achat de capacité avec des jetons » vers « faire le même travail avec moins de jetons ».
• Renversement du Paradoxe de Jevons : Alors que la baisse des prix des jetons conduit généralement à une augmentation de la consommation (effet Jevons), le harnais fournit la discipline structurelle pour découpler les gains d'efficacité de la croissance de la consommation, permettant aux organisations d'échapper au token maxing.
• Objet de Premier Rang : Le document pose que le harnais doit être traité comme un objet de conception et d'évaluation de premier rang, avec l'économie des jetons comme un contrat publié. Il souligne que sans une comptabilité par tâche intégrée à la couche d'orchestration, le token maxing reste inobservable et non géré.
• Scalabilité : Parce que le harnais se situe au-dessus de l'API du modèle, ses gains d'efficacité se cumulent lors des migrations de modèles et des changements de fournisseurs, ce qui en fait un actif plus durable que les optimisations spécifiques aux modèles.

En résumé, le document démontre que la conception de l'orchestration est le déterminant principal de l'économie des jetons dans les systèmes agentiques. En imposant une discipline structurelle sur l'assemblage du contexte et la gestion des échecs, les entreprises peuvent atteindre des réductions substantielles de coûts et de latence sans sacrifier la qualité des tâches.