Résumé Technique : Entraînement Sensible au Harnais pour les Agents d'Avatars Numériques Évolutifs

1. Définition du Problème

Le papier traite des défis opérationnels liés au déploiement d'avatars numériques de streaming pilotés par l'IA dans le commerce électronique en direct. Ces agents doivent satisfaire simultanément trois exigences conflictuelles : une latence ultra-faible (pour maintenir l'engagement des spectateurs), une grande adaptabilité (pour s'adapter aux changements hebdomadaires des stratégies marketing, des règles de conformité et des styles de réponse), et une exactitude factuelle (éviter les hallucinations lors des diffusions publiques).

Une tension critique existe entre la nécessité d'une itération commerciale rapide et la stabilité du modèle. Les approches traditionnelles reposent sur un SFT à Harnais Fixe (Fine-Tuning Supervisé), où un modèle est entraîné sur une configuration statique de compétences, d'outils et de prompts. Cependant, les auteurs identifient que cela conduit à un surapprentissage de la forme de surface : le modèle mémorise des noms de compétences spécifiques, des schémas d'outils et des modèles de prompts plutôt que d'apprendre à interpréter les instructions fonctionnelles. Par conséquent, lorsque le « Harnais » (l'environnement d'exécution comprenant les Compétences, les Hooks, les Prompts et les Outils) évolue — un processus que les auteurs nomment Évolution du Harnais — le modèle fixe devient obsolète et échoue à s'adapter.

À l'inverse, les grands modèles zero-shot possèdent la capacité de généralisation pour gérer de nouvelles configurations, mais souffrent de latences (souvent >11 secondes) qui dépassent les budgets d'interaction en temps réel. Les modèles plus petits et compacts sont assez rapides, mais manquent de la généralisation nécessaire pour gérer des environnements évolutifs sans réentraînement. Le papier postule que les solutions existantes comme l'adaptation au moment du test violent les contraintes de latence, tandis que l'apprentissage continu entraîne des coûts de réentraînement insoutenables pour des mises à jour fréquentes.

2. Méthodologie : Entraînement Sensible au Harnais (HAT)

Pour résoudre cette tension, les auteurs proposent l'Entraînement Sensible au Harnais (Harness-Aware Training - HAT), une méthodologie qui traite l'état du Harnais comme une variable explicite au sein de la distribution d'entraînement plutôt que comme une hypothèse de fond fixe. L'innovation centrale est l'Augmentation de l'État du Harnais (HSA), qui applique des transformations préservant les tâches à l'environnement pendant l'entraînement pour forcer le modèle à apprendre la fonction des instructions plutôt que leur forme de surface.

2.1 Augmentation de l'État du Harnais (HSA)

La HSA perturbe la configuration du Harnais selon cinq dimensions pour empêcher la mémorisation :

1. Identifiants de Compétences : Renommer aléatoirement les compétences, masquer des sous-ensembles et réécrire les descriptions.
2. Contenu des Compétences : Paraphraser les règles, masquer des sous-ensembles et les réordonner.
3. Définitions d'Outils : Renommer les outils et réécrire les descriptions tout en préservant la fonction.
4. Prompt Système : Réordonner les blocs d'instructions et perturber les contraintes numériques dans des plages valides.
5. Hooks : Simuler des variations dans le comportement de tentative (retry) et les structures de messages.

2.2 Le Pipeline d'Entraînement en Trois Étapes

Le pipeline HAT se compose de trois étapes distinctes conçues pour construire un agent compact et robuste :

• Étape 1 : HSA-SFT (Fine-Tuning Supervisé avec Augmentation) : Le modèle est entraîné sur des trajectoires générées sous diverses configurations de Harnais augmentées. Cela expose le modèle à de multiples réalisations de la même sémantique de tâche, l'encourageant à se fier à la signification fonctionnelle plutôt qu'à des identifiants fixes.
• Étape 2 : Distillation On-Policy sur Domaine Général (General OPD) : Pour contrer l'« oubli catastrophique » des capacités de suivi d'instructions générales souvent observé lors d'un SFT spécifique au domaine, le modèle subit une distillation on-policy utilisant un jeu de données d'instructions générales (Tulu3). Le modèle étudiant minimise la divergence KL par rapport à un modèle de base pré-entraîné, récupérant les capacités générales tout en conservant les connaissances du domaine.
• Étape 3 : HSA-RL (Apprentissage par Renforcement Agentique avec Augmentation) : La politique est optimisée davantage dans un simulateur de streaming en direct informé par la production en utilisant l'Optimisation de Politique Relative de Groupe (GRPO). Crucialement, la HSA est appliquée pendant la génération des rollouts de RL. Le modèle apprend à naviguer dans des boucles d'interaction dynamiques, à gérer les erreurs d'outils et à se rétablir des échecs sous des conditions environnementales changeantes. Le signal de récompense inclut l'Exactitude, l'Efficacité, la Rationalité de l'Outil et la Sélection de Compétences, avec une pénalité pour la longueur excessive de la Chaîne de Pensée (CoT).

3. Contributions Clés

Le papier présente quatre contributions principales :

1. Architecture de Harnais Évolutive : Un système découplé où les Compétences, les Prompts, les Hooks et les Outils sont mis à jour indépendamment des poids du modèle. Cela permet à la logique métier d'évoluer via une boucle « diagnostiquer–éditer–évaluer » sans réentraînement, mais crée le défi d'une « cible mouvante » pour le modèle de politique.
2. Entraînement Sensible au Harnais (HAT) : Un nouveau paradigme d'entraînement qui intègre l'état du Harnais dans la distribution d'entraînement via la HSA. Cela permet à un modèle compact, respectant les contraintes de latence, de suivre les changements de Harnais sans mémoriser une configuration unique.
3. Cadre d'Évaluation Complet : La construction de quatre ensembles d'évaluation complémentaires (QA de Live-Stream, QA de Variante de Harnais, Robustesse Outil/Prompt, et IFEval) totalisant plus de 4 500 cas. Cela inclut un « Agent-en-tant-que-Juge » aligné sur l'humain et calibré par rapport aux annotations humaines.
4. Aperçus Pratiques de l'Entraînement : Des découvertes empiriques révélant que la HSA a un impact plus important lors de l'étape SFT que lors de l'étape RL, et que la General OPD est cruciale pour récupérer les capacités de suivi d'instructions perdues lors de l'adaptation au domaine.

4. Résultats Expérimentaux

Les auteurs ont évalué un modèle de 35 milliards de paramètres (Qwen3.6-35B-A3B) entraîné avec HAT par rapport aux modèles de base, aux lignes de base SFT standard et à de puissants modèles zero-shot.

• Performance de QA de Live-Stream : Le modèle HAT a obtenu un score moyen de 94,8, surpassant le modèle de base (80,3) et le plus fort LLM général zero-shot (93,0).
• Robustesse à l'Évolution : Sur l'ensemble Harness-Variant QA (testant la généralisation à de nouvelles configurations), le HAT a obtenu un score de 94,6, surpassant nettement le modèle de base (75,4).
• Préservation de la Généralisation : Crucialement, le HAT a maintenu un score IFEval de 83,5, évitant la chute de 7,7 points typiquement observée dans les modèles entraînés avec un SFT à Harnais Fixe (qui est tombé à 73,8). Cela démontre que le HAT préserve les capacités générales de suivi d'instructions.
• Latence et Efficacité : Déployé sur un seul GPU NVIDIA H20 avec la prédiction multi-jetons (MTP) activée, l'agent a atteint une latence P50 de 3,407s et une P95 de 8,114s, répondant à l'exigence stricte de <15s pour le streaming en direct. Le MTP a augmenté le débit de décodage de 1,69x à une concurrence de 1.
• Évaluation Humaine : Dans un test aveugle de 100 requêtes de streaming en direct, le système basé sur le Harnais a été préféré à une ligne de base ReAct dans 97,2 % des cas non équivoques, principalement grâce à une meilleure compréhension des entrées et une meilleure fiabilité des sorties.
• Test A/B en Ligne : Un test en ligne préliminaire de 7 jours sur Taobao Live a montré une augmentation de +5,54 % du GMV par utilisateur (confirmé à la réception) et une augmentation de +0,80 % des commandes complétées par utilisateur par rapport au contrôle ReAct.

5. Signification et Revendications

Le papier affirme que le HAT résout avec succès le compromis entre la compacité du modèle (pour la latence) et l'adaptabilité (pour l'évolution métier). En traitant l'environnement d'exécution comme une variable dynamique pendant l'entraînement, le système produit un agent capable d'« évoluer avec son Harnais ».

Les auteurs soulignent que cette approche permet des mises à jour métier agiles (changer les stratégies en quelques heures via la boucle d'Évolution du Harnais) sans le coût prohibitif du réentraînement du modèle ou la dégradation des performances associée au surapprentissage de harnais fixe. Les résultats suggèrent que pour les agents industriels opérant dans des environnements changeant rapidement, la distribution d'entraînement doit explicitement refléter la variabilité de la configuration d'exécution. Ce travail fournit un plan pratique pour déployer des agents robustes et à faible latence dans des scénarios à enjeux élevés et en temps réel, comme le commerce en direct.