Résumé Technique : LEARNWEAK – Apprendre des Faiblesses pour la Spécialisation Automatique de Domaine

Énoncé du Problème

Les agents d'utilisation d'ordinateur (CUA) ont considérablement progressé, mais un écart de performance substantiel persiste entre les grands modèles propriétaires et les petits modèles open-source affinés pour des tâches d'utilisation d'ordinateur. Bien que les petits modèles offrent des avantages en termes de coût, de latence et de confidentialité pour le déploiement en périphérie, ils peinent dans des environnements logiciels spécifiques à un domaine (par exemple, LibreOffice, VSCode) en raison de conventions et de flux de travail uniques.

Les approches existantes visant à combler cet écart font face à deux défis principaux :

1. Génération de Données : La collecte de trajectoires humaines est coûteuse. Les méthodes de génération automatique de trajectoires produisent souvent des données « agnostiques des faiblesses », ne ciblant pas les déficiences spécifiques du modèle étudiant, ce qui conduit à un entraînement inefficace.
2. Objectifs d'Entraînement : Un affinage naïf sur des ensembles de données larges peut provoquer un oubli catastrophique ou déformer les schémas de raisonnement natifs de l'agent. De plus, l'entraînement standard traite souvent toutes les erreurs de manière uniforme, ne distinguant pas les erreurs de planification (sélection d'action incorrecte) des erreurs d'exécution (paramètres ou coordonnées incorrects), qui nécessitent des signaux correctifs différents.

Méthodologie : LEARNWEAK

Les auteurs proposent LEARNWEAK, un cadre entièrement automatisé et sans annotation pour la spécialisation de domaine, opérant en deux étapes couplées : Génération de Données Consciente des Faiblesses (LEARNWEAK-GEN) et Entraînement d'Agent Conscient des Erreurs (LEARNWEAK-DPO).

1. Génération de Données Consciente des Faiblesses (LEARNWEAK-GEN)

Cette étape construit un ensemble de données d'entraînement ciblé en identifiant et en traitant itérativement les échecs spécifiques du modèle étudiant sans annotation humaine.

• Comparaison Enseignant-Étudiant : Une politique « enseignante » ($\pi_T$) plus forte et la politique « étudiante » ($\pi_S$) exécutent des tâches dans le même environnement. Un vérificateur identifie les tâches où l'enseignant réussit mais où l'étudiant échoue ($v_T=1, v_S=0$).
• Résumé des Faiblesses : Les diagnostics du vérificateur concernant les échecs de l'étudiant sont résumés dans un rapport de faiblesse ($R_d$), capturant les modes d'échec récurrents (par exemple, localisation d'élément incorrecte, arguments invalides).
• Synthèse de Requêtes Guidée par Capture d'Écran : Un générateur de tâches synthétise de nouvelles requêtes pour l'itération suivante en se basant sur :
  • Synthèse axée sur les faiblesses : Tâches conditionnées par le rapport de faiblesse pour cibler les déficiences identifiées.
  • Synthèse axée sur l'exploration : Tâches conditionnées uniquement par des captures d'écran représentatives pour assurer la couverture des fonctionnalités inexplorées.
• Processus Itératif : Ce cycle se répète pendant $N$ itérations, déplaçant la distribution des tâches vers les faiblesses non résolues tout en maintenant la diversité.

2. Entraînement d'Agent Conscient des Erreurs (LEARNWEAK-DPO)

Cette étape spécialise l'étudiant en utilisant l'Optimisation Directe des Préférences (DPO) avec une nouvelle stratégie de masquage conscient des erreurs.

• Construction de Préférences au Niveau des Étapes : Au lieu de traiter les trajectoires entières comme des unités uniques, la méthode rejoue la trajectoire réussie de l'enseignant étape par étape. À chaque étape, la politique de l'étudiant est interrogée avec le contexte de l'enseignant. Des paires de préférences sont construites uniquement pour les étapes où l'exécution d'outil de l'étudiant diffère de celle de l'enseignant.
• Désenchevêtrement des Types d'Erreurs : Les échecs sont classés en deux types :
  • Erreurs de Planification ($\epsilon_{PLAN}$) : L'étudiant choisit un type de fonction ($f_t$) différent de celui de l'enseignant.
  • Erreurs d'Exécution ($\epsilon_{EXEC}$) : L'étudiant choisit le même type de fonction mais avec des paramètres incorrects ($p_t$).
• Objectif DPO Masqué : La fonction de perte d'entraînement applique un masque binaire aux positions de jetons. Crucialement, pour les erreurs de planification, la perte est appliquée aux jetons de raisonnement et d'action ; pour les erreurs d'exécution, elle se concentre sur les paramètres d'action. Cela garantit que les mises à jour sont précises sur le plan comportemental, ciblant le type d'erreur spécifique plutôt que de réapprendre toute la séquence.
• Évolutivité Modulaire : La spécialisation de domaine est obtenue en gelant l'étudiant de base et en entraînant des adaptateurs LoRA légers ($\Delta_d$) pour chaque domaine, permettant à un seul modèle de base de servir plusieurs agents spécialisés.

Contributions Clés

1. Cadre de Spécialisation Sans Annotation : LEARNWEAK élimine le besoin d'annotation humaine de trajectoires en utilisant une boucle enseignant-étudiant pour synthétiser automatiquement des données d'entraînement ciblées.
2. Génération de Données Consciente de l'Étudiant : Contrairement aux méthodes antérieures de génération autonome axées sur le volume ou la diversité, LEARNWEAK conditionne explicitement la génération de requêtes sur les motifs d'échec observés de l'étudiant, assurant une haute valeur informationnelle par échantillon.
3. Objectif d'Entraînement Conscient des Erreurs : L'article introduit une variante DPO qui désenchevêtre les erreurs de planification et d'exécution, appliquant des masques de supervision sélectifs pour mettre à jour uniquement les segments comportementaux pertinents.
4. Adaptation de Domaine Modulaire : Le cadre démontre une approche évolutive pour gérer plusieurs domaines via des adaptateurs LoRA, évitant le besoin d'affinages complets de modèles séparés.

Résultats Expérimentaux

Le cadre a été évalué sur 8 domaines au sein du benchmark OSWorld en utilisant EvoCUA-8B et OpenCUA-7B comme modèles étudiants de base.

• Gains de Performance : LEARNWEAK a réalisé des améliorations moyennes du taux de réussite de 11,6 % (EvoCUA-8B) et 11,1 % (OpenCUA-7B) sur tous les domaines.
• Dépassement de l'Enseignant : Dans plusieurs domaines (Gimp, Thunderbird, VSCode), le petit étudiant spécialisé a surpassé le modèle enseignant de 32B, suggérant qu'une supervision corrective ciblée peut être plus efficace qu'une simple imitation d'un modèle plus grand.
• Comparaison avec les Baselines :
  • LEARNWEAK a surpassé les ensembles de données existants validés par l'homme (AgentNet) et les baselines zero-shot.
  • Il a significativement surpassé d'autres pipelines de génération sans annotation (AgentSynth, OS-Genesis, ZeroGUI) et des méthodes de filtrage (WebSTAR), confirmant que le ciblage des faiblesses est supérieur à l'expansion générique des données.
  • Des études d'ablation ont montré que la suppression du rapport de faiblesse ou du processus de génération itératif entraînait une performance inférieure, validant la nécessité d'une guidance consciente de l'étudiant.
  • L'objectif DPO conscient des erreurs a surpassé le SFT standard et le DPO standard avec une marge significative (9,62 points de pourcentage en moyenne).

Importance et Revendications

L'article soutient que la spécialisation de domaine efficace pour les petits CUA ne dépend pas de l'augmentation du volume de données synthétiques, mais de l'identification et de la réparation des faiblesses spécifiques à l'étudiant. En déplaçant l'accent de la généralisation large vers la correction ciblée, LEARNWEAK offre une voie principielle pour réduire l'écart de performance entre les petits modèles open-source et les grands agents propriétaires.

Les auteurs affirment que cette approche rend les agents spécialisés et de petite taille plus pratiques pour le déploiement dans des environnements logiciels réels, en particulier lorsque la confidentialité et le coût sont des contraintes. Le travail met en lumière l'importance de la « conscience de l'étudiant » tant dans la synthèse des données que dans les objectifs d'entraînement, suggérant que la recherche future devrait privilégier l'apprentissage adaptatif et piloté par les échecs plutôt que l'augmentation statique des ensembles de données.

Limitations Reconnues par les Auteurs :

• Le cadre suppose la disponibilité d'un modèle enseignant raisonnablement fiable ; si l'enseignant est instable ou biaisé, la supervision peut hériter de ces erreurs.
• Il suppose que le modèle étudiant de base possède déjà des compétences fondamentales d'utilisation d'ordinateur (ancrage visuel, génération d'actions). Il n'est pas conçu pour enseigner ces capacités à partir de zéro à des modèles qui en sont dépourvus.