Résumé Technique : Priors Statistiques pour les Préférences Implicites

Définition du Problème

Le papier traite d'un goulot d'étranglement critique dans le déploiement d'agents personnels exécutés localement qui dépendent de modèles de langage (LLM) distants via API. À mesure que l'écosystème de compétences externes (outils) s'étend, les agents doivent sélectionner dynamiquement la compétence la plus appropriée pour un utilisateur. Cependant, les préférences des utilisateurs sont souvent implicites, se manifestant sous forme d'habitudes stochastiques à haute fréquence plutôt que par des instructions explicites.

Les paradigmes actuels confondent deux tâches cognitives distinctes :

1. Analyse de l'Intention Sémantique : Comprendre les instructions explicites de l'utilisateur (ex. : « Commander chez HouseBrew »).
2. Apprentissage de la Préférence Statistique : Inférer des habitudes latentes à partir des interactions historiques (ex. : un utilisateur préfère toujours « VibeCof'ing » pour le café).

Les solutions existantes reposent généralement sur des LLM augmentés par la mémoire, où les journaux historiques sont injectés dans le prompt pour guider un seul modèle distant. Les auteurs soutiennent que cette approche souffre de :

• Défaillances Systémiques : Les LLM perdent souvent leur cohérence logique dans les conversations multi-tours ou échouent à suivre des statistiques fines.
• Contraintes de Ressources : La latence élevée des API et le dépassement de la fenêtre de contexte rendent les algorithmes centralisés complexes peu pratiques pour les agents locaux respectant la vie privée.
• Manque d'Interprétabilité : Les approches basées sur la mémoire manquent de rigueur mathématique pour modéliser les distributions de préférences.

Méthodologie : LE LOCAL HARNESS

Pour résoudre ces problèmes, le papier propose LOCAL HARNESS, une nouvelle architecture qui découple strictement l'apprentissage de la préférence statistique de l'analyse de l'intention sémantique.

Architecture Centrale

Le système fonctionne sur un modèle « Estimateur Statistique Local + Gestionnaire d'Exceptions Distant » :

1. Prior Statistique Local (Le Harness) : Un module léger, sur l'appareil, qui gère la distribution des préférences de l'utilisateur. Il gère la prise de décision à haute fréquence et le compromis exploration-exploitation. Le papier implémente deux priors spécifiques :
   • Prior de Fréquence : Une simple table de taux de succès empirique suivant les décomptes $(utilisateur, domaine, compétence)$.
   • Prior de Bandit : Une approche de bandit contextuel (spécifiquement LINUCB) qui maintient un vecteur de paramètres et une matrice de Gram régularisée. Il utilise le hachage de caractéristiques pour créer des vecteurs de contexte à partir de la requête, du nom de la compétence et du domaine, permettant une exploration fondée sur les bornes de confiance supérieures (UCB).
2. LLM Distant (Le Gestionnaire de l'Exception) : Le LLM distant est retiré du chemin d'exécution critique pour les requêtes standards. Il est invoqué uniquement pour vérifier les chevauchements lexicaux explicites (overrides).
   • Étape 1 (Classification de Domaine) : Un appel LLM unique infère le domaine cible pour restreindre l'ensemble des compétences candidates.
   • Étape 2 (Défaut Local) : Le harness local sélectionne la compétence par défaut basée sur le prior statistique.
   • Étape 3 (Sonde de Chevauchement Sémantique) : Une sonde binaire demande au LLM : « Cette requête nomme-t-elle explicitement un outil spécifique ? » Si oui, l'outil nommé remplace le défaut local ; sinon, le défaut local est exécuté.

Fondement Théorique

Les auteurs fournissent une analyse théorique (Théorème 4.1) prouvant que, sous des hypothèses modérées, cette architecture découplée réduit strictement le regret attendu par tour par rapport à une base de référence LLM seule. Le regret converge vers une valeur strictement inférieure au taux d'erreur inhérent au LLM, à condition que le prior statistique local soit cohérent. La preuve repose sur le fait que la politique finale est une combinaison convexe du prior local et de la politique du LLM, une propriété structurelle perdue dans les approches augmentées par la mémoire où les signaux sont confondus.

Évaluation Expérimentale

Puisqu'aucun benchmark existant n'aborde la sélection de compétences pilotée par les préférences implicites, les auteurs ont construit TOOLBENCH-60, un bac à sable avec 60 compétences à travers 10 domaines et des utilisateurs synthétiques aux distributions de préférences contrôlables (allant de « one-hot » déterministe à des distributions de Dirichlet stochastiques).

Configuration de l'Évaluation :

• Backbones : Évalué sur trois LLM divers : GPT-5.2, DeepSeek-V4-Flash, et Qwen3-30B-Instruct.
• Baselines : Neuf agents ont été comparés, classés en :
  • Sans Apprentissage : Random, ZeroShot-LLM.
  • Statistique Uniquement : Freq-Greedy, Pure-Bandit.
  • LLM avec Mémoire : InContext-Memory (historique récent), Profile-Memory (journaux sérialisés complets).
  • LLM avec Prior Statistique : Bandit-as-Context (le LLM voit les probabilités du bandit), Freq-as-Override, Bandit-as-Override (la méthode proposée).

Résultats Clés :

1. Performance Supérieure : L'agent BANDIT-AS-OVERRIDE a systématiquement atteint le plus faible regret cumulé et la plus haute précision de test à travers tous les backbones et régimes de préférence.
2. Découplage vs Mémoire : Les baselines augmentées par la mémoire (InContext/Profile) ont nettement sous-performé, confirmant que l'injection d'historique dans les prompts ne substitue pas un estimateur statistique dédié.
3. Gestion des Overrides : Les agents purement statistiques ont échoué sur les requêtes explicites (instructions sémantiques zero-shot). Le LOCAL HARNESS a atteint une précision quasi parfaite sur les requêtes explicites en réservant le LLM strictement à la détection d'override.
4. Valeur de l'Exploration : Le prior basé sur le Bandit a surpassé le simple comptage de fréquence, particulièrement dans les régimes de préférence stochastiques (soft), démontrant la nécessité d'une exploration fondée sur des principes.

Signification et Revendications

Le papier prétend identifier une faille architecturale fondamentale dans la conception actuelle des agents personnels : la confusion entre l'apprentissage statistique et le raisonnement sémantique.

• Changement de Paradigme : Il propose un passage du « LLM-en-tant-que-Cerveau » (gérant tout) au « LLM-en-tant-que-Gestionnaire-d'Exception » (gérant uniquement les overrides explicites), déléguant la modélisation des habitudes à des statistiques locales légères.
• Efficacité et Confidentialité : En maintenant l'apprentissage statistique en local, l'approche réduit la latence de l'API, évite le dépassement de contexte et respecte des contraintes de confidentialité strictes sans nécessiter d'infrastructure centralisée complexe.
• Robustesse : La conception découplée garantit que l'agent peut s'adapter aux habitudes de l'utilisateur tout en restant réactif aux commandes explicites, un équilibre que les approches augmentées par la mémoire ne parviennent pas à maintenir.

Les auteurs concluent que ce cadre découplé établit un paradigme robuste et mathématiquement fondé pour la conception d'agents personnalisés, validé à la fois par des bornes de regret théoriques et une évaluation empirique étendue.