Résumé Technique : NOEM3A

Énoncé du Problème

Les agents mobiles opérant sur l'appareil sont confrontés à un compromis critique : ils doivent mapper des requêtes en langage naturel vers des actions exécutables à intentions multiples sous des contraintes strictes de latence, de mémoire et de confidentialité. Bien que les grands modèles de langage (LLM) soient des analyseurs sémantiques efficaces, le déploiement local de ces modèles pour les agents mobiles est souvent inefficace en raison de la pression sur la mémoire et des coûts de calcul, tandis que l'inférence basée sur le cloud introduit des risques pour la vie privée et une latence de queue. De plus, augmenter le nombre de paramètres du modèle pour améliorer la compréhension des intentions n'est pas toujours la stratégie la plus efficace. Le défi central consiste à obtenir une compréhension du langage naturel (NLU) précise, réactive et respectueuse de la vie privée pour des tâches à intentions multiples (par exemple, « réserve un taxi et rappelle-le moi ») en utilisant des modèles compacts sans dépendre d'une génération ouverte sur un texte arbitraire.

Méthodologie : NOEM3A

Le document propose NOEM3A (Neuro-symbolic Ontology-Enhanced Method for Multi-intent understanding in Mobile Agents), une couche neuro-symbolique légère conçue pour augmenter les modèles de langage compacts avec une ontologie d'intentions explicite. La méthode fonctionne via le pipeline suivant :

1. Représentation de l'ontologie des intentions :
   L'espace d'action est formalisé sous la forme d'une ontologie dirigée $O = (V, E)$, où les nœuds représentent des domaines, des catégories et des intentions exécutables. Les arêtes encodent des relations typées (par exemple, IS-A, RELATED-TO). Chaque nœud contient une étiquette, une description et un plongement (embedding) généré par un encodeur léger.

2. Récupération de sous-graphes :
   Pour une requête utilisateur $q$ donnée, le système calcule un plongement et classe les nœuds de l'ontologie par similitude cosinus. Il récupère un petit voisinage spécifique à la requête $G_q$ (un sous-graphe) en étendant les $K$ meilleurs candidats pour inclure les parents, les enfants ou les frères/sœurs. Ce sous-graphe récupéré sert à la fois de contexte d'entrée et de contrainte de sortie.

3. Prompting augmenté par l'ontologie :
   Les étiquettes candidates récupérées sont sérialisées dans un prompt structuré. Cela transforme la tâche d'une génération non contrainte en un problème de sélection, où le modèle doit choisir une ou plusieurs intentions parmi la liste de labels d'ontologie plausibles fournie.

4. Prior de décodage au niveau du jeton (Token-Level Decoding Prior) :
   Pendant l'inférence, le système applique un biais de décodage aux logits du modèle. Les jetons correspondant aux étiquettes présentes dans le sous-graphe récupéré $G_q$ reçoivent un biais positif ($\beta$), tandis que les jetons pour les étiquettes non liées reçoivent une légère pénalité ($-\gamma$). Cela injecte une structure symbolique dans la distribution de sortie, régularisant le modèle pour qu'il émette des étiquettes valides selon l'ontologie sans forcer une intention si la requête ne la supporte pas.

5. Classifieur auxiliaire (Optionnel) :
   Lorsque des données étiquetées sont disponibles, un classifieur multi-étiquettes peut être attaché à l'état caché agrégé (pooled hidden state) du modèle. La prédiction finale fusionne les étiquettes générées avec la sortie du classifieur, ce qui est utile pour les plateformes disposant de journaux (logs) curatés.

6. Métriques d'évaluation :
   La métrique principale est l'Exact Match (EM) et le Slot-F1. De plus, le papier introduit la Similitude de l'Intention Sémantique (SIS), un diagnostic hiérarchique basé sur la profondeur de l'ontologie (inspiré de la similitude de Wu et Palmer). La SIS mesure à quel point une intention prédite est proche de la vérité de terrain au sein de l'ontologie, servant de signal de débogage plutôt que de métrique de succès primaire.

Principales Contributions

Le document présente trois contributions principales :

1. Inférence guidée par l'ontologie formalisée : Une couche structurée pour la NLU mobile à intentions multiples qui déplace une partie de la charge de raisonnement de la génération paramétrique vers une recherche symbolique restreinte et inspectable.
2. Comptabilité axée sur la latence : Une séparation claire entre la surcharge de la couche symbolique (récupération et biais de décodage) et l'inférence neuronale, démontrant que le coût ajouté est minimal.
3. Validation empirique : Preuve montrant que le guidage symbolique améliore les performances des modèles compacts (TinyLlama et Llama-3.2-3B) en termes d'Exact Match et de Slot-F1 sans nécessiter un générateur plus large.

Résultats Expérimentaux

La méthode a été évaluée sur les dialogues MultiWOZ 2.3, mappés vers des étiquettes d'intentions mobiles.

• Gains de performance :

  • TinyLlama : L'ajout de NOEM3A a amélioré l'Exact Match (EM) de 8,6 points (14,6 $\to$ 23,2) et le Slot-F1 de 18,6 points (36,7 $\to$ 55,3).
  • Llama-3.2-3B : L'ajout de la couche d'ontologie a amélioré l'EM de 12,9 points (22,8 $\to$ 35,7) et le Slot-F1 de 14,0 points (58,8 $\to$ 72,8).
  • Études d'ablation : Les résultats indiquent que la récupération ainsi que le prompting conditionné par l'ontologie sont les plus grands contributeurs aux gains. Le biais de logit améliore davantage la fidélité des étiquettes, et le classifieur auxiliaire apporte un gain final marginal.

• Surcharge de latence :

  • La récupération à partir d'une ontologie de 5 000 nœuds a pris 2,1 ± 0,3 ms.
  • Le passage à 50 000 nœuds a porté la récupération à 3,8 ms.
  • Le masquage de logit pour jusqu'à 32 jetons a ajouté < 0,1 ms.
  • Les auteurs notent que ce ne sont pas des benchmarks universels pour appareils, mais qu'ils démontrent que la couche symbolique n'ajoute qu'un délai de l'ordre de la milliseconde.

• Robustesse :

  • Les variations dans la formulation des prompts (ordre des étiquettes, indices de tâche, exemples) ont entraîné des fluctuations de l'EM d'environ un point, suggérant que le système repose sur l'ensemble d'étiquettes récupérées plutôt que sur une formulation fragile.

Signification et Revendications

Le papier positionne NOEM3A comme une stratégie pratique axée sur l'efficacité plutôt que comme une percée centrée sur les métriques. Sa signification réside dans :

• Efficacité via la contrainte : Au lieu de rendre le modèle de langage lui-même moins coûteux, NOEM3A améliore la précision de la tâche obtenue par un petit modèle en lui fournissant un a priori symbolique compact. Il tire parti du fait que les actions des agents mobiles sont généralement connues à l'avance, permettant à l'ontologie de servir à la fois de schéma de planification et d'espace d'étiquettes contraint.
• Inspectabilité et débogage : L'interface symbolique facilite la localisation des erreurs. Les développeurs peuvent déterminer si une erreur provient d'un échec de récupération, d'un oubli de génération ou d'un filtrage par le classifieur. La métrique SIS aide à diagnostiquer si le système a sélectionné le mauvais nœud terminal au sein d'une branche pertinente ou une branche entièrement différente.
• Complémentarité : L'approche est complémentaire aux techniques existantes de compression et de pruning de modèles. Elle réduit la nécessité de dimensionner la taille du modèle pour les tâches d'intention structurées, permettant aux modèles quantifiés ou spécialisés pour le mobile de bénéficier de la récupération d'ontologie indépendamment de leur architecture interne.
• Confidentialité et Réactivité : En maintenant l'inférence locale et en ajoutant une latence minimale, la méthode soutient une NLU respectueuse de la vie privée et prête pour une utilisation sur appareil, adaptée aux interactions mobiles en temps réel.

Les auteurs maintiennent un ton modeste, reconnaissant des limites telles que la dépendance au jeu de données MultiWOZ 2.3 (plutôt que des traces mobiles naturelles), la nécessité d'ontologies auditées par des humains, et l'hypothèse que les étiquettes d'intention correspondent à des segments de jetons courts. Ils soulignent que les travaux futurs devront valider le mécanisme sur de réelles traces d'agents mobiles et sur des profils matériels plus larges.