Résumé Technique : MiCU - Compréhension de Commandes pour Maison Intelligente de Bout en Bout avec un Grand Modèle de Langage

1. Énoncé du Problème

Les écosystèmes de maison intelligente, tels que la plateforme Xiaomi Home, reposent sur des commandes en langage naturel pour contrôler divers objets connectés (IoT). Bien que les utilisateurs émettent souvent des commandes précises (ex. : « allume la lumière de la chambre »), ils utilisent fréquemment des formulations ambiguës ou mal alignées (ex. : « rends la chambre chaleureuse » ou « règle la lampe sur le mode Lumineux » alors que l'appareil ne possède pas de mode spécifique « Lumineux »). Les systèmes traditionnels basés sur des règles peinent face à ces scénarios en raison de pipelines heuristiques rigides qui ne parviennent pas à généraliser ou à inférer l'intention à partir du contexte.

Bien que les Grands Modèles de Langage (LLM) possèdent de fortes capacités de raisonnement, l'application directe de LLM généralistes à la compréhension des commandes de maison intelligente se heurte à trois défis critiques :

1. Rareté des Données Spécifiques au Domaine : Les journaux d'utilisateurs bruts sont non structurés et manquent d'étiquettes de vérité de terrain (ground-truth) pour les actions ciblées, ce qui les rend difficiles à utiliser pour un entraînement supervisé.
2. Adaptation Limitée aux Tâches Spécifiques : Les LLM généralistes manquent de l'expertise spécialisée requise pour utiliser efficacement le contexte des appareils, inférer les nuances de l'intention de l'utilisateur et prédire des actions spécifiques.
3. Surcharge de Calcul Élevée : Le prompting standard nécessite de longs contextes détaillant l'état des appareils et les actions disponibles, ce qui entraîne une latence et des coûts de calcul substantiels, prohibitifs pour un déploiement en temps réel.

2. Méthodologie

Les auteurs proposent MiCU, un LLM spécifique au domaine conçu pour la compréhension de commandes de bout en bout. La méthodologie se compose de quatre composantes clés :

2.1 Synthèse Automatisée de Données (DevCmd)

Pour remédier à la rareté des données, les auteurs introduisent DevCmd, un ensemble de données de 50 000 échantillons synthétisés à partir de journaux d'utilisateurs réels. Le flux de travail de synthèse emploie une approche à double stratégie :

• Données Faciles (Easy Data) : Générées via une synthèse basée sur des modèles utilisant les spécifications des appareils pour garantir l'exhaustivité fonctionnelle et les étiquettes de vérité de terrain.
• Données Difficiles (Hard Data) : Dérivées de journaux d'utilisateurs réels complexes. Celles-ci sont annotées à l'aide d'une approche de Génération Augmentée par Récupération (RAG) combinée à SelfRefine et DeepSeek-R1. Le processus implique la génération de raisonnements en Chaîne de Pensée (CoT), l'auto-affinement des annotations et l'utilisation d'un vote par consensus pour établir des étiquettes de vérité de terrain de haute qualité.

2.2 Entraînement du Modèle en Deux Étapes

MiCU est construit sur un LLM de base (Qwen3-4B) en utilisant une stratégie d'entraînement progressif :

• Apprentissage par Curriculum (Curriculum Learning) : Le modèle subit un Pré-entraînement Continu (CPT) sur des corpus généraux, suivi d'un Ajustement Supervisé (SFT) sur les échantillons faciles d'abord pour établir une base, puis sur les échantillons difficiles pour gérer les scénarios complexes et ambigus. Cette approche progressive prévient l'instabilité causée par la forte variance de difficulté.
• Amélioration de la CoT : Pour améliorer le raisonnement, le modèle est entraîné via un « démarrage à froid » (cold start) utilisant des processus CoT générés par un modèle enseignant (DeepSeek-R1) guidé par des règles spécifiques au domaine. Ces règles instruisent le modèle de : (1) vérifier la validité de la commande et inférer l'intention, (2) filtrer les actions candidates à l'aide de règles métier, et (3) raisonner de manière flexible en utilisant des directives de catégorie si les étapes initiales échouent.
• Apprentissage par Renforcement (RL) : Le modèle est affiné via DAPO (une variante de GRPO). La fonction de récompense évalue les balises de réponse, la validité du format (structure JSON) et la justesse du contenu (appareil, type d'action et valeur), optimisant le raisonnement et la précision des sorties du modèle.

2.3 Compression de Tokens (MiCU-fast)

Pour atténuer la surcharge de calcul, les auteurs introduisent une technique de compression de tokens. Étant donné que les descriptions d'appareils (capacités et contraintes) constituent environ 94 % du prompt de contexte, ces textes longs sont condensés en un seul token spécial (ex. : <spec_token_1>) représentant les spécifications de la catégorie de l'appareil.

• Adaptation : Le modèle subit une adaptation du grossier au fin : il apprend d'abord la correspondance bidirectionnelle entre les tokens et les spécifications, puis est ajusté sur des tâches de QA pour s'assurer qu'il peut récupérer les détails d'action spécifiques à partir du token compressé.
• Résultat : Cela produit MiCU-fast, une variante efficace qui réduit considérablement la longueur de l'entrée tout en conservant des performances compétitives.

3. Contributions Clés

1. Jeu de Données DevCmd : Un ensemble de données de 50 000 échantillons classés par difficulté, synthétisés à partir de journaux d'utilisateurs réels, répondant à la rareté des données d'entraînement étiquetées pour la compréhension des commandes de maison intelligente.
2. Modèle MiCU : Un LLM spécialisé de 4 milliards de paramètres qui intègre l'apprentissage par curriculum, le démarrage à froid par CoT guidé par le domaine et l'apprentissage par renforcement pour injecter des connaissances métier et améliorer le raisonnement.
3. Compression de Tokens : Une technique qui condense les descriptions verbeuses d'appareils en tokens spéciaux, réduisant la surcharge d'inférence et permettant une variante rapide (MiCU-fast) adaptée aux entrées à contexte long.
4. Évaluation Complète : Expérimentations approfondies, hors ligne et en ligne, démontrant l'efficacité du flux de travail et de l'architecture du modèle proposés.

4. Résultats Expérimentaux

Évaluation Hors Ligne

• Précision : MiCU a atteint une précision moyenne de 94,61 % sur toutes les catégories d'appareils, surpassant le meilleur modèle de référence (DeepSeek-V3) de 20,01 % et la sélection traditionnelle basée sur des règles de 28,29 %.
• Efficacité : La technique de compression de tokens a réduit la longueur du prompt de 31,9 % avec une perte de précision négligeable de seulement 0,6 %. MiCU-fast a montré une force particulière dans les tâches de Prédiction d'Action où les descriptions sont les plus redondantes.
• Mise à l'échelle (Scaling) : Les études d'ablation ont confirmé que la taille de 4 milliards de paramètres est suffisante pour cette tâche ; augmenter la taille du modèle au-delà de 4B n'a pas apporté de gains significatifs. De même, la taille du jeu de données a été jugée suffisante pour la convergence, la performance plafonnant après l'utilisation de 75 à 100 % des données.

Déploiement En Ligne

MiCU a été déployé dans l'application Xiaomi Home, gérant environ 1,7 million de vues de pages par jour.

• Taux de Correction Utilisateur (UCR) : Le modèle a réduit le taux de correction de l'utilisateur de 1,57 % (une réduction relative de 37,37 % par rapport à la référence).
• Précision Auditée par l'Humain : Les audits manuels des journaux de production ont montré une augmentation de la précision auditée par l'humain de 47,1 % à 78,3 %.
• Latence : Le système a maintenu une latence moyenne de 173 ms (P95 : 263 ms) sous une charge soutenue de 98 QPS, répondant aux exigences du temps réel.

Analyse des Échecs

L'analyse des cas d'échec (spécifiquement pour les appareils d'éclairage) a révélé que la principale source d'erreur était les Erreurs de Priorité (42 %), où le modèle priorisait incorrectement les appareils dans les scénarios multi-appareils. Les erreurs de format étaient minimes (1 %), indiquant que le cadre d'entraînement impose efficacement le respect des instructions.

5. Signification et Revendications

L'article affirme que MiCU comble avec succès l'écart entre les capacités des LLM généraux et les exigences spécifiques de la compréhension des commandes de maison intelligente. En combinant la synthèse automatisée de données, un cadre d'apprentissage par curriculum structuré et la compression de tokens, les auteurs démontrent qu'un modèle spécialisé relativement petit (4B) peut surpasser de manière significative les systèmes traditionnels basés sur des règles et les LLM généralistes beaucoup plus vastes.

La signification de ce travail réside dans son déploiement pratique à grande échelle au sein d'un écosystème majeur de maison intelligente. Il prouve qu'avec les bonnes stratégies d'entraînement (CoT, RL, Apprentissage par Curriculum) et des optimisations d'efficacité (Compression de Tokens), les LLM peuvent devenir robustes, précis et informatiquement exploitables pour un contrôle d'appareil de bout en bout en temps réel, améliorant considérablement l'expérience utilisateur en réduant le besoin de corrections manuelles. Les auteurs mettent leurs données et leur code à disposition pour favoriser de futures recherches dans ce domaine.