Personalized and Robust Proactive Robot Assistance with Uncertainty-Guided LLM Reasoning

Résumé Technique : GLOBE – Assistance Robotique Proactive Personnalisée et Robuste

Énoncé du Problème
L'assistance robotique proactive dans les environnements domestiques nécessite la prédiction précise des activités humaines et de l'utilisation ultérieure des objets dans des conditions dynamiques et bruitées. Les approches existantes, telles que les modèles spatio-temporels (ex. STOT, SLaTe-PRO), reposent souvent sur des architectures complexes qui sont coûteuses en termes de calcul et sensibles à la variabilité environnementale. Ces méthodes peinent fréquemment face au bruit du monde réel, tel que les déplacements d'objets causés par des animaux de compagnie, des enfants en bas âge ou des actions humaines incidentes, qui ne sont pas explicitement modélisés dans les jeux de données standards. De plus, il existe un besoin pour des cadres capables de concilier précision prédictive, efficacité computationnelle et robustesse pour un déploiement à long terme.

Méthodologie : Le Cadre GLOBE
Les auteurs proposent GLOBE (uncertainty-Guided LLM reasoning for routine Object prediction via Behavioral tEmporal modeling), un cadre hybride léger conçu pour prédire l'utilisation des objets pour une assistance proactive. Le système fonctionne via un processus en deux phases : une phase d'observation (entraînement) et une phase d'assistance (inférence).

1. Prédiction Séquentielle via des Modèles de Markov n-grammes :

   • Prédiction d'Activité : Le système entraîne des modèles de Markov n-grammes sur des données séquentielles d'activités d'utilisateurs. Il calcule les probabilités de transition basées sur l'historique récent de l'activité ($c_{act}$). Pour gérer le contexte limité, le modèle emploie une stratégie de « repli » (back-off), utilisant progressivement des séquences d'historique plus courtes si la séquence la plus longue observée n'a pas été rencontrée lors de l'entraînement.
   • Prédiction d'Objet : L'utilisation des objets est prédite en fonction de l'activité prédite ($\hat{a}_t$) et de l'historique récent des objets ($c_{obj}$) au sein de ce contexte d'activité spécifique. Le modèle restreint les prédictions à l'ensemble des objets co-occurant avec l'activité, garantissant ainsi la cohérence contextuelle.

2. Raisonnement par LLM Guidé par l'Incertitude :

   • Pour remédier à la parcimonie, à l'ambiguïté ou aux motifs non observés où la confiance du modèle de Markov est faible, le cadre invoque sélectivement un Grand Modèle de Langage (LLM) pré-entraîné.
   • Un seuil de confiance ($d$) détermine quand déclencher le LLM. Si la probabilité du modèle séquentiel tombe en dessous de ce seuil, le LLM est interrogé avec l'activité récente, la séquence d'objets et un ensemble filtré des $k$ meilleurs candidats issus du modèle n-gramme.
   • Le LLM utilise ses capacités de raisonnement sémantique pour affiner la prédiction, en tenant compte d'une connaissance contextuelle plus large sans être le seul décideur.

3. Jeu de Données HOMER-Noise :

   • Pour évaluer la robustesse, les auteurs introduisent HOMER-Noise, une extension du jeu de données existant HOMER+.
   • Ce jeu de données simule des perturbations environnementales réalistes en injectant des mouvements d'objets structurés causés par trois sources distinctes : l'Humain (réorganisation/rangement), l'Animal de compagnie (déplacement incident) et l'Enfant en bas âge (mouvement aléatoire imprévisible).
   • Ces perturbations sont générées à l'aide de LLM pour assurer la cohérence sémantique avec l'environnement domestique, créant ainsi un benchmark qui distingue les changements induits par l'activité des bruits externes.

Contributions Clés

• Cadre GLOBE : Une architecture hybride combinant une modélisation de Markov n-gramme efficace pour les comportements routiniers et un raisonnement par LLM sélectif et guidé par l'incertitude pour les cas limites. Cette conception évite la surcharge de calcul liée à l'utilisation de LLM pour chaque prédiction.
• Jeu de Données HOMER-Noise : Une extension novatrice du jeu de données qui modélise explicitement le bruit environnemental structuré (interactions humaines, animales, enfants) afin de mieux simuler la variabilité domestique réelle.
• Robustesse et Efficacité : L'approche démontre que des modèles séquentiels légers, augmentés par des LLM uniquement lorsque cela est nécessaire, peuvent atteindre des performances compétitives avec les méthodes de l'état de l'art (SOTA) tout en réduisant considérablement le temps d'entraînement et en améliorant la résilience au bruit.

Résultats Expérimentaux
Le cadre a été évalué sur les jeux de données propres HOMER+ et bruyants HOMER-Noise, en comparant les performances avec SLaTe-PRO, STOT, les modèles n-grammes seuls et les bases de référence LLM zero-shot.

• Performance Prédictive : Sur le jeu de données propre HOMER+, GLOBE a atteint un score F1 moyen de 0,73, égalant de près SLaTe-PRO (0,74) et surpassant le modèle n-gramme seul (0,72) et le LLM zero-shot (0,29). GLOBE a spécifiquement obtenu le score F1 de prédiction d'activité le plus élevé (0,80).
• Efficacité Computationnelle : GLOBE a démontré une efficacité d'entraînement supérieure, ne nécessitant que 8,33 secondes contre 11 415 secondes pour SLaTe-PRO. Bien que la latence d'inférence soit plus élevée (192,49s contre 93s pour SLaTe-PRO) en raison des appels API sélectifs, ce coût n'est engagé que lors des scénarios de faible confiance.
• Robustesse au Bruit : Sous des conditions de bruit structuré (HOMER-Noise), GLOBE a systématiquement surpassé SLaTe-PRO en score F1 moyen pour les types de bruit Humain, Animal et Enfant. Notamment, GLOBE a maintenu une performance de prédiction d'activité stable (0,80) à travers tous les niveaux de bruit, alors que la performance de SLaTe-PRO s'est dégradée de manière significative.
• Études d'Ablation : Les résultats indiquent que le cadre est robuste face aux variations de niveaux de bruit dans l'entraînement (0,25 à 0,75) et qu'un seuil de confiance de 0,5 offre le meilleur équilibre entre modélisation séquentielle et intervention du LLM.

Signification et Revendications
L'article affirme que GLOBE répond à des lacunes critiques de l'assistance robotique proactive en offrant une solution qui est à la fois efficace sur le plan computationnel et robuste à la variabilité environnementale. En exploitant les forces des modèles statistiques légers pour les comportements routiniers et en réservant le raisonnement par LLM pour les situations incertaines, le cadre atteint un équilibre entre vitesse et adaptabilité. L'introduction de HOMER-Noise fournit un benchmark plus réaliste pour l'évaluation des systèmes destinés au déploiement réel, où l'état des objets est fréquemment modifié par des facteurs sans lien avec l'activité principale de l'utilisateur. Les auteurs valident le potentiel du système via une intégration de preuve de concept avec un manipulateur mobile Stretch 3, démontant son applicabilité dans des scénarios d'interaction humain-robot.