Probing Embodied LLMs: When Higher Observation Fidelity Hurts Problem Solving

Résumé Technique : Sonder les LLM Embodifiés : Quand une Fidélité d'Observation Élevée Nuit à la Résolution de Problèmes

Énoncé du Problème
Les modèles de langage (LLM) sont de plus en plus déployés en tant que composants cognitifs pour des systèmes robotiques opérant dans des environnements non structurés. Cependant, leurs processus de prise de décision opaques rendent difficile la distinction entre des capacités de raisonnement authentiques et des succès accidentels dans des tâches embodied en boucle fermée. Les métriques de performance, telles que les taux de réussite agrégés, échouent souvent à révéler si un agent a résolu une tâche par inférence cohérente, par exploration accidentelle, ou par une interaction entre des erreurs perceptuelles et des échecs de raisonnement. Plus précisément, il reste unclear comment la fidélité des entrées observationnelles (des données sensorielles brutes à la vérité symbolique parfaite) influence les mécanismes comportementaux des agents LLM embodied.

Méthodologie
Les auteurs emploient une méthodologie d'IA empirique alignée sur l'identification de système, traitant l'agent LLM comme un système opaque à sonder par le biais d'interventions contrôlées.

• Tâche : L'étude utilise la "Lockbox", un puzzle mécanique séquentiel composé de quatre articulations avec des interdépendances cachées. L'objectif est de déverrouiller la boîte en manipulant les articulations dans un ordre spécifique. Cette tâche nécessite d'intégrer les observations dans le temps et d'inférer des dépendances d'état latentes.
• Configuration Expérimentale :
  • Configuration Physique : Un bras robotique Franka Emika Panda avec un effecteur terminal souple manipule une Lockbox physique. Le système utilise une caméra RGB-D et des capteurs de couple de force.
  • Simulation : Un environnement de simulation contrôlé isole le problème de raisonnement de la variabilité de l'action physique, permettant une perturbation systématique du canal d'observation.
• Interventions : L'étude fait varier la fidélité d'observation fournie au LLM (OpenAI GPT-o1 dans les expériences physiques ; GPT-4o dans la simulation) à travers trois modalités :
  1. RGB : Images visuelles brutes.
  2. RGB-D : Images visuelles augmentées de données de profondeur.
  3. État Symbolique de Vérité Terrain : Descriptions textuelles explicites des états des articulations, contournant entièrement le pipeline de vision.
• Mécanisme de Sonde : En simulation, les auteurs introduisent un bruit observationnel contrôlé en inversant aléatoirement le résultat perçu des actions (inversions d'état) avec des probabilités variables (0 % à 60 %) pour tester l'impact de la stochasticité sur la performance.

Résultats Clés
L'étude révèle une relation contre-intuitive entre la fidélité d'observation et la performance de la tâche :

1. Fidélité vs Performance : Contrairement à l'hypothèse selon laquelle des observations plus précises améliorent le raisonnement, les agents ont performé le mieux avec une entrée RGB brute et le pire avec des états symboliques de vérité terrain parfaits. La modalité RGB-D a produit des résultats intermédiaires.
   • GPT-o1 a atteint un taux de réussite de 80 % avec une entrée RGB en 11 étapes, tandis que la condition de vérité terrain nécessitait 15 étapes pour atteindre le même taux de réussite.
   • Une heuristique inspirée de l'humain a atteint 100 % de réussite en 9 étapes, soulignant l'inefficacité des LLMs indépendamment de l'entrée.
2. Analyse des Mauvaises Interprétations :
   • Les modalités visuelles (RGB/RGB-D) ont présenté des taux élevés de mauvaise interprétation d'état (environ 21–27 %), suggérant un ancrage perceptuel incohérent.
   • De manière surprenante, la condition de vérité terrain a également présenté un taux de mauvaise interprétation d'environ 5 %, attribué au fait que le modèle "hallucine" des changements d'état malgré la réception de données explicites et correctes.
3. Réponse Non Monotone au Bruit : En simulation, l'introduction d'un bruit modéré (inversions d'état aléatoires) a amélioré la performance par rapport à la ligne de base sans bruit.
   • Les taux de réussite ont culminé à une probabilité d'inversion d'état de 40 %, réalisant une augmentation de 2,85 fois par rapport à la ligne de base sans bruit.
   • La performance s'est dégradée à nouveau à des niveaux de bruit plus élevés (>40 %).
4. Mécanisme d'Amélioration : Le gain de performance sous un bruit modéré est lié à une réduction des boucles d'actions répétitives.
   • Les boucles d'actions (répétition de sous-séquences d'actions sans progression) étaient négativement corrélées à la réussite.
   • Les observations parfaites permettaient à l'agent d'entrer et de rester dans ces boucles lorsque les actions ne produisaient pas les changements attendus.
   • Un bruit perceptuel modéré perturbait ces boucles, forçant l'agent à explorer des actions alternatives, brisant ainsi le cycle d'échec.

Contributions Clés

• Cadre de Sondage Comportemental : L'article établit une méthodologie pour évaluer les LLM embodied en perturbant les canaux d'observation afin de révéler les mécanismes comportementaux sous-jacents plutôt que de se fier uniquement aux métriques basées sur les résultats.
• Résultats Contre-Intuitifs sur la Fidélité : Il démontre qu'une fidélité d'observation plus élevée peut entraver activement la résolution de problèmes dans les LLM embodied, remettant en question l'hypothèse standard selon laquelle "de meilleures données" conduisent à "un meilleur raisonnement".
• Identification des Modes d'Échec : L'étude identifie les "boucles d'actions répétitives" comme un mode d'échec critique dans les LLM embodied et montre que les erreurs perceptuelles peuvent involontairement atténuer ce problème en perturbant les schémas de décision récursifs.

Signification et Revendications
Les auteurs affirment que les taux de réussite seuls sont insuffisants pour évaluer les LLM embodied. La performance mesurée peut refléter une "interaction accidentelle" entre des erreurs perceptuelles et des échecs de raisonnement plutôt que des capacités de résolution de problèmes robustes.

L'article soutient que dans les interactions en boucle fermée, les observations ne sont pas de simples entrées passives mais façonnent activement la dynamique de prise de décision. Par conséquent, ce qui apparaît comme une performance supérieure sous des entrées de faible fidélité ne doit pas être interprété comme une preuve de raisonnement plus fort. Au lieu de cela, cela peut refléter un effet secondaire où des erreurs perceptuelles cumulatives perturbent fortuitement des modes d'échec spécifiques (comme les boucles d'actions) qui sont entretenus par un retour d'information précis.

Les auteurs concluent qu'une évaluation rigoureuse des LLM embodied nécessite des benchmarks en boucle fermée du monde réel combinés à des interventions comportementales contrôlées pour démêler les limitations perceptuelles des capacités de raisonnement. Ils notent que leurs résultats sont spécifiques aux modèles et à la tâche évalués et appellent à de futurs travaux pour déterminer si ces comportements se généralisent à travers différentes architectures de modèles et fournisseurs.