Résumé Technique : SIMMER - Évaluation des défaillances latentes dans la planification exécutable par les LLM

Énoncé du Problème

Les grands modèles de langage (LLM) sont de plus en plus déployés comme planificateurs pour des agents autonomes dans des environnements domestiques. Cependant, les paradigmes d'évaluation existants souffrent d'un angle mort critique : ils ne parviennent pas à détecter les défaillances latentes.

Les benchmarks actuels se répartissent généralement en deux catégories :

1. Environnements virtuels (ex. TextWorld, ALFWorld, VirtualHome) : Ils reposent sur un suivi d'état formel mais sont souvent trop simplifiés, manquant de la complexité nécessaire pour modéliser les changements d'état implicites comme la contamination, la propagation de la température ou les transformations chimiques. Ils détectent principalement les violations immédiates des préconditions.
2. Métriques de similitude sémantique : Elles évaluent les plans sur la base de la similitude de surface avec des textes de référence. Elles ne peuvent pas détecter les erreurs où des actions individuelles semblent raisonnables de manière isolée, mais violent des dépendances d'état implicites (ex. la contamination croisée) qui ne se manifestent que plus tard.

L'article soutient que les défaillances latentes — des erreurs qui satisfont toutes les préconditions explicites mais qui se propagent silencieusement à travers des changements d'état implicites — posent des risques importants, particulièrement lorsqu'elles mènent à des conséquences irréversibles (ex. une contamination bactérienne qui ne peut être annulée). Contrairement aux défaillances immédiates, celles-ci n'interrompent pas l'exécution, ce qui les rend invisibles aux boucles classiques de type « planifier-exécuter-replanifier ».

Méthodologie : SIMMER

Pour combler cette lacune, les auteurs introduisent SIMMER, un benchmark conçu pour évaluer la planification des LLM à travers l'exécution contre un modèle de monde symbolique. SIMMER se compose de trois composantes intégrées :

1. Modèle de Monde Symbolique

Ancré dans le domaine de la cuisine, ce modèle est dérivé de scripts de cuisine réels collectés auprès de wikiHow et Instructables.

• Échelle : Il définit 77 actions et 262 objets uniques, supportant environ 46 800 interactions sémantiquement réalistes.
• Structure : Suivant le paradigme PDDL, les actions sont définies comme des tuples <arguments, préconditions, effets> et les objets comme <propriétés, états, emplacement>.
• Richesse : Contrairement aux environnements précédents (ex. VirtualHome avec ~2 100 interactions), SIMMER modélise des dépendances d'état fines, telles que la façon dont un état « sale » se propage de la viande crue à une planche à découper, puis aux légumes.

2. Taxonomie des Défaillances

Le benchmark catégorise les échecs de planification en trois types distincts :

• Défaillances Immédiates : Violations des préconditions explicites qui bloquent l'exécution (ex. tenter de couper sans tenir un couteau).
• Défaillances Latentes : Erreurs qui ne violent pas les préconditions mais compromettent l'objectif plus tard (ex. oublier d'ajouter de la levure chimique).
• Défaillances Latentes Irréversibles : Un sous-ensemble critique de défaillances latentes où la conséquence ne peut être annulée par des actions ultérieures (ex. la contamination croisée des aliments).

3. Exécuteur de Plan par Machine à États

Un exécuteur personnalisé simule l'exécution du plan étape par étape pour détecter les défaillances invisibles aux métriques conventionnelles.

• Phase 1 (Exécution) : Vérifie les préconditions et applique les transitions d'état, incluant la propagation des changements d'état latents (ex. propagation de la contamination).
• Phase 2 (Audit Post-Exécution) : Analyse l'état final pour identifier les problèmes non résolus (ex. nourriture non cuite, appareils laissés allumés) qui n'ont pas été signalés lors des étapes individuelles.

Contributions Clés

1. Benchmark SIMMER : Le premier benchmark évaluant explicitement les défaillances latentes et irréversibles dans la planification des LLM en utilisant un modèle de monde symbolique à grande échelle et organisé par des humains dans le domaine de la cuisine.
2. Analyse Systématique : Une évaluation complète de six LLM (incluant des modèles propriétaires de pointe comme GPT-5.4 et des modèles à poids ouverts comme Llama 3.3) révélant des défaillances de planification omniprésentes.
3. Stratégie d'Atténuation : La proposition et l'évaluation de la Simulation de Prospective Contrefactuelle (Counterfactual Foresight Simulation), une stratégie de prompting qui impose un raisonnement explicite sur l'état avant chaque action.

Résultats Expérimentaux

Les auteurs ont évalué six LLM sur 100 tâches de cuisine couvrant 12 techniques.

• Taux de Défaillance Élevés : Même les meilleurs modèles de pointe produisent des plans sans erreur dans moins de 17 % des tâches (moyenne pour tous les modèles d'environ 7,2 %).
• Défaillances Latentes : Jusqu'à 56 % des plans contenaient des défaillances latentes. Crucialement, une part importante (20 à 45 % des plans) contenait des défaillances irréversibles.
• Modes de Défaillance :
  • Les Défaillances Latentes étaient principalement causées par la Propagation d'État (incapacité à suivre comment les états comme la contamination se transfèrent entre les objets) et l'Ignorance des Préconditions Implicites (omission d'étapes critiques pour la sécurité non explicitement énoncées dans les instructions).
  • Les Défaillances Immédiates étaient dominées par le Déficit d'Ancrage Corporel (ignorer les contraintes physiques comme la capacité de port) et les Erreurs de Suivi d'État.
• Efficacité de l'Atténuation :
  • Self-Refine (un pipeline de critique post-hoc) a réduit le nombre total de défaillances de plus de 40 % pour les modèles de pointe, mais a offert des bénéfices marginaux ou négatifs pour les modèles plus faibles.
  • La Simulation de Prospective Contrefactuelle (prédiction de l'état étape par étape pendant la génération) s'est avérée la plus efficace. Elle a réduit les défaillances latentes jusqu'à 72 % et les défaillances irréversibles jusqu'à 75 % sur les modèles de pointe. Cela suggère que l'externalisation du suivi d'état via un raisonnement explicite améliore considérablement la fiabilité de la planification.

Signification et Revendications

L'article affirme que les évaluations actuelles surestiment largement les capacités de planification des LLM en se concentrant sur la correction de surface tout en omettant les erreurs qui se propagent silencieusement à travers les états du monde.

La signification de SIMMER réside dans sa capacité à :

1. Exposer les Lacunes Critiques : Démontrer que même les modèles de pointe peinent avec les dépendances d'état implicites, menant à des violations de sécurité qui sont souvent irréversibles.
2. Fournir un Outil de Diagnostic : Offrir une taxonomie structurée et un exécuteur pour distinguer les défaillances immédiates, latentes et irréversibles, permettant des améliorations plus ciblées.
3. Guider la Recherche Future : Suggérer que le raisonnement d'état explicite (via la prospective contrefactuelle) est une direction prometteuse pour construire des planificateurs de LLM plus robustes, particulièrement pour les domaines à enjeux élevés où des défaillances silencieuses peuvent causer des dommages irréversibles.

Les auteurs concluent que bien que les LLM montrent un potentiel, leur déploiement dans des environnements domestiques critiques pour la sécurité nécessite une évaluation rigoureuse par rapport à des modèles de monde symboliques qui tiennent compte de toute la complexité de la propagation d'état et des conséquences irréversibles.