Résumé Technique : COCORELI

Énoncé du Problème

Les agents autonomes opérant dans des contextes collaboratifs (par exemple, robotique, fabrication, utilisation d'outils) rencontrent fréquemment des instructions humaines incomplètes ou sous-spécifiées. Les humains s'appuient souvent sur un contexte partagé ou une communication incrémentale, laissant des paramètres essentiels de la tâche non spécifiés. Bien que les approches récentes aient amélioré la détection des informations manquantes, la détection seule est insuffisante. Les agents procèdent souvent à l'exécution même après avoir reconnu une sous-spécification, en inférant les détails manquants plutôt qu'en les acquérant par interaction. Cela conduit à des actions « plausibles mais incorrectes », des hallucinations et des résultats dangereux.

Les auteurs identifient cette défaillance comme un découplage structurel entre la détection des informations manquantes et la prévention de l'exécution. Les paradigmes existants, y compris la Chaîne de Pensée (CoT) et les cadres agentiques, supposent généralement que les instructions sont exécutables telles quelles ou que les détails manquants peuvent être inférés à partir de connaissances de base. L'augmentation de l'échelle des modèles ne résout pas ce problème ; les modèles plus grands ont tendance à générer des hypothèses plus plausibles plutôt qu'à détecter et résoudre de manière fiable l'incertitude. L'article postule qu'une exécution collaborative fiable nécessite une application architecturale où l'information manquante agit comme une condition préalable stricte à l'action.

Méthodologie : Architecture COCORELI

Pour répondre à cela, les auteurs proposent COCORELI (Cooperative, Reconstitution & Execution of Language Instructions), une architecture agentique modulaire conçue pour imposer des conditions préalables à l'exécution. Contrairement à l'incitation monolithique, COCORELI décompose la tâche en six composants spécialisés, utilisant tous le même LLM sous-jacent (LLaMA-3.1 8B) mais avec des incitations spécialisées et des entrées structurées :

1. Analyseur d'Instructions : Identifie les types d'objets et extrait les attributs préliminaires, filtrant les schémas pertinents pour éviter le gonflement de l'incitation.
2. Constructeur : Résout les attributs spécifiques aux objets (par exemple, l'orientation, la configuration des pièces).
3. Localisateur : Interprète les descriptions spatiales et mappe les expressions relationnelles vers des coordonnées candidates, appliquant des règles de placement spécifiques aux objets.
4. Module de Discours : Génère des questions de clarification ciblées (CQ) lorsque des champs requis restent non résolus.
5. Mémoire Externe : Stocke les structures précédemment construites sous forme de graphes relationnels (nœuds = pièces, arêtes = relations spatiales). Elle prend en charge l'abstraction en séparant les motifs structurels des paramètres spécifiques à l'instance (par exemple, couleur, position absolue).
6. Exécuteur : Convertit les représentations terminées en actions JSON concrètes et les valide par rapport aux contraintes environnementales.

Mécanisme Central :
Le système représente les objets et les actions sous forme de structures JSON typées où les champs sont initialisés à null. Au fur et à mesure que le dialogue progresse, les champs sont remplis avec les informations extraites. Crucialement, l'exécution est bloquée chaque fois que des champs requis restent non résolus. Le système n'infère pas les valeurs manquantes ; au lieu de cela, il déclenche le Module de Discours pour demander une clarification. Cela crée un couplage structurel : la détection d'un paramètre manquant bloque simultanément l'exécution, empêchant les actions hallucinées.

Configuration Expérimentale

Les auteurs évaluent COCORELI dans ENVIRONMENT, un benchmark de construction collaborative contrôlé conçu pour isoler la sous-spécification, les changements d'état séquentiels et la réutilisation structurelle.

• Environnement : Une grille 3D discrète de 16×16×16 avec des types de pièces hétérogènes (vis, ponts, etc.) et des contraintes physiques strictes (gravité, dépendances de support). Les placements incorrects sont irréversibles.
• Types de Tâches :
  1. Instructions entièrement spécifiées uniques.
  2. Séquences d'instructions.
  3. Construction de structures complexes (formes multi-pièces).
  4. Instructions sous-spécifiées : Paramètres omis, nécessitant détection et clarification.
  5. Abstraction et réutilisation en contexte : Reproduction de structures précédemment construites dans de nouveaux contextes sans réénoncer les instructions originales.
• Lignes de Base :
  • Incitation Unique-LLM (CoT) : Incitation monolithique utilisant GPT-4.1 et Claude-3.5 Sonnet.
  • Décomposition Agentique LLM : Décomposition modulaire où les sous-tâches sont résolues de bout en bout par un LLM (LLaMA-3-70B), y compris la génération de code Python pour l'abstraction.
  • COCORELI : Analyse structurée avec des représentations de tâches explicites et un contrôle d'exécution déterministe.

L'évaluation inclut également un test de transfert sur les tâches d'API de ToolBench pour évaluer la généralisabilité du mécanisme d'abstraction au-delà de la construction spatiale.

Résultats Clés

1. Gestion de la Sous-spécification (Tâche iv)

• Détection et Clarification : COCORELI et la ligne de base Agentique ont atteint 100 % de détection des paramètres manquants et ont émis avec succès des questions de clarification. En revanche, les lignes de base CoT à LLM unique ont souvent échoué à identifier les paramètres manquants (par exemple, 27,2 % de détection pour GPT-4.1 sur les tâches à pièce unique).
• Sécurité d'Exécution : COCORELI a atteint 0 % d'hallucinations sur les pièces, les couleurs et les emplacements pour les instructions sous-spécifiées. À l'inverse, les lignes de base CoT ont fréquemment inféré des attributs manquants, conduisant à des taux élevés d'hallucination (par exemple, 100 % d'hallucination d'emplacement pour GPT-4.1 sur les tâches à deux pièces).
• Conclusion : La détection seule est insuffisante ; sans application architecturale, les lignes de base procèdent avec des valeurs inférées (incorrectes).

2. Construction de Structures Complexes (Tâche iii)

• COCORELI a atteint la plus haute précision au niveau des étapes (78,57 %), surpassant les lignes de base CoT (54,67 %–69,04 %) et la ligne de base Agentique (69,04 %).
• COCORELI était le seul système capable de reconstruire partiellement la forme la plus complexe (« Pont marocain »), ce qui nécessitait une abstraction et une référence ultérieure.

3. Abstraction et Réutilisation (Tâche v)

• COCORELI a reconstruit avec succès toutes les structures évaluées, y compris les plus complexes (par exemple, « Crâne » avec 62 pièces), atteignant 100 % de précision sur les formes complexes.
• Les lignes de base CoT ont échoué sur les structures les plus complexes (0 % de succès), et la ligne de base Agentique a échoué sur les formes de taille moyenne.
• L'article attribue le succès de COCORELI au traitement de l'abstraction comme un problème d'analyse structurée (extraction de graphes relationnels) plutôt qu'à exiger que le modèle infère des procédures réutilisables ou génère du code à partir de zéro.

4. Transfert ToolBench

• Sur 100 flux de travail ToolBench, COCORELI a atteint 100 % de précision, de rappel et de F1, surpassant significativement la ligne de base CoT (30,9 % de F1).
• Cela démontre que le mécanisme d'abstraction structurée se généralise à des tâches non spatiales pilotées par API.

Signification et Revendications

L'article revendique qu'une exécution collaborative fiable sous sous-spécification dépend non seulement de la capacité du modèle mais de l'application architecturale.

• Couplage Structurel : La contribution principale est le couplage structurel de la détection et de la prévention. Dans COCORELI, les représentations de tâches incomplètes ne peuvent pas être exécutées. Cela élimine les actions hallucinées par construction, une propriété absente dans les paradigmes basés sur l'incitation où la détection et l'exécution sont découplées.
• Instantiation Minimale : Les auteurs ne revendiquent pas COCORELI comme une solution définitive pour tous les dialogues collaboratifs mais comme une instantiation minimale prouvant que les paradigmes basés sur l'incitation manquent systématiquement du mécanisme pour bloquer l'exécution en cas d'incertitude.
• Limites : Les auteurs reconnaissent que COCORELI suppose que les tâches peuvent être représentées via des schémas structurés (JSON), s'abstrait de la perception multimodale, modélise uniquement une forme étroite de dialogue de clarification (excluant la négociation ou le raisonnement complexe), et manque d'un module de planification de haut niveau explicite.

En résumé, l'article soutient que pour que les agents opèrent de manière fiable dans des contextes collaboratifs avec des instructions incomplètes, l'architecture du système doit explicitement imposer que les informations manquantes soient résolues avant toute action entreprise, plutôt que de compter sur la capacité implicite du modèle à deviner ou à inférer.