Résumé Technique : GroundControl – Anticiper les échecs de navigation des agents vision-langage via des estimations d'incertitude cohérentes avec la trajectoire

1. Énoncé du problème

Les agents de navigation vision-langage (VLN) ont atteint des performances compétitives sur les benchmarks en combinant la compréhension du langage et l'ancrage visuel. Cependant, les métriques de succès des benchmarks (ex: Taux de Succès, Success weighted by Path Length ou SPL) ne sont évaluées qu'après la terminaison de l'épisode. Elles ne fournissent aucun mécanisme pour détecter les dynamiques d'échec au fur et à mesure qu'elles se déroulent.

En pratique, les échecs de navigation émergent souvent progressivement à travers des ruptures caractéristiques au niveau de la trajectoire, telles que :

• L'oscillation : Mouvements répétés d'avant en arrière entre des actions conflictuelles.
• La stagnation : Stagner à proximité de distracteurs sans progrès géométrique.
• Les détours inefficaces : Accumulation de longueur de chemin sans réduction proportionnelle de la distance vers l'objectif.

Les proxys d'incertitude existants (ex: entropie prédictive sur les distributions d'actions, confiance au niveau du jeton/token) capturent l'ambiguïté des décisions instantanées mais ne reflètent pas si la trajectoire résultante reste cohérente avec un progrès géométrique vers l'objectif. Un agent peut maintenir une grande confiance par étape tout en exécutant une séquence d'actions qui mène à l'échec. Le papier postule que l'incertitude dans la navigation incarnée devrait plutôt refléter la cohérence de la trajectoire des dynamiques orientées vers l'objectif.

2. Méthodologie

A. GroundControl : Estimateur d'incertitude cohérent avec la trajectoire

GroundControl est un estimateur interprétable qui modélise l'évolution du signal de distance vers l'objectif ($d_t$) comme un processus dynamique stochastique. Il suppose qu'une navigation réussie présente un progrès géométrique localement cohérent, tandis que les modes d'échec produisent des incohérences statistiquement détectables.

1. Filtre de Kalman (KF) à vitesse constante :
Le cœur de GroundControl modélise la distance vers l'objectif comme un signal dynamique utilisant un vecteur d'état $x_t = [d_t, \dot{d}_t]^\top$, où $\dot{d}_t$ est le taux de variation instantané.

• Dynamique : $x_{t+1} = Fx_t + w_t$ (Dynamique Gaussienne linéaire avec hypothèse de vitesse constante).
• Observation : $d_t = Hx_t + v_t$.
• Innovation : Le filtre calcule l'innovation $\nu_t = d_t - H\hat{x}_{t|t-1}$, représentant l'écart entre la distance observée et la distance prédite.
• Test statistique : L'innovation normalisée au carré ($\nu_t^2 / S_t$) suit une distribution $\chi^2$ dans des conditions nominales. Des valeurs persistantes élevées indiquent un écart significatif par rapport au mouvement attendu vers l'objectif.

2. Score d'incertitude par étape ($H_t$) :
GroundControl agrège trois indicateurs complémentaires d'incohérence de trajectoire en un score par étape :
$$H_t \triangleq \lambda_1 \log \det(\Sigma_{t|t} + \epsilon I) + \lambda_2 H(\alpha_t) + \lambda_3 \frac{\nu_t^2}{S_t}$$

• Dispersion de la croyance a posteriori : $\log \det(\Sigma_{t|t})$ mesure l'incertitude dans l'estimation de l'état du filtre.
• Instabilité au niveau de l'action : $H(\alpha_t)$ est l'entropie de Bernoulli de la confiance de la politique dans l'action exécutée.
• Déviation statistique : Le terme de l'innovation normalisée au carré.

3. Score d'incertitude au niveau de l'épisode ($U_i$) :
Pour obtenir un score unique pour un épisode, GroundControl fusionne l'incohérence dynamique de pointe avec quatre caractéristiques globales de la trajectoire :

• Incohérence dynamique de pointe : $\tilde{s}_{skf}^i = \sigma(\max_t H_t)$, capturant les déviations brèves mais significatives.
• Progrès normalisé ($f_{prog}$) : Mesure une réduction insuffisante de la distance vers l'objectif.
• Monotonicité ($f_{mono}$) : Pénalise les augmentations fréquentes de distance (évolution non monotone).
• Efficacité du chemin ($f_{eff}$) : Détecte les détours inefficaces par rapport au mouvement cumulé.
• Comportement oscillatoire ($f_{osc}$) : Capture les inversions d'actions répétées.

Le score final est une fusion linéaire fixe :
$$U_i \triangleq w_{skf}\tilde{s}_{skf}^i + w_{prog}f_{prog}^i + w_{mono}f_{mono}^i + w_{eff}f_{eff}^i + w_{osc}f_{osc}^i$$
Des valeurs plus faibles de $U_i$ indiquent une plus grande confiance (trajectoire cohérente).

B. Protocole d'évaluation : Navigation Sélective Risque–Couverture (SRCN)

Pour évaluer la qualité de l'incertitude indépendamment du succès brut de la tâche, les auteurs formalisent la Navigation Sélective Risque–Couverture (SRCN). Ce protocole mesure l'efficacité avec laquelle un score d'incertitude classe les épisodes par échec ou inefficacité.

• Mécanisme : Les épisodes sont triés par incertitude croissante ($U_i$). À mesure qu'un seuil $\tau$ augmente, les épisodes à haute incertitude sont progressivement exclus (abstention), et la performance est évaluée sur le sous-ensemble conservé.
• Métriques :
  • Risque sélectif : Le taux d'échec empirique (ou de taux d'inefficacité) parmi les épisodes conservés.
  • Courbe Risque–Couverture : Trace le risque par rapport à la fraction d'épisodes conservés (couverture).
  • AURC (Aire sous la courbe Risque-Couverture) : Résume le compromis ; une valeur plus faible est préférable.
  • E-AURC (E-AURC excédentaire) : Normalisé par rapport à la limite inférieure de l'oracle (tri par perte réelle). $E\text{-}AURC = 0$ implique un classement parfait.
• Définitions de la perte (Loss) :
  • Basée sur le succès : $\ell_i = 1 - \text{Succès}_i$.
  • Basée sur le SPL : $\ell_i = 1 - \text{SPL}_i$ (pénalise les trajectoires réussies mais inefficaces).

3. Contributions clés

1. Formalisation de la cohérence de la trajectoire : Le papier établit la cohérence de la trajectoire des dynamiques de distance vers l'objectif comme une base pour l'estimation de l'incertitude dans le VLN, allant au-delà de l'entropie d'action instantanée.
2. Cadre GroundControl : Introduction d'un estimateur léger et interprétable qui détecte les déviations statistiquement significatives par rapport au mouvement nominal vers l'objectif en utilisant un filtre de Kalman et des descripteurs de trajectoire.
3. Protocole SRCN : Un nouveau cadre d'évaluation qui isole la qualité du classement de l'incertitude sans modifier la politique de navigation sous-jacente, permettant une comparaison équitable entre différents estimateurs d'incertitude hétérogènes.
4. Validation empirique : Démonstration que la modélisation de la déviation par rapport aux dynamiques orientées vers l'objectif fournit un signal robuste pour anticiper les échecs, surpassant les bases d'entropie, de conformité et heuristiques.

4. Résultats expérimentaux

La méthode a été évaluée sur cinq divisions de navigation EB (Base, Common Sense, Complex Instructions, Visual Appearance, Long Horizon) avec $N=300$ épisodes au total sur trois backbones LLM (GPT-4o, GPT-5-mini, Gemini-1.5-Flash).

• Classement basé sur le succès (SRCN) :

  • GroundControl a atteint un classement proche de l'oracle sous le risque sélectif basé sur le succès.
  • L'E-AURC$_{SR}$ moyen pondéré = 0.0024 pour le modèle GPT-4o, surpassant nettement les bases d'entropie, de conformité et heuristiques.
  • L'avantage était le plus marqué dans les tâches à long horizon (où les taux de succès chutent à ~16,7 %), où les signaux d'entropie et de conformité approchent un classement aléatoire, tandis que GroundControl reste proche de l'oracle. Cela suggère que les dynamiques de progrès géométrique sont le signal dominant pour détecter l'échec dans les horizons temporels profonds.

• Classement basé sur le SPL :

  • GroundControl a systématiquement obtenu l'AURC et l'E-AURC les plus bas sur tous les modèles et divisions lors de l'évaluation de l'efficacité de la navigation (inefficacité).
  • Il a réussi à identifier les trajectoires menant à des chemins inefficaces (ex: errance, oscillation) avant l'échec terminal.

• Analyse diagnostique :

  • Séparation distributionnelle : GroundControl a produit un décalage ascendant clair dans les scores d'incertitude pour les trajectoires en échec avec un chevauchement limité avec les trajectures réussies, contrairement aux bases qui présentent un chevauchement substantiel.
  • Courbes Risque-Couverture : La méthode a suivi de près la limite de l'oracle, maintenant de faibles taux d'échec même à des niveaux de couverture élevés.
  • Corrélation : Une forte corrélation négative a été observée entre les scores d'incertitude et l'efficacité de l'épisode (SPL), indiquant que l'estimateur capture la dégradation de la qualité d'exécution.

5. Signification et affirmations

Le papier affirme que l'incertitude cohérente avec la trajectoire est un signal supérieur pour anticiper les échecs de navigation par rapport à l'ambiguïté de décision instantanée. En modélisant la déviation par rapport aux dynamiques attendues vers l'objectif (en utilisant un filtre de Kalman à vitesse constante), GroundControl fournit un signal interprétable et robuste qui :

• Détecte les modes d'échec (oscillation, stagnation, divergence) au fur et à mesure qu'ils se déroulent.
• Permet l'introspection en temps réel, permettant potentiellement une récupération active ou un arrêt avant l'échec catastrophique.
• Se généralise à travers différents backbones VLM et divisions de navigation, y compris les scénarios complexes à long horizon où les erreurs se cumulent.

Les auteurs soulignent que cette approche isole la qualité du classement de l'incertitude de la politique sous-jacente, prouvant que les observables géométriques (évolution de la distance vers l'objectif) fournissent une base indépendante du modèle pour un déploiement fiable des agents incarnés.