ENCP: Episode-Normalized Conformal Prediction for Vision-and-Language Navigation

Résumé Technique : Prédiction Conforme Normalisée par Épisode (ENCP) pour la Navigation Vision-et-Langage

1. Énoncé du Problème

La navigation vision-et-langage (VLN) permet à des agents incarnés de naviguer dans des environnements physiques en utilisant des instructions en langage naturel. Un défi critique pour le déploiement sécurisé de ces agents est l'estimation de l'incertitude. La navigation séquentielle est sujette à l'accumulation d'erreurs ; une seule action incorrecte modifie l'état de l'agent et les observations ultérieures, ce qui peut mener à l'échec de la tâche ou à des collisions physiques.

Bien que les politiques VLN modernes atteignent des taux de réussite élevés, les mesures de confiance standard (par exemple, les probabilités softmax) sont souvent mal calibrées et surconfiantes, particulièrement lorsque les environnements de déploiement diffèrent des données d'entraînement. Les mécanismes d'auto-surveillance existants reposent sur des heuristiques empiriques plutôt que sur des garanties formelles.

La Prédiction Conforme (CP) offre un cadre statistique pour générer des ensembles de prédiction avec une couverture garantie (c'est-à-dire que l'ensemble contient l'action de vérité avec une probabilité de $1-\alpha$). Cependant, la CP standard suppose des points de données échangeables. En VLN, cette hypothèse échoue car :

1. Dépendance des étapes : Les actions au sein d'un même épisode sont statistiquement dépendantes en raison de l'historique partagé et de l'influence causale sur les observations futures.
2. Longueur variable : Les épisodes ont des longueurs différentes.
3. Échec de la calibration par regroupement d'étapes : Appliquer la CP standard aux étapes individuelles (regroupées par épisodes) ne permet pas de garantir que l'action correcte sera incluse à chaque étape d'un itinéraire. Cela conduit souvent à une sous-couverture, signifiant que le taux d'erreur réel dépasse le niveau de risque cible $\alpha$.

2. Méthodologie : Prédiction Conforme Normalisée par Épisode (ENCP)

Les auteurs proposent l'ENCP, un cadre de post-entraînement qui ne modifie pas la politique de navigation sous-jacente. L'ENCP traite les problèmes de dépendance et de longueur variable en déplaçant l'unité de calibration des étapes individuelles vers les épisodes complets.

Mécanismes fondamentaux :

1. Calibration au niveau de l'épisode : Au lieu de calibrer sur un pool d'étapes individuelles, l'ENCP agrège les scores de non-conformité de toutes les étapes d'un seul épisode en une seule valeur scalaire. Plus précisément, elle calcule le maximum du score de non-conformité normalisé sur l'ensemble de l'épisode. Cette valeur unique représente l'écart le plus défavorable ("worst-case") pour cette trajectoire.
2. Normalisation du score ajustée par la confiance : Pour gérer la confiance variable de la politique selon les étapes, l'ENCP redimensionne le score de non-conformité de base ($s_{base}$) par la confiance résiduelle de la politique.
   • Variante sans paramètre : Utilise un poids fixe $w(x_t) = 1 - p_{max}(x_t)$, où $p_{max}$ est la probabilité la plus élevée assignée par la politique. Le score normalisé est :
     $$s_{norm}(x_t, a) = \frac{s_{base}(x_t, a)}{1 + (1 - p_{max}(x_t))} = \frac{s_{base}(x_t, a)}{2 - p_{max}(x_t)}$$
   • Variante basée sur l'apprentissage : Utilise un réseau de neurones pour prédire les poids basés sur des caractéristiques telles que l'entropie, les écarts de probabilité et l'indice de l'étape, entraîné pour identifier les étapes où la politique est confiante mais erronée.
3. Génération de l'ensemble de prédiction :
   • Un seuil conforme $\hat{q}(\alpha)$ est calculé à partir de la distribution des scores maximaux au niveau de l'épisode sur un ensemble de calibration.
   • Au moment du test, pour chaque étape $t$, l'ensemble de prédiction $C_\alpha(x_t)$ inclut toutes les actions $a$ telles que $s_{norm}(x_t, a) \le \hat{q}(\alpha)$.
   • Règle "Agir-ou-Demander" (Act-or-Ask) : Si la taille de l'ensemble de prédiction $|C_\alpha(x_t)|$ dépasse un budget défini par l'utilisateur $\tau$, l'agent sollicite l'assistance humaine (ou se réfère à un simulateur). Sinon, il procède de manière autonome.

Garantie Théorique :
Sous l'hypothèse que les épisodes de calibration et de test sont échangeables (par exemple, tirés de la même distribution), l'ENCP garantit que l'action de vérité est incluse dans l'ensemble de prédiction à chaque étape d'un épisode de test avec une probabilité d'au moins $1-\alpha$. Cela fournit une couverture simultanée de la trajectoire, une garantie plus forte que la couverture par étape.

3. Contributions Clés

1. Identification de l'échec de la CP standard : L'article démontre que la CP standard par regroupement d'étapes échoue à satisfaire les garanties de couverture en VLN en raison des dépendances intra-épisodes, entraînant souvent une sous-couverture sévère.
2. Développement de l'ENCP : Les auteurs introduisent une méthode de calibration au niveau de l'épisode qui redimensionne les scores par la confiance de la politique et les agrège via un opérateur maximum. Cette construction assure une couverture simultanée sur l'ensemble de la trajectoire.
3. Validation Empirique : La méthode est évaluée sur quatre politiques VLN (DUET, HAMT, R-prev, R-osc) à travers deux jeux de données (R2R et REVERIE). L'étude comprend :
   • La vérification des cibles de couverture par étape sur les séparations "vu-vers-non-vu" (seen-to-unseen).
   • La comparaison entre les schémas de pondération sans paramètres et ceux basés sur l'apprentissage.
   • Une expérience simulée de demande d'aide démontrant comment la taille de l'ensemble de prédiction peut déclencher une intervention humaine pour améliorer les taux de réussite.

4. Résultats

• Cibles de Couverture : À travers toutes les politiques testées et les scores de non-conformité (THR, APS, RAPS) sur les séparations val-unseen de R2R et REVERIE, l'ENCP a réussi à atteindre les cibles de couverture par étape (par exemple, atteindre $\ge 90\%$ de couverture pour $\alpha=0,10$) sous des séparations échangeables. En revanche, la CP par séparation standard a systématiquement sous-couvert.
• Décalage de Distribution : L'article note explicitement que, bien que l'ENCP atteigne ses cibles sous des séparations échangeables, la couverture chute dans le contexte "vu-vers-non-vu" (où la calibration se fait sur des bâtiments vus et le test sur des bâtiments non vus). Dans ce scénario, l'échangeabilité des épisodes n'est pas supposée, et la garantie de couverture formelle ne tient pas strictement, bien que l'ENCP soit toujours plus performante que la CP standard.
• Variantes de Pondération : Le schéma de pondération sans paramètre (utilisant $1-p_{max}$) a obtenu une couverture comparable à la variante basée sur l'apprentissage, mais a produit des ensembles de prédiction plus petits et n'a nécessité aucun ajustement de modèle supplémentaire.
• Utilité de la Demande d'Aide : Dans une simulation où l'agent se réfère à un "oracle" de vérité terrain lorsque la taille de l'ensemble de prédiction dépasse un seuil $\tau$, le taux de réussite s'est considérablement amélioré. Par exemple, sur le modèle DUET, abaisser le seuil pour déclencher plus de requêtes a augmenté le taux de réussite de 71,2 % (sans aide) à 98,8 % (en interrogeant pour chaque ensemble non-singleton), bien qu'au prix d'un taux de demande plus élevé.

5. Signification et Revendications

L'article affirme que l'ENCP fournit une méthode indépendante du modèle pour la quantification de l'incertitude en VLN, offrant des garanties de couverture formelles sur des trajectoires dépendantes et de longueur variable.

• Sécurité et Fiabilité : En fournissant un ensemble de prédiction statistiquement valide, l'ENCP permet aux agents d'identifier les étapes peu fiables et de différer l'assistance humaine avant que les erreurs ne s'accumulent, comblant ainsi une lacune critique de sécurité.
• Déploiement Pratique : La taille de l'ensemble de prédiction sert de signal pratique pour l'intervention. Les auteurs soutiennent que cela permet un compromis ajustable entre autonomie et sécurité, permettant aux agents de "savoir quand ils ne savent pas".
• Limites : Les auteurs notent modestement que l'évaluation en boucle fermée repose sur un oracle simulé plutôt que sur des opérateurs humains. De plus, la méthode suppose un espace d'actions fini, et la garantie de couverture est marginale sur la distribution des épisodes, ce qui signifie qu'elle peut ne pas tenir parfaitement sous des décalages de distribution importants (ex: bâtiments non vus) sans recalibrage, comme le montre la baisse de couverture observée dans le contexte vu-vers-non-vu.

En résumé, l'ENCP comble le fossé entre les garanties théoriques d'incertitude et la nature séquentielle et pratique de la VLN, offrant un mécanisme robuste pour le déploiement sécurisé d'agents.