ENCP: Episode-Normalized Conformal Prediction for Vision-and-Language Navigation

Resumen Técnico: Predicción Conforme Normalizada por Episodio (ENCP) para Navegación de Visión y Lenguaje

1. Planteamiento del Problema

La navegación de visión y lenguaje (VLN, por sus siglas en inglés) permite que agentes encarnados naveguen en entornos físicos utilizando instrucciones de lenguaje natural. Un desafío crítico para desplegar estos agentes de forma segura es la estimación de la incertidumbre. La navegación secuencial es propensa a errores acumulativos; una sola acción incorrecta altera el estado del agente y las observaciones subsiguientes, lo que potencialmente conduce al fallo de la tarea o a colisiones físicas.

Aunque las políticas modernas de VLN logran altas tasas de éxito, las métricas de confianza estándar (por ejemplo, las probabilidades softmax) suelen estar descalibradas y ser excesivamente confiadas, particularmente cuando los entornos de despliegue difieren de los datos de entrenamiento. Los mecanismos de automonitoreo existentes dependen de heurísticas empíricas en lugar de garantías formales.

La Predicción Conforme (CP) ofrece un marco estadístico para generar conjuntos de predicción con cobertura garantizada (es decir, el conjunto contiene la acción correcta con una probabilidad de $1-\alpha$). Sin embargo, la CP estándar asume que los puntos de datos son intercambiables. En VLN, este supuesto falla debido a:

1. Dependencia de Pasos: Las acciones dentro de un solo episodio son estadísticamente dependientes debido a la historia compartida y la influencia causal en las observaciones futuras.
2. Longitud Variable: Los episodios tienen diferentes longitudes.
3. Fallo de la Calibración Agrupada por Pasos: Aplicar la CP estándar a pasos individuales (agrupados entre episodios) no logra proporcionar una garantía de que la acción correcta se incluya en cada paso de una ruta. A menudo resulta en una subcobertura, lo que significa que la tasa de error real excede el nivel de riesgo objetivo $\alpha$.

2. Metodología: Predicción Conforme Normalizada por Episodio (ENCP)

Los autores proponen ENCP, un marco de post-entrenamiento que deja inalterada la política de navegación subyacente. ENCP aborda los problemas de dependencia y longitud variable desplazando la unidad de calibración del paso individual al episodio completo.

Mecanismos Centrales:

1. Calibración a Nivel de Episodio: En lugar de calibrar sobre un conjunto de pasos individuales, ENCP agrega los puntajes de no conformidad de todos los pasos dentro de un solo episodio en un único valor escalar. Específicamente, calcula el máximo puntaje de no conformidad normalizado a lo largo de todo el episodio. Este valor único representa la desviación del "peor caso" para esa trayectoria.
2. Normalización de Puntaje Ajustada por Confianza: Para manejar la confianza variable de la política a través de los pasos, ENCP reescala el puntaje de no conformidad base ($s_{base}$) mediante la confianza residual de la política.
   • Variante sin parámetros: Utiliza un peso fijo $w(x_t) = 1 - p_{max}(x_t)$, donde $p_{max}$ es la probabilidad más alta asignada por la política. El puntaje normalizado es:
     $$s_{norm}(x_t, a) = \frac{s_{base}(x_t, a)}{1 + (1 - p_{max}(x_t))} = \frac{s_{base}(x_t, a)}{2 - p_{max}(x_t)}$$
   • Variante basada en aprendizaje: Utiliza una red neuronal para predecir los pesos basados en características como la entropía, las brechas de probabilidad y el índice del paso, entrenada para identificar pasos donde la política es confiada pero incorrecta.
3. Generación del Conjunto de Predicción:
   • Se calcula un umbral de conformidad $\hat{q}(\alpha)$ a partir de la distribución de los puntajes máximos a nivel de episodio en un conjunto de calibración.
   • En tiempo de prueba, para cada paso $t$, el conjunto de predicción $C_\alpha(x_t)$ incluye todas las acciones $a$ donde $s_{norm}(x_t, a) \le \hat{q}(\alpha)$.
   • Regla de Actuar-o-Preguntar (Act-or-Ask): Si el tamaño del conjunto de predicción $|C_\alpha(x_t)|$ excede un presupuesto definido por el usuario $\tau$, el agente solicita asistencia humana (o recurre a un simulador). De lo contrario, procede de forma autónoma.

Garantía Teórica:
Bajo el supuesto de que los episodios de calibración y de prueba son intercambiables (por ejemplo, extraídos de la misma distribución), ENCP garantiza que la acción de verdad incluirá en el conjunto de predicción en cada paso de un episodio de prueba con una probabilidad de al menos $1-\alpha$. Esto proporciona una cobertura simultánea de la trayectoria, una garantía más fuerte que la cobertura paso a paso.

3. Contribuciones Clave

1. Identificación del Fallo de la CP Estándar: El artículo demuestra que la CP de división por pasos estándar falla en satisfacer las garantías de cobertura en VLN debido a las dependencias intra-episodio, resultando frecuentemente en una subcobertura severa.
2. Desarrollo de ENCP: Los autores introducen un método de calibración a nivel de episodio que reescala los puntajes mediante la confianza de la política y los agrega mediante un operador de máximo. Esta construcción asegura la cobertura simultánea sobre toda la trayectoria.
3. Validación Empírica: El método se evalúa en cuatro políticas de VLN (DUET, HAMT, R-prev, R-osc) a través de dos conjuntos de datos (R2R y REVERIE). El estudio incluye:
   • Verificación de los objetivos de cobertura de pasos en divisiones de visto-a-no visto (seen-to-unseen).
   • Comparación entre esquemas de ponderación basados en parámetros y basados en aprendizaje.
   • Un experimento de búsqueda de ayuda simulado que demuestra cómo el tamaño del conjunto de predicción puede activar la intervención humana para mejorar las tasas de éxito.

4. Resultados

• Objetivos de Cobertura: En todas las políticas probadas y puntajes de no conformidad (THR, APS, RAPS) en los cortes de validación val-unseen de R2R y REVERIE, ENCP cumplió con éxito los objetivos de cobertura de pasos empíricos (por ejemplo, logrando $\ge 90\%$ de cobertura para $\alpha=0.10$) bajo divisiones intercambiables. En contraste, la CP de división estándar mostró consistentemente una subcobertura.
• Desplazamiento de Distribución: El artículo señala explícitamente que, si bien ENCP cumple los objetivos bajo divisiones intercambiables, la cobertura cae en el escenario "visto-a-no visto" (donde la calibración ocurre en edificios vistos y la prueba en edificios no vistos). En este escenario, no se asume la intercambiabilidad de los episodios, y la garantía formal de cobertura no se cumple estrictamente, aunque ENCP sigue superando a la CP estándar.
• Variantes de Ponderación: El esquema de ponderación sin parámetros (usando $1-p_{max}$) logró una cobertura comparable a la variante basada en aprendizaje, pero resultó en conjuntos de predicción más pequeños y no requirió el ajuste de un modelo adicional.
• Utilidad de la Búsqueda de Ayuda: En una simulación donde el agente recurre a un "oráculo" de verdad fundamental cuando el tamaño del conjunto de predicción excede un umbral $\tau$, la tasa de éxito mejoró significamente. Por ejemplo, en el modelo DUET, reducir el umbral para disparar más consultas aumentó la tasa de éxito del 71.2% (sin ayuda) al 98.8% (consultando en cada conjunto que no fuera un elemento único), aunque con una mayor "tasa de consulta".

5. Significancia y Reclamaciones

El artículo afirma que ENCP proporciona un método agnóstico al modelo para la cuantificación de la incertidumbre en VLN que ofrece garantías de cobertura formales de muestra finita sobre trayectorias dependientes y de longitud variable.

• Seguridad y Fiabilidad: Al proporcionar un conjunto de predicción estadísticamente válido, ENCP permite que los agentes identifiquen pasos poco fiables y recurran a la asistencia humana antes de que los errores se acumulen, abordando una brecha de seguridad crítica en la navegación autónoma.
• Despliegue Práctico: El tamaño del conjunto de predicción sirve como una señal práctica para la intervención. Los autores argumentan que esto permite un equilibrio ajustable entre autonomía y seguridad, permitiendo que los agentes "sepan cuándo no saben".
• Limitaciones: Los autores señalan modestamente que la evaluación de bucle cerrado depende de un oráculo simulado en lugar de operadores humanos. Además, el método asume un espacio de acciones finito, y la garantía de cobertura es marginal sobre la distribución de los episodios, lo que significa que puede no cumplirse perfectamente bajo desplazamientos de distribución significativos (por ejemplo, edificios no vistos) sin recalibración, como lo evidencia la caída observada en la cobertura en el escenario de visto-a-no visto.

En resumen, ENCP cierra la brecha entre las garantías teóricas de incertidumbre y la naturaleza secuencial práctica de VLN, ofreciendo un mecanismo robusto para el despliegue seguro de agentes.