Resumen Técnico: Autonomía Robótica con Puerta de Confianza

1. Formulación del Problema

Los sistemas robóticos suelen depender de una autonomía con puerta de confianza, donde un modelo de percepción predice una acción o etiqueta de actividad, y una puntuación de incertidumbre asociada determina si el robot ejecuta de forma autónoma o cede a una política de respaldo. Este mecanismo formaliza la compensación inherente entre riesgo y cobertura en la predicción selectiva.

El problema central abordado es la evaluación de la incertidumbre predictiva en este contexto específico. Métricas estándar como el Error de Calibración Esperado (ECE) y el Área bajo la Curva Característica Operativa del Receptor (AUROC) evalúan la calibración probabilística o la clasificación global, pero no miden directamente si las puntuaciones de incertidumbre inducen decisiones de actuar/ceder materialmente diferentes. Los autores cuestionan cómo debe evaluarse la incertidumbre cuando su función principal es controlar la ejecución en lugar de proporcionar probabilidades calibradas, particularmente bajo condiciones de competencia del modelo y desplazamiento de distribución.

2. Metodología

Marco de Evaluación

Los autores proponen un protocolo de evaluación centrado en la decisión que trata la incertidumbre como una variable de decisión en lugar de una cantidad probabilística. El marco se basa en tres componentes principales:

1. Correlación de Rango de Spearman ($\rho$): Mide la correlación entre las puntuaciones de incertidumbre y los indicadores binarios de error. Esto evalúa si una mayor incertidumbre se asigna consistentemente a predicciones erróneas, lo cual es el requisito fundamental para una gestión efectiva.
2. Prueba de Equivalencia con Bootstrap Pareado: Utiliza remuestreo no paramétrico ($B=1000$) para determinar si las diferencias entre estimadores de incertidumbre son operativamente significativas. Se utiliza un margen conservador de $\delta = 0.01$ para definir la equivalencia práctica.
3. Acuerdo Actuar/Ceder: Compara los conjuntos de muestras seleccionadas para la ejecución autónoma entre diferentes estimadores cuando los umbrales se igualan por cobertura (en lugar del valor bruto de la puntuación).

Configuración Experimental

• Benchmarks: Tres conjuntos de datos de reconocimiento de actividades temporales con regímenes de precisión variables:
  • EGO4D: Reconocimiento de acciones egocéntricas (7 clases, ~63.5% de precisión).
  • iAssist: Reconocimiento de actividades asistivas desde IMU/mirada (8 clases, ~96.5% de precisión).
  • GTEA: Reconocimiento de actividades con mirada más actividad (20 clases, ~46% de precisión).
• Estimadores de Incertidumbre: Se evaluaron siete métodos:
  • Heurísticas derivadas de Softmax (Entropía, Margen, Ratio de Variación, Menor Confianza).
  • MC Dropout (Entropía Predictiva, Variación Epistémica a partir de $T=30$ pasadas).
  • Ensembles Profundos (Entropía de 3 miembros).
• Protocolos de Robustez:
  • Análisis de Competencia: Los modelos se entrenaron en subconjuntos (5%–70%) de los datos de entrenamiento para identificar el umbral de precisión donde la incertidumbre se vuelve útil para la decisión.
  • Desplazamiento de Covariable Temporal: Los conjuntos de prueba se corrompieron mediante eliminación de cuadros, ruido gaussiano y jitter temporal en cinco niveles de severidad.
  • Detección Semántica de OOD: Evaluado utilizando clases retenidas (aleatorias y raras) para probar la detección de novedad fina.
• Simulación Encarnada: Una simulación mínima en PyBullet mapeó 7 clases de actividad a 3 primitivas de navegación (izquierda, recta, derecha). Midió las tasas de colisión y el costo total bajo diferentes niveles de autonomía y elecciones de estimadores.

3. Resultados Clave

El Régimen de Competencia

La incertidumbre proporciona una clasificación de errores fiable solo después de que el modelo base ingresa a un régimen de competencia dependiente del conjunto de datos.

• Por debajo de un umbral de precisión específico (por ejemplo, ~33% para GTEA, ~58% para EGO4D, ~70% para iAssist), las puntuaciones de incertidumbre producen clasificaciones débiles e inestables con alta variabilidad entre las semillas de entrenamiento.
• Por encima de este régimen, las puntuaciones de incertidumbre clasifican consistentemente los errores, permitiendo una gestión efectiva.

Equivalencia de Estimadores

Una vez que el modelo es competente, la elección del estimador de incertidumbre tiene un impacto insignificante en los resultados de ejecución:

• Comportamiento de Gestión Similar: Las heurísticas de Softmax, MC Dropout y los ensembles producen valores de Spearman $\rho$ casi idénticos y acuerdos de actuar/ceder (>97–99%).
• Dominancia del Umbral: La elección del umbral de ejecución ($\tau$) tiene un efecto sustancialmente mayor en los resultados que la elección del estimador. Por ejemplo, restringir la ejecución al 10% superior de las predicciones más confiables en EGO4D redujo el error de ejecución en un 46%, mientras que cambiar de entropía de softmax a margen modificó la precisión en menos del 0.5%.
• Validación Encarnada: En la simulación de navegación, cuando la autonomía realizada se igualó, diferentes estimadores resultaron en tasas de colisión y costos estadísticamente indistinguibles.

Robustez ante Desplazamientos

• Desplazamiento de Covariable Temporal: Bajo corrupciones temporales (por ejemplo, eliminación de cuadros), la calidad de la clasificación ($\rho$) se mantuvo estable, y la gestión redujo efectivamente el error de ejecución (por ejemplo, una reducción de 3.4$\times$ en EGO4D). El sistema exhibió una degradación suave.
• Detección Semántica de OOD: En contraste, la detección semántica fina de datos fuera de distribución (OOD) permaneció cerca del azar (AUROC $\approx$ 0.35–0.49). Los modelos a menudo mostraron mayor confianza en las clases retenidas que en las clases dentro de la distribución, un modo de fallo conocido de la detección basada en softmax cuando las clases no vistas comparten características con las vistas.

4. Contribuciones

El artículo afirma las siguientes contribuciones:

1. Protocolo Centrado en la Decisión: Introducción de un marco de evaluación basado en correlación de rangos, pruebas de equivalencia con bootstrap y acuerdo de actuar/ceder, superando las métricas de calibración estándar.
2. Identificación del Régimen de Competencia: Evidencia empírica de que la incertidumbre solo es útil para la decisión por encima de un umbral de precisión específico y dependiente del conjunto de datos.
3. Intercambiabilidad de Estimadores: Demostración de que, en regímenes competentes, las heurísticas ligeras de softmax son prácticamente equivalentes a métodos computacionalmente costosos (MC Dropout, Ensembles) para la autonomía con puerta de umbral.
4. Umbral vs. Estimador: Evidencia de que la selección del umbral es el principal impulsor de los resultados de ejecución, no la elección del estimador de incertidumbre.
5. Asimetría de Desplazamiento: Aclaración de que los proxies de incertidumbre son suficientes para el desplazamiento de covariables temporales pero fallan en la detección de novedad semántica fina.

5. Significado e Implicaciones

El artículo aboga por un cambio en cómo se despliega y evalúa la autonomía robótica. La implicación principal es que la competencia a nivel de tarea debe establecerse antes de que la gestión por incertidumbre sea efectiva. Una vez que un modelo es competente, los practicantes deben priorizar el ajuste del umbral basado en las relaciones de costo específicas de la aplicación (equilibrando errores frente a costos de ceder) en lugar de invertir en métodos complejos de estimación de incertidumbre.

Los autores sugieren un orden de despliegue práctico:

1. Establecer la competencia a nivel de tarea.
2. Ajustar el umbral de ejecución para la compensación riesgo-cobertura deseada.
3. Desplegar proxies simples de incertidumbre (por ejemplo, entropía de softmax) para manejar desplazamientos de covariables temporales.
4. Implementar mecanismos de conjunto abierto dedicados cuando se espera novedad semántica, ya que las puntuaciones de incertidumbre estándar son insuficientes para esta tarea.

El estudio reconoce limitaciones, señalando que los resultados encarnados dependen en gran medida de la política de respaldo y que la simulación utiliza un mapeo de acciones simplificado. Sin embargo, proporciona una fundamentación a nivel de consecuencias para la afirmación de que, en entornos con puerta de umbral, el "cómo" de la estimación de incertidumbre importa menos que el "cuándo" (competencia) y el "dónde" (umbral) de su aplicación.