Resumen Técnico: De Puntos Clave a Distribuciones Predictivas

Planteamiento del Problema

Los modelos YOLO-Pose se despliegan ampliamente para la localización de puntos clave (keypoints) en tiempo real debido a su eficiencia y capacidades de inferencia de una sola pasada. Sin embargo, estos emiten una ubicación determinista única para cada punto clave y una puntuación de confianza a nivel de instancia que no cuantifica la incertidumbre espacial específica del punto clave. En aplicaciones de uso crítico para la seguridad (por ejemplo, fusión de sensores, seguimiento), la incapacidad de evaluar la fiabilidad de los puntos clave individuales limita la robustez del sistema.

Los métodos existentes de cuantificación de la incertidumbre dentro de la familia YOLO se centran principalmente en la detección de objetos (cajas delimitadoras) o requieren el reentrenamiento conjunto del modelo para predecir la incertidumbre junto con la localización. Este paradigma de aprendizaje conjunto suele ser indeseable en modelos desplegados donde el reentrenamiento está limitado por requisitos de certificación o donde cambiar la función de pérdida podría degradar el rendimiento de la predicción de la media ya establecido. Además, las pérdidas estándar como la Similitud de Puntos Clave de Objeto (OKS) inducen distribuciones de residuos de cola pesada que son mal capturadas por las suposiciones gaussianas estándar, lo que conduce a estimaciones de incertidumbre mal calibradas.

Metodología

Los autores proponen una extensión probabilística post-hoc ligera que aumenta un modelo YOLO-Pose preentrenado y congelado sin alterar sus predicciones de puntos clave originales. El enfoque consta de tres componentes principales:

1. Extensión de la Arquitectura

El método introduce cabezales probabilísticos adicionales que reflejan los cabezales de pose originales. Estos cabezales utilizan las características compartidas del cuello multirresolución para predecir una matriz de dispersión de $2 \times 2$ heterocedástica y dependiente de la entrada ($\Sigma$) para cada punto clave. La matriz se restringe para ser definida positiva mediante la descomposición de Cholesky. La media de la distribución predictiva se fija en la predicción original de YOLO ($\hat{y}$), mientras que la matriz de dispersión captura la incertidancia espacial.

2. Entrenamiento con NLL Ponderado por Importancia

Para aprender la estructura de dispersión, los autores emplean una Log-Verosimilitud Negativa Gaussiana (GNLL) como sustituto de la pérdida OKS. Para abordar el desajuste entre la asignación de etiquetas en el tiempo de entrenamiento y el post-procesamiento en el tiempo de inferencia (por ejemplo, umbralización de confianza, NMS), introducen un objetivo de entrenamiento ponderado por importancia:

• Peso de Retención ($w_{ret}$): Basado en la puntuación de confianza a nivel de instancia ($c_{det}^\alpha$), aproximando la probabilidad de que una predicción sea retenida en la inferencia.
• Peso de Escala ($w_{scale}$): Basado en el inverso del área del objeto ($1/s^2$), contrarrestando la tendencia de los objetos más grandes a dominar la señal de optimización y asegurando una calibración equilibrada a través de las escalas de los objetos.
  El objetivo minimiza la GNLL ponderada sobre los pares de predicción-verdad de campo emparejados.

3. Esquemas de Calibración

Reconociendo que la pérdida OKS induce residuos de cola pesada (debido a su naturaleza robusta y de supresión de valores atípicos), los autores proponen dos estrategias de calibración complementarias aplicadas a un conjunto de calibración de validación:

• Calibración Gaussiana: Aplica un escalado de temperatura ($\tau^2$) a la matriz de dispersión aprendida. Esto produce una distribución predictiva $\mathcal{N}(\hat{y}, \tau^2\Sigma)$, asegurando la compatibilidad con métodos de covarianza descendentes (por ejemplo, filtros de Kalman).
• Calibración Student-t: Aplica tanto un escalado de temperatura ($\tau^2$) como un parámetro de grados de libertad ($\nu$) a la matriz de dispersión, tratándola como una matriz de escala para una distribución Student-t $T_\nu(\hat{y}, \tau^2\Sigma)$. Esto captura mejor la naturaleza de cola pesada de los residuos mientras mantiene una interpretación de covarianza con principios sólidos para $\nu > 2$.

4. Poda Basada en la Incertidumbre

La covarianza calibrada se convierte en una puntuación de confianza de localización escalar (por ejemplo, usando la traza de la covarianza). Los puntos clave con puntuaciones por debajo de un umbral (seleccionado mediante el estadístico J de Youden en un conjunto de validación) se podan antes del procesamiento descendente, eliminando las predicciones no fiables mientras se preservan las estimaciones de la media de los puntos clave retenidos.

Protocolo de Evaluación

El artículo introduce un marco de evaluación exhaustivo para la regresión de puntos clave heterocedásticos:

• Precisión Promedio de Puntos Clave (AKP): Una métrica estilo COCO extendida al nivel de punto clave. Evalúa si las puntuaciones de incertidumbre clasifican eficazmente los puntos clave por corrección, permitiendo la selección o poda de puntos clave no fiables.
• Diagnósticos de Calibración Distribucional:
  • Cobertura: Evalúa si las regiones de probabilidad nominal (por ejemplo, elipses del 95%) coinciden con las frecuencias empíricas (Error de Cobertura Promedio, ACE).
  • Calibración de Varianza: Compara las magnitudes de la varianza predicha frente a los residuos al cuadrado empíricos a través de los niveles de incertidumbre (Error de Calibración Normalizado Esperado, ENCE).
  • Gráficos Q-Q: Evalúa la forma y el comportamiento de la cola de la distribución predictiva frente a la ley de referencia.

Resultados Clave

Los experimentos en el conjunto de datos COCO (usando YOLO-NAS-Pose Nano y Large) demuestran:

• Clasificación de Fiabilidad: Las estimaciones de incertidumbre aprendidas proporcionan clasificaciones de fiabilidad efectivas a nivel de punto clave, logrando puntuaciones AKP altas significativamente por encima de las líneas base aleatorias.
• Rendimiento de Calibración:
  • La Calibración Gaussiana mejora la calibración de la varianza (menor ENCE) pero tiene dificultades con la cobertura (mayor ACE) debido a la especificación errónea de la cola.
  • La Calibración Student-t logra el mejor rendimiento general, reduciendo significativamente el ACE (cobertura casi perfecta) mientras mantiene o mejora el ENCE y el NLL. Esto confirma que la distribución de residuos empírica se modela mejor mediante una distribución Student-t de cola pesada.
• Eficacia de la Poda: La poda basada en la incertidumbre elimina eficazmente los puntos clave no fiables (particularmente para extremidades ambiguas como rodillas y tobillos), mejorando las métricas de calibración del conjunto retenido.
• Estudios de Ablación: La ponderación por importancia (específicamente los pesos de retención y escala) es crítica para una calibración equilibrada entre tamaños de objeto. Las matrices de covarianza heterocedásticas completas superan a las aproximaciones isotrópicas o diagonales.

Demostración de Aplicación: Aterrizaje de Aeronaves Basado en Visión

Los autores demuestran la utilidad de su método en un escenario de aterrizaje basado en visión (VBL) utilizando un conjunto de datos interno a gran escala.

• Flujo de Trabajo: Se detectan los puntos clave de la pista, y sus covarianzas 2D calibradas se propagan a través de un algoritmo de Perspective-n-Point (PnP) ponderado por covarianza para estimar la posición 3D y la covarianza de la aeronave.
• Fusión de Sensores: La estimación de la posición 3D resultante y su covarianza se integran en un Filtro de Kalman Extendido (EKF) junto con otros sensores de navegación (GNSS, ILS, IRS).
• Hallazgos: El modelo calibrado gaussianamente proporciona covarianzas del plano de la imagen bien calibradas que apoyan la estimación de posición consciente de la incertidumbre. El método mantiene los requisitos de baja latencia para el VBL.
• Limitación: En condiciones de niebla (fuera de la distribución), el modelo falla al capturar la mayor incertidumbre epistémica, lo que destaca que el enfoque post-hoc actual modela la incertidumbre aleatoria dentro de la distribución de entrenamiento, pero no detecta intrínsecamente los cambios de distribución.

Significación y Reivindicaciones

El artículo afirma ser la primera extensión de los modelos YOLO-Pose que proporciona distribuciones predictivas calibradas sobre los errores de localización de puntos clave sin reentrenar el modelo subyacente ni modificar sus predicciones originales.

Las contribuciones clave incluyen:

1. Flexibilidad Post-Hoc: Un método que desacopla la estimación de la incertidumbre de la predicción de puntos, permitiendo la calibración de modelos existentes y certificados.
2. Fidelidad Distribucional: La demostración de que la calibración Student-t es necesaria para capturar los residuos de cola pesada inducidos por las pérdidas OKS robustas, superando las suposiciones gaussianas estándar.
3. Estándar de Evaluación: La introducción de AKP y una serie de diagnósticos de calibración adaptados para la regresión de puntos clave bivariante y heterocedástica, abordando un vacío en la literatura donde la incertidumbre a menudo se evalúa solo cualitativamente o mediante una confianza escalar.
4. Utilidad Práctica: Validación en un dominio de seguridad crítica (aviación), mostrando que las covarianzas calibradas son requisitos funcionales para la fusión de sensores descendente y que la poda basada en la incertidumbre puede mejorar la robustez del sistema.

Los autores mantienen una postura modesta respecto a la incertidumbre epistémica, reconociendo que su enfoque actual depende de los residuos dentro de la distribución y que el manejo de entradas fuera de la distribución (por ejemplo, clima severo) requiere trabajo futuro en el modelado de la incertidumbre epistémica.