Measurement-Calibrated Multi-Camera Fusion for Vision-Based Indoor Localization

Planteamiento del Problema
Los sistemas de localización en interiores basados en visión enfrentan desafíos significativos, incluyendo el ruido de detección, oclusiones y una cobertura de cámara limitada, lo que introduce incertidumbre en diversas etapas del proceso de procesamiento. Si bien la fusión de datos de múltiples cámaras es un enfoque estándar para mitigar estos problemas, frecuentemente se trata como un componente de "caja negra" evaluado únicamente mediante métricas de extremo a extremo. Esta práctica oscurece las contribuciones mecánicas de las etapas individuales del proceso (como la calibración de homografía, la detección y el seguimiento) y limita la comprensión de cómo las características de error específicas influyen en el proceso de fusión. Además, la literatura existente suele carecer de una aislación explícita de las fuentes de error, lo que dificulta atribuir las mejoras de rendimiento a componentes específicos o comprender el valor de la redundancia frente al suavizado temporal.

Metodología
Los autores proponen un enfoque de fusión multi-cámara calibrada por mediciones diseñado para caracterizar y aprovechar explícitamente los errores de localización de cada cámara individual. La arquitectura del sistema sigue un proceso estándar:

1. Detección y Estimación de Pose: Los objetos se detectan mediante YOLO v8n, y la estimación de la pose humana en 2D se realiza a través de MediaPipe. La posición del sujeto en el suelo se deriva de los puntos clave de los tobillos cuando la estimación de la pose tiene éxito, o del centro inferior de la caja delimitadora (bounding box) como alternativa.
2. Localización Espacial: Una transformación de homografía mapea las coordenadas de la imagen a un marco de referencia mundial.
3. Fusión de Datos: Un Filtro de Kalman (KF) lineal fusiona las detecciones de múltiples cámaras sincronizadas (usando NTP) para asegurar la continuidad temporal.

La innovación central reside en la estrategia de fusión calibrada por mediciones. A diferencia de la fusión estándar, que asigna una covarianza de ruido de medición ($R$) constante a todas las detecciones, el método propuesto asigna $R(i)$ de forma adaptativa basándose en los errores estáticos medidos empíricamente para cada cámara.

• Caracterización del Error: El sistema se somete a una evaluación por componentes para aislar los errores provenientes de la calibración de la homografía, la detección humana y el seguimiento de movimiento. Las pruebas estáticas determinan la varianza del ruido de medición como una función de la posición del sujeto.
• Ponderación Adaptativa: Durante la operación dinámica, el KF utiliza estos mapas de error pre-caracterizados para ponderar las mediciones entrantes. Las detecciones de alta precisión (basadas en los datos de error estático específicos de la ubicación) se ponderan más fuertemente, mientras que las detecciones de baja precisión se ponderan menos.
• Asociación de Datos: Se utiliza la Asociación de Datos Probabilística Conjunta (JPDA), con un pre-filtrado (pre-gating) para descartar detecciones fuera del campo de visión validado.

Contribuciones Clave
El artículo presenta tres contribuciones principales:

1. Evaluación por Componentes: Un análisis sistemático de un proceso de localización basado en visión que aísla las contribuciones de error de las etapas de homografía, detección y seguimiento, en lugar de depender únicamente de métricas de extremo a extremo.
2. Estrategia de Calibración de Covarianza: Una propuesta para una estrategia de asignación de ruido de medición para la fusión basada en Filtros de Kalman que utiliza características de error empíricamente medidas y específicas de cada cámara.
3. Demostración de la Estabilidad de la Trayectoria: Evidencia de que la consideración explícita de las características de error específicas de la cámara reduce significativamente la varianza de la trayectoria y mejora la suavidad del movimiento, abordando requisitos críticos para el seguimiento continuo en tiempo real.

Resultados
Los experimentos se realizaron en un área de prueba de 550x300 cm con tres cámaras y un único sujeto en movimiento siguiendo una trayectoria predefinida.

• Precisión de Localización: Tanto la fusión estándar como la calibrada por mediciones mejoraron la precisión de la localización en comparación con la mejor línea base de una sola cámara, reduciendo el Error Cuadrático Medio (RMSE) al menos un 6%. La fusión calibrada por mediciones proporcionó una mejora adicional marginal en la precisión absoluta (una reducción adicional del 6% en el RMSE respecto a la fusión estándar) en comparación con las ganancias significativas observadas sobre los sistemas de una sola cámara.
• Suavidad de la Trayectoria: El beneficio más sustancial del enfoque calibrado por mediciones se observó en la suavidad del movimiento. La desviación estándar del desplazamiento (una métrica para el jitter/temblor) se redujo aproximadamente en un 50% en relación con las cámaras individuales, indicando una trayectoria estimada mucho más suave.
• Efectos de Cobertura: La fusión de datos demostró beneficios claros al aumentar la cobertura de las cámaras. Cuando las tres cámaras contribuyeron, el RMSE disminuyó al menos 2 cm en comparación con los escenarios con menos cámaras. Los sistemas de una sola cámara mostraron un aumento en la dispersión del error a medida que la cobertura disminuía, mientras que la fusión mitigó eficazmente las características de error específicas de la cámara.

Significancia y Reivindicaciones
El artículo sostiene que, si bien la fusión calibrada por mediciones ofrece mejoras modestas en la precisión posicional absoluta sobre la fusión estándar, su valor principal radica en reducir la varianza de la trayectoria y mejorar la suavidad del movimiento. Esto es crítico para aplicaciones donde la lógica descendente, la visualización o la toma de decisiones dependen de estimaciones de movimiento estables y continuas.

Al ir más allá de la evaluación de "caja negra" de la fusión, este trabajo proporciona una base de principios para diseñar sistemas multi-cámara. Destaca que, si bien el rendimiento general suele estar limitado por los componentes ascendentes (detección y homografía), la caracterización y calibración explícita del ruido de medición permite que el algoritmo de fusión maneje mejor las incertidumbres específicas de la cámara. Los autores señalan que su precisión numérica es comparable o mejor que la de varios trabajos existentes, aunque reconocen limitaciones tales como el uso de una verdad de terreno unidimensional y el seguimiento de un solo objetivo. El estudio concluye que la caracterización explícita del error es una herramienta valiosa para optimizar las estrategias de fusión de datos en la localización en interiores basada en visión.