💻 computer science

S3KF: Spherical State-Space Kalman Filtering for Panoramic 3D Multi-Object Tracking

Este artículo presenta S3KF, un marco de seguimiento multiobjeto 3D panorámico que utiliza un filtro de Kalman esférico para fusionar datos de cámaras y LiDAR, logrando una alta precisión y continuidad de identidad en entornos industriales sin necesidad de infraestructura de captura de movimiento.

Autores originales: Zhongyuan Liu, Shaonan Yu, Jianping Li, Pengfei Wan, Xinhang Xu, Pengfei Wang, Maggie Y. Gao, Lihua Xie

Publicado 2026-03-31

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zhongyuan Liu, Shaonan Yu, Jianping Li, Pengfei Wan, Xinhang Xu, Pengfei Wang, Maggie Y. Gao, Lihua Xie

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que estás en medio de una plaza muy concurrida y necesitas vigilar a todas las personas que se mueven alrededor tuyo, no solo las que están frente a ti. Si usas una cámara normal, verías solo un trozo del panorama, como mirar a través de una pajita. Si usas una cámara de "ojo de pez" (panorámica), verías todo a tu alrededor, pero la imagen se vería muy extraña y distorsionada en los bordes, como si estuvieras mirando a través de un espejo deformado.

Aquí es donde entra el S3KF, el sistema que describen en este artículo. Vamos a desglosarlo con analogías sencillas:

1. El Problema: El Mapa de la "Piel de Naranja"

Imagina que intentas dibujar un mapa del mundo entero (que es una esfera) en una hoja de papel plana.

El problema de las cámaras normales: Si intentas dibujar todo el mundo en un papel plano, los polos (el norte y el sur) se estiran y se rompen. En la visión por computadora, esto significa que cuando un objeto se mueve hacia los bordes de una cámara panorámica, el sistema se confunde y pierde el rastro.
El problema de los modelos 3D viejos: Los sistemas antiguos trataban de medir la dirección de una persona usando tres números (como coordenadas X, Y, Z). Pero como la dirección es una línea que sale de tu cabeza hacia el infinito, usar tres números es como intentar describir la dirección de una aguja usando tres palillos: es redundante y matemáticamente complicado.

2. La Solución: Vivir en una "Bola de Billar" (La Esfera)

En lugar de intentar aplanar el mundo en un papel o usar coordenadas complicadas, los autores dicen: "¡Vamos a vivir en la esfera!".

Imagina que tú estás en el centro de una bola de billar gigante.

La representación esférica: En lugar de decir "la persona está a 5 metros a la derecha y 3 arriba", el sistema dice "la persona está en un punto específico de la superficie de la bola".
El truco del "Tangente": Como es difícil hacer matemáticas directamente sobre una bola curva, el sistema usa un pequeño trozo de papel plano que toca la bola justo donde está la persona (como si pusieras una hoja de papel sobre la bola de billar).
- Cuando la persona se mueve un poquito, el sistema la sigue en ese pedacito de papel plano (donde las matemáticas son fáciles).
- Cuando la persona se mueve mucho y el papel ya no sirve, el sistema "cambia de papel" a uno nuevo que toca la bola en la nueva posición.
- Analogía: Es como si fueras caminando por la Tierra y, en lugar de usar un mapa plano que se deforma, usas una brújula y un mapa local que siempre se ajusta a tus pies. Nunca te pierdes, incluso si das la vuelta al mundo.

3. Los Ojos y el Radar: La Cámara y el LiDAR

El sistema tiene dos "sentidos" principales:

Los Ojos (Cámaras de Ojo de Pez): Ven la forma y el color de las personas (¿es un humano? ¿es una bicicleta?). Pero no saben exactamente qué tan lejos están.
El Radar Giratorio (LiDAR): Es como un faro que gira muy rápido lanzando rayos láser. Sabe exactamente qué tan lejos están las cosas (profundidad), pero no sabe si es un humano o un árbol.

La Magia de la Fusión:
El S3KF es el director de orquesta que une estos dos sentidos.

Si la cámara ve a alguien y el LiDAR confirma que está a 10 metros, el sistema combina esa información en su "bola de billar" matemática.
Si la cámara se pierde a alguien porque se escondió detrás de una columna (ocultamiento), el sistema usa la velocidad y la dirección que ya calculó en la esfera para "adivinar" dónde debería estar esa persona hasta que reaparezca.

4. ¿Por qué es tan bueno? (La Prueba de Fuego)

Los autores probaron su sistema en situaciones reales:

En el suelo: Colocaron el sistema en un robot perro que caminaba entre gente.
En el aire: Lo pusieron en un dron volando.
El resultado: Mientras que los sistemas antiguos (como ByteTrack) se confundían y cambiaban el nombre de las personas (por ejemplo, pensaban que "Juan" era "Pedro" cuando Juan pasaba por un borde distorsionado), el S3KF mantuvo la identidad correcta.

Analogía final:
Imagina que estás en una fiesta con música fuerte y mucha gente.

Un sistema viejo es como alguien que solo mira a su derecha y si alguien se cruza, piensa que es un nuevo invitado.
El S3KF es como un anfitrión experto que tiene un mapa mental de toda la habitación (la esfera). Si alguien se esconde detrás de una columna, el anfitrión sabe exactamente dónde volverá a aparecer y no se confunde con la distorsión de las luces o los espejos.

En resumen

Este paper presenta una forma inteligente de rastrear objetos en 360 grados. En lugar de luchar contra las distorsiones de las cámaras panorámicas o usar matemáticas pesadas, usan la geometría de una esfera para mantener un rastro limpio, preciso y estable, incluso cuando las cosas se mueven rápido, se esconden o el sistema está montado en un robot que se tambalea. Es como tener un GPS perfecto para seguir a personas en un mundo que gira alrededor de ti.

Resumen Técnico: S3KF (Filtrado de Kalman en Espacio de Estado Esférico para Rastreo Multi-Objeto 3D Panorámico)

1. Planteamiento del Problema

El rastreo multi-objeto (MOT) en entornos panorámicos es crucial para la seguridad industrial, la robótica de campo y la supervisión de grandes áreas. Sin embargo, los sistemas existentes enfrentan desafíos significativos:

Limitaciones de los rastreadores basados en imágenes: Los métodos tradicionales operan en el plano de la imagen (coordenadas de píxeles). En cámaras panorámicas (fisheye o equirectangulares), la distorsión de proyección es altamente no uniforme y presenta singularidades en los polos, lo que hace que el rastreo sea inestable y poco fiable.
Limitaciones de las formulaciones euclidianas 3D: Representar la dirección de un objeto en el espacio 3D euclidiano requiere tres parámetros con una restricción de norma unitaria. Esto introduce redundancia en la estimación de la dirección y complica la filtración y fusión de datos.
Falta de integración métrica: Muchos sistemas tratan la profundidad y la escala física como señales auxiliares en lugar de variables de estado primarias, lo que reduce la robustez cuando la apariencia visual es ambigua o hay oclusiones.
Dificultad de evaluación: Obtener "ground truth" (verdad de terreno) precisa en grandes entornos reales sin infraestructura de captura de movimiento (como Vicon) es un cuello de botella para la evaluación cuantitativa.

2. Metodología Propuesta: S3KF

Los autores presentan S3KF, un marco unificado que combina un LiDAR rotativo motorizado y un sistema de cuatro cámaras fisheye, utilizando una representación de estado geométricamente consistente sobre la esfera unitaria ( $S^2$ ).

A. Representación de Estado Esférico
En lugar de rastrear en el plano de imagen distorsionado o en coordenadas 3D redundantes, el estado del objeto se modela directamente en la esfera unitaria $S^2$ :

Parametrización Tangente: La dirección del objeto (bearing) se representa mediante un modelo de plano tangente de dos grados de libertad. Esto elimina las singularidades de la imagen y la redundancia de las coordenadas euclidianas.
Vector de Estado Extendido: El vector de estado $x_k \in \mathbb{R}^{10}$ $x_{k} \in R^{10}$ incluye:
- Coordenadas tangentes de la dirección esférica ( $w_1, w_2$ ) y sus velocidades.
- Relación de aspecto y altura de la caja delimitadora ( $\ell, h$ ) y sus velocidades.
- Profundidad métrica ( $d$ ) y velocidad de profundidad ( $\dot{d}$ ).
Filtrado de Kalman Extendido: Se deriva un pipeline de filtrado de Kalman que opera en el espacio local euclidiano del plano tangente ( $T_{\bar{g}_k}S^2$ ), utilizando mapeos logarítmico (Log-map) y exponencial (Exp-map) para transitar entre la esfera global y el espacio local.

B. Fusión de Sensores
El sistema fusiona dos modalidades de forma coherente:

Cámaras Panorámicas: Proporcionan detecciones 2D (dirección, tamaño de caja) que se proyectan al plano tangente.
LiDAR Rotativo: Proporciona observaciones de profundidad métrica completa (360°).
El filtro de Kalman actualiza el estado unificado, permitiendo que la profundidad del LiDAR estabilice la asociación de datos y la estimación de escala, incluso bajo oclusiones o cambios rápidos de perspectiva.

C. Generación de Ground Truth Basada en Mapas
Para evaluar el sistema sin infraestructura de captura de movimiento, los autores desarrollaron un pipeline de generación de verdad de terreno:

Se utiliza un mapa global de nubes de puntos LiDAR pre-construido.
Los sujetos llevan dispositivos portátiles con LiDAR que se localizan en línea registrando sus escaneos al mapa global.
Esto genera trayectorias de referencia consistentes en un marco global sin necesidad de calibración entre dispositivos ni estaciones base fijas.

3. Contribuciones Clave

Plataforma de Sensado Panorámico: Integración de un LiDAR rotativo motorizado con un arreglo de cuatro cámaras fisheye para observaciones geométricas y de apariencia sincronizadas y de cobertura total.
Representación de Estado Esférico Geométricamente Consistente: Parametrización de la dirección del objetivo en $S^2$ usando coordenadas de plano tangente, modelada conjuntamente con la dinámica de escala y profundidad.
Pipeline de Filtrado de Kalman Esférico Extendido: Un marco unificado que fusiona detecciones de imágenes panorámicas y observaciones de profundidad de LiDAR, manteniendo la geometría subyacente del estado de dirección.
Pipeline de Evaluación Sin Infraestructura: Un método escalable para generar ground truth de rastreo 3D en grandes entornos (interior/exterior) utilizando dispositivos de localización portátiles y mapas LiDAR compartidos.

4. Resultados Experimentales

Las pruebas se realizaron en secuencias del mundo real utilizando una plataforma NVIDIA Jetson AGX Orin para operación en tiempo real.

Precisión de Rastreo: El sistema logró una precisión de rastreo planar a nivel de decímetro (RMSE promedio global de 0.187 m).
- En condiciones estáticas, el error fue de ~0.08 m.
- En escenarios dinámicos con oclusiones y movimientos rápidos, el error se mantuvo por debajo de ~0.39 m, demostrando robustez.
Consistencia de Identidad (ID Switches): Al comparar con un baseline de rastreo 2D (ByteTrack), S3KF redujo drásticamente los cambios de identidad:
- ByteTrack: 98 cambios de identidad en total en 4 secuencias.
- S3KF: Solo 16 cambios de identidad.
- En escenarios específicos (terreno exterior/interior y aéreo), los cambios se redujeron de ~26-27 a solo 3.
Robustez en Plataformas Múltiples: El sistema funcionó exitosamente tanto en robots terrestres (cuadrúpedos) como en drones (UAV), manteniendo la continuidad de la trayectoria a través de grandes span angulares y cambios de perspectiva, sin divergencias ni oscilaciones.

5. Significado e Impacto

El trabajo de S3KF representa un avance significativo en la percepción robótica y la seguridad industrial por varias razones:

Superación de Singularidades: Al mover el estado de la dirección de la imagen distorsionada a la esfera unitaria, se resuelve el problema fundamental de la distorsión en las esquinas y polos de las imágenes panorámicas.
Unificación 2D/3D: Proporciona una interfaz unificada que permite que el mismo algoritmo funcione como un rastreador 2D geométricamente consistente o se extienda naturalmente a un rastreador 3D métrico al incorporar datos de profundidad.
Viabilidad Industrial: Demuestra que es posible lograr un rastreo multi-objeto 3D robusto, en tiempo real y sin infraestructura externa costosa, lo cual es esencial para la implementación de sistemas de seguridad autónomos en grandes almacenes, fábricas y obras de construcción.

En conclusión, S3KF establece un nuevo estándar para el rastreo panorámico al combinar una formulación matemática elegante (geometría esférica) con una implementación práctica de fusión de sensores y una metodología de evaluación escalable.