GaitFace: A Multimodal Dataset for Long-Range Person Identification

Imagina que estás intentando reconocer a un amigo en un festival de música concurrido. Si está parado justo al lado tuyo, puedes ver su sonrisa, el color de sus ojos y la forma en que inclina la cabeza. Así es como funciona la mayor parte de la tecnología de "reconocimiento facial" actual: necesita una foto clara y de primer plano para estar segura de quién eres. Pero, ¿qué pasa si tu amigo está a 100 metros de distancia, detrás de una cerca, y el aire está brumoso? De repente, su rostro es solo una pequeña mancha borrosa. En el mundo de la seguridad y el control de fronteras, esto es un enorme dolor de cabeza. Las cámaras de seguridad a menudo tienen que vigilar a personas desde lejos, donde la calidad de la imagen es terrible, el clima es malo y la persona podría estar caminando, cargando un bolso o usando una chaqueta diferente a la habitual. Los científicos llaman a esto "identificación de personas de largo alcance". También observan cómo camina la gente, lo que se conoce como "marcha" (gait), porque incluso si no puedes ver un rostro con claridad, la forma en que alguien mueve sus piernas a veces puede delatarlo. La gran pregunta es: ¿Pueden las computadoras seguir distinguiendo quién es quién cuando la imagen es granulada, la distancia es enorme y la persona se está moviendo?

Este artículo presenta una nueva herramienta llamada GaitFace, que es como un gimnasio de entrenamiento gigante y realista para programas informáticos que intentan identificar personas desde lejos. Los investigadores construyeron un conjunto de datos especial (una colección de datos) para probar qué tan bien maneja la tecnología actual estos escenarios difíciles, "en el mundo real". Descubrieron que, si bien nuestros mejores modelos computacionales son excelentes para reconocer rostros cuando tienen una foto de alta calidad y con zoom, básicamente colapsan y fracasan cuando la imagen es de baja resolución y tomada desde la distancia. Incluso más sorprendente, los modelos que suelen ser los más "inteligentes" y complejos a menudo fallan más estrepitosamente, mientras que algunos modelos más simples y ligeros en realidad resisten un poco mejor. El artículo también muestra que los patrones de caminata (marcha) son increíblemente difíciles de reconocer desde lejos cuando la ropa o los accesorios de la persona cambian. El mensaje principal es que aún no tenemos una solución perfecta; los sistemas actuales son muy frágiles cuando la vista es deficiente, y necesitamos una tecnología mucho mejor para que la seguridad fronteriza y la vigilancia funcionen de manera confiable sin necesidad de fotos perfectas y de primer plano.

La historia de GaitFace

Piensa en el estado actual de las cámaras de seguridad como un detective tratando de resolver un misterio usando solo una instantánea borrosa. Los autores de este artículo decidieron construir una "caja de misterio" de datos para ver exactamente qué tan malo es el desenfoque y cómo manejan nuestros detectives digitales. Crearon GaitFace, un conjunto de datos público que combina dos tipos de pistas: rostros y cómo camina la gente (marcha).

La configuración fue diseñada para imitar un cruce fronterizo real, pero con un giro. Imagina a un viajero llegando a una estación. Primero, se toma una selfie con su propio teléfono. Esta es la fase de "Pre-inscripción": una foto clara y de alta calidad de quién es. Luego, el viajero camina hacia afuera por un sendero. Mientras camina, es filmado desde dos ángulos diferentes: uno desde el nivel del suelo (como un guardia de seguridad parado cerca) y otro desde el tercer piso de un edificio (como una cámara montada en lo alto de un poste). Camina por este sendero hasta 100 metros de distancia de las cámaras.

Los investigadores no solo hicieron que los viajeros caminaran normalmente. Para que fuera una verdadera prueba, añadieron "caos". Los participantes caminaron mientras hablaban por teléfono, cargaban una mochila, usaban una chaqueta diferente o simplemente caminaban normalmente. Hicieron esto en dos días diferentes, con semanas de diferencia, para ver si la computadora aún podía reconocerlos cuando su cabello cambiaba o el clima era lluvioso en lugar de soleado. En total, grabaron a 70 personas, creando alrededor de 2.7 TB de datos de video e imagen.

La Gran Prueba: ¿Qué pasó?

Los investigadores tomaron las computadoras más avanzadas de reconocimiento facial y de marcha (llamadas "modelos") y las lanzaron a estos datos desordenados y realistas. Esto es lo que descubrieron:

1. La magia del "Zoom" vs. la realidad del "Desenfoque"
Cuando las cámaras usaron un zoom óptico potente para obtener una imagen clara y de alta calidad desde 100 metros de distancia, las computadoras fueron fantásticas. Podían identificar a las personas con una precisión muy alta, casi como si la persona estuviera parada justo frente a ellas. Sin embargo, en el momento en que quitaron el zoom y usaron el lente normal de la cámara, los resultados fueron un desastre.

• Sin el zoom, el rostro de una persona a 100 metros medía solo unos 18 por 22 píxeles. ¡Eso es más pequeño que una estampilla!
• En este modo de baja calidad, las mejores computadoras lucharon por distinguir entre una persona real y un extraño. Su precisión cayó tanto que apenas eran mejores que adivinar.
• Curiosamente, los investigadores descubrieron que modelos computacionales más simples y ligeros (como EdgeFace) a veces funcionaban mejor que los masivos y complejos. Parece que los modelos enormes se confunden con la falta de detalle, mientras que los más pequeños son más flexibles.

2. La sorpresa de "Caminar hacia la Cámara"
Los investigadores también probaron qué sucede cuando una persona camina desde los 100 metros de distancia hasta llegar a los 3 metros.

• En el extremo lejano (100 m), las computadoras estaban casi ciegas.
• A medida que la persona se acercaba, las computadoras mejoraban, pero la mejora no era fluida. Incluso cuando la persona estaba relativamente cerca, si el sistema de seguridad estaba configurado para ser muy estricto (para evitar falsas alarmas), las computadoras aún fallaban al reconocer a muchas personas.
• Esto demostró que simplemente esperar a que alguien se acerque no es una solución perfecta; el sistema necesita ser lo suficientemente robusto para manejar también los momentos de desenfoque.

3. El rompecabezas de la caminata (Marcha)
Reconocer cómo camina alguien se supone que es un plan de respaldo cuando los rostros están demasiado borrosos. Pero la prueba de GaitFace mostró que esto también es muy difícil.

• Cuando el ángulo de la cámara cambió (del suelo al tercer piso) o cuando la persona cambió de ropa o cargó un bolso, las computadoras se confundieron mucho.
• Los mejores modelos solo obtuvieron entre un 20% y un 28% de acierto en los escenarios más fáciles, y el rendimiento cayó aún más bajo cuando las condiciones fueron difíciles.
• Los investigadores encontraron que los modelos entrenados con videos limpios y de corta distancia (como personas caminando en un estudio) fallaron estrepitosamente al enfrentarse a los videos desordenados y de larga distancia de GaitFace.

Por qué esto importa

El artículo no afirma haber resuelto el problema. En cambio, actúa como un reflector, mostrándonos exactamente dónde es débil la tecnología actual. Demuestra que, si bien tenemos un reconocimiento facial increíble para fotos de primer plano, no estamos listos para el mundo real de la vigilancia a larga distancia. Las "vulnerabilidades" expuestas aquí significan que, si dependemos de estos sistemas para el control fronterizo hoy en día, podríamos perder personas o cometer errores.

Los autores sugieren que el futuro reside en combinar las dos pistas —rostro y marcha— de modo que, si el rostro está demasiado borroso, el patrón de caminata pueda ayudar, y viceversa. Pero por ahora, GaitFace es un estándar de comparación duro y honesto. Dice a los investigadores: "Aquí está el verdadero desafío. Sus herramientas actuales aún no son lo suficientemente buenas. Vayan y construyan algo mejor". Al hacer estos datos públicos, los autores esperan inspirar una nueva generación de sistemas de seguridad más inteligentes y resistentes que puedan manejar la realidad desordenada del mundo exterior.