GaitFace: A Multimodal Dataset for Long-Range Person Identification

Imagine que você está tentando reconhecer um amigo em um festival de música lotado. Se ele estiver parado bem ao seu lado, você consegue ver o sorriso dele, a cor dos olhos e a maneira como ele inclina a cabeça. É assim que a maioria da tecnologia de "reconhecimento facial" funciona hoje: ela precisa de uma foto clara e de perto para ter certeza de quem você é. Mas e se o seu amigo estiver a 300 pés de distância, atrás de uma cerca, e o ar estiver nebuloso? De repente, o rosto dele é apenas um borrão minúsculo e sem nitidez. No mundo da segurança e do controle de fronteiras, isso é uma dor de cabeça enorme. As câmeras de segurança muitas vezes precisam observar pessoas de longe, onde a qualidade da imagem é terrível, o clima é ruim e a pessoa pode estar andando, carregando uma bolsa ou usando uma jaqueta diferente do habitual. Os cientistas chamam isso de "identificação de pessoas de longo alcance". Eles também observam como as pessoas caminham, conhecido como "marcha" (gait), porque mesmo que você não consiga ver um rosto claramente, a maneira como alguém move as pernas pode, às vezes, denunciá-la. A grande questão é: os computadores ainda conseguem distinguir quem é quem quando a imagem é granulada, a distância é enorme e a pessoa está se movendo?

Este artigo apresenta uma nova ferramenta chamada GaitFace, que é como uma academia de treinamento gigante e realista para programas de computador que tentam identificar pessoas de longe. Os pesquisadores construíram um conjunto de dados especial (uma coleção de dados) para testar o quão bem a tecnologia atual lida com esses cenários difíceis, "no mundo real". Eles descobriram que, embora nossos melhores modelos de computador sejam ótimos em reconhecer rostos quando se tem uma foto de alta qualidade e aproximada, eles basicamente "quebram e queimam" quando a imagem é de baixa resolução e tirada de uma distância considerável. Ainda mais surpreendente, os modelos que costumam ser os mais "inteligentes" e complexos frequentemente falham da pior forma nessas condições, enquanto alguns modelos mais simples e leves na verdade resistem um pouco melhor. O artigo também mostra que os padrões de caminhada (marcha) são incrivelmente difíceis de reconhecer de longe quando as roupas ou acessórios da pessoa mudam. O ponto principal é que ainda não temos uma solução perfeita; os sistemas atuais são muito frágeis quando a visão é ruim, e precisamos de uma tecnologia muito melhor para fazer a segurança de fronteiras e a vigilância funcionarem de forma confiável sem precisar de fotos perfeitas e de perto.

A História do GaitFace

Pense no estado atual das câmeras de segurança como um detetive tentando resolver um mistério usando apenas um instantâneo borrado. Os autores deste artigo decidiram construir uma "caixa de mistério" de dados para ver exatamente o quão ruim é o borrão e como nossos detetives digitais lidam com isso. Eles criaram o GaitFace, um conjunto de dados público que combina dois tipos de pistas: rostos e como as pessoas caminham (marcha).

A configuração foi projetada para imitar uma passagem de fronteira real, mas com um toque especial. Imagine um viajante chegando a uma estação. Primeiro, ele tira uma selfie com seu próprio telefone. Esta é a fase de "Pré-Inscrição" — uma foto clara e de alta qualidade de quem ele é. Em seguida, o viajante caminha do lado de fora em um caminho. Enquanto caminha, ele é filmado de dois ângulos diferentes: um do nível do solo (como um guarda de segurança parado por perto) e outro do terceiro andar de um edifício (como uma câmera montada no alto de um poste). Ele percorre este caminho até 100 metros de distância das câmeras.

Os pesquisadores não fizeram os viajantes apenas caminharem normalmente. Para tornar isso um teste real, eles adicionaram "caos". Os participantes caminharam enquanto falavam ao telefone, carregavam uma mochila, usavam uma jaqueta diferente ou apenas caminhavam normalmente. Eles fizeram isso em dois dias diferentes, com semanas de intervalo, para ver se o computador ainda conseguiria reconhecê-los quando o cabelo mudasse ou o tempo estivesse chuvoso em vez de ensolarado. No total, eles gravaram cerca de 2,7 TB de dados de vídeo e imagem de 70 pessoas.

O Grande Teste: O Que Aconteceu?

Os pesquisadores pegaram os computadores de reconhecimento de rosto e de marcha mais avançados (chamados de "modelos") e os lançaram nesses dados bagunçados e realistas. Aqui está o que eles descobriram:

1. A Magia do "Zoom" vs. A Realidade do "Borrão"
Quando as câmeras usaram um zoom óptico potente para obter uma imagem clara e de alta qualidade a 100 metros de distância, os computadores foram fantásticos. Eles consegiam identificar as pessoas com uma precisão muito alta, quase como se a pessoa estivesse parada bem à frente deles. No entanto, no momento em que tiraram o zoom e usaram a lente normal da câmera, os resultados foram um desastre.

• Sem o zoom, o rosto de uma pessoa a 100 metros de distância tinha apenas cerca de 18 por 22 pixels. Isso é menor que um selo postal!
• Neste modo de baixa qualidade, os melhores computadores lutaram para distinguir a diferença entre uma pessoa real e um estranho. Sua precisão caiu tanto que mal eram melhores do que um palpite.
• Curiosamente, os pesquisadores descobriram que modelos de computador mais simples e leves (como o EdgeFace) às vezes tiveram um desempenho melhor do que os modelos massivos e complexos. Parece que os modelos enormes ficam confusos com a falta de detalhes, enquanto os menores são mais flexíveis.

2. A Surpresa de "Caminhar em Direção à Câmera"
Os pesquisadores também testaram o que acontece quando uma pessoa caminha de 100 metros até chegar a 3 metros de distância.

• Na extremidade mais distante (100m), os computadores estavam quase cegos.
• À medida que a pessoa se aproximava, os computadores melhoravam, mas a melhora não era suave. Mesmo quando a pessoa estava relativamente perto, se o sistema de segurança fosse configurado para ser muito rigoroso (para evitar alarmes falsos), os computadores ainda falhavam em reconhecer muitas pessoas.
• Isso mostrou que simplesmente esperar que alguém chegue mais perto não é uma solução perfeita; o sistema precisa ser robusto o suficiente para lidar com os momentos de borrão também.

3. O Quebra-Cabeça da Caminhada (Marcha)
Reconhecer como alguém caminha deveria ser um plano de reserva quando os rostos estão muito borrados. Mas o teste GaitFace mostrou que isso também é muito difícil.

• Quando o ângulo da câmera mudava (do solo para o 3º andar) ou quando a pessoa mudava de roupa ou carregava uma bolsa, os computadores ficavam muito confusos.
• Os melhores modelos acertaram apenas cerca de 20% a 28% nos cenários mais fáceis, e o desempenho caiu ainda mais quando as condições eram difíceis.
• Os pesquisadores descobriram que modelos treinados em vídeos limpos e de curta distância (como pessoas caminhando em um estúdio) falharam miseravelmente quando confrontados com os vídeos bagunçados e de longa distância do GaitFace.

Por Que Isso Importa

O artigo não afirma ter resolvido o problema. Em vez disso, ele atua como um holofote, mostrando exatamente onde a tecnologia atual é fraca. Ele prova que, embora tenhamos um reconhecimento facial incrível para fotos de perto, não estamos prontos para o mundo real da vigilância de longa distância. As "vulnerabilidades" expostas aqui significam que, se dependermos desses sistemas para o controle de fronteiras hoje, podemos deixar pessoas passarem ou cometer erros.

Os autores sugerem que o futuro reside na combinação das duas pistas — rosto e marcha — para que, se o rosto estiver muito borrado, o padrão de caminhada possa ajudar, e vice-versa. Mas, por enquanto, o GaitFace serve como um parâmetro rigoroso e honesto. Ele diz aos pesquisadores: "Aqui está o desafio real. Suas ferramentas atuais ainda não são boas o suficiente. Construam algo melhor". Ao tornar esses dados públicos, os autores esperam inspirar uma nova geração de sistemas de segurança mais inteligentes e resistentes que possam lidar com a realidade caótica do mundo exterior.