Skeleton-based Zero-Shot Spatio-Temporal Action Localization via Weakly-Supervised Pretraining

No mundo da visão computacional, ensinar máquinas a compreender o movimento humano é um desafio fundamental com implicações profundas para a robótica, segurança e vigilância automatizada. Durante décadas, pesquisadores confiaram em duas estratégias principais para resolver este enigma. A primeira estratégia observa a cena inteira, analisando cores, iluminação e o plano de fundo para adivinhar o que está acontecendo. A segunda estratégia ignora completamente o cenário, focando apenas no esqueleto móvel de uma pessoa — a disposição específica de articulações e membros. Embora a primeira abordagem seja intuitiva, ela frequentemente falha quando o fundo muda ou quando a iluminação é precária. A segunda abordagem, que rastreia o esqueleto, é muito mais robusta contra essas mudanças ambientais, mas historicamente sofreu de um problema diferente: exige uma enorme quantidade de trabalho humano para ser ensinada. Para treinar um computador para reconhecer uma ação específica, como uma pessoa caindo ou lutando, os pesquisadores tradicionalmente tinham que desenhar meticulosamente caixas ao redor de cada pessoa em cada um dos quadros de milhares de vídeos e rotular exatamente o que elas estavam fazendo. Esse processo é tão caro e demorado que limita a capacidade de ensinar novas ações aos computadores rapidamente.

Uma equipe de pesquisadores desenvolveu agora um novo método que contorna esse pesado fardo da rotulagem manual, permitindo que os computadores aprendam a detectar novas ações sem ver sequer um exemplo delas previamente. A abordagem deles, detalhada em um estudo recente, introduz um sistema que aprende a partir de descrições gerais de vídeos, em vez de anotações quadro a quadro. Em vez de ser informado que "esta pessoa está socando neste segundo exato", o sistema é treinado em vídeos inteiros com rótulos de texto simples que descrevem a atividade geral, como "jogar golfe" ou "dirigir". Ao usar uma técnica que alinha os dados visuais de esqueletos humanos com as descrições textuais de ações, o sistema aprende uma linguagem universal de movimento. Uma vez treinado, ele pode observar um vídeo contendo pessoas realizando uma ação que nunca viu antes e identificar com precisão tanto quem a está realizando quanto o que estão fazendo. Os pesquisadores demonstraram que este método não apenas iguala a precisão de sistemas treinados com quantidades massivas de rótulos detalhados, mas também se mostra significativamente mais resiliente quando a qualidade do vídeo é ruim ou o fundo está desordenado.

O cerne desta inovação reside em uma mudança inteligente na forma como o computador processa informações, um mecanismo que os autores chamam de Skeleton-Language feature Pooling Switching (Troca de Agrupamento de Características Esqueleto-Linguagem). Imagine um sistema que primeiro aprende a entender o humor geral de uma sala ouvindo um resumo da conversa e, depois, quando solicitado a identificar um falante específico, muda seu foco para ouvir vozes individuais. Na fase de treinamento, o computador observa um vídeo e reúne todos os dados do esqueleto de todas as pessoas no clipe em um único resumo. Ele então compara esse resumo com o rótulo de texto fornecido para o vídeo inteiro. Isso permite que o sistema aprenda a conexão entre um tipo de movimento e uma palavra sem precisar saber exatamente quem está se movendo ou quando. No entanto, quando o sistema passa para a fase de teste, ele muda de marcha. Ele deixa de olhar para o vídeo como um todo e, em vez disso, isola o esqueleto de cada pessoa individualmente. Como já aprendeu a conexão entre padrões de movimento e palavras durante a fase de treinamento, ele pode agora olhar para o esqueleto de uma única pessoa e perguntar: "Isso se parece com a descrição textual de 'socar'?". Essa troca permite que o sistema identifique ações específicas para pessoas específicas sem nunca ter sido mostrado um vídeo onde aquelas pessoas específicas fossem rotuladas.

Para fazer isso funcionar em cenas complexas onde várias pessoas se movem ao mesmo tempo, os pesquisadores tiveram que resolver um problema difícil: como ensinar o computador a distinguir entre diferentes pessoas quando ele recebe apenas um rótulo para o vídeo inteiro. Se um vídeo mostra uma pessoa correndo e outra caminhando, e o rótulo é apenas "exercício", o computador pode ficar confuso sobre qual movimento pertence a qual rótulo. Para corrigir isso, a equipe introduziu uma técnica chamada Scene-Mixed Discriminative Contrastive Learning (Aprendizado Contrastivo Discriminativo de Cena Misturada). Este método pega trechos de diferentes vídeos e os mistura artificialmente durante o processo de treinamento. Ao criar um ambiente caótico onde múltiplas ações acontecem lado a lado, o sistema é forçado a aprender as sutis diferenças entre elas. Ele aprende a distinguir que o movimento de uma pessoa correndo é distinto do movimento de uma pessoa pulando, mesmo quando aparecem no mesmo contexto misturado. Isso garante que, quando o sistema encontrar um vídeo real com várias pessoas, possa atribuir com confiança a ação correta ao indivíduo correto.

Os resultados desta abordagem foram testados contra vários conjuntos de dados padrão usados para avaliar o quão bem os computadores podem encontrar e rotular ações em vídeos. Em um conjunto de dados contendo vinte e quatro ações diferentes, o novo método alcançou uma precisão de 34,1 por cento, superando métodos fracamente supervisionados anteriores que dependiam de treinamentos menos sofisticados. Mais impressionante ainda, ao ser testado em um conjunto de dados projetado especificamente para rastrear pessoas caindo, o novo sistema atingiu uma precisão de 73,3 por cento, superando significativamente os métodos existentes que dependem do rastreamento das posições das pessoas ao longo do tempo. Os pesquisadores também descobriram que seu sistema é muito mais robusto à má qualidade do vídeo. Quando os vídeos de entrada estavam borrados ou com quadros ausentes, o desempenho dos sistemas que dependem da aparência visual caiu drasticamente, enquanto o sistema baseado em esqueleto manteve sua alta precisão. Isso sugere que, ao focar na estrutura do corpo em vez do aspecto da cena, o sistema pode funcionar de forma confiável em condições do mundo real, onde as câmeras podem estar instáveis ou a iluminação pode estar fraca.

Outra descoberta crítica foi a eficiência do sistema. Embora muitos modelos modernos de inteligência artificial que podem compreender vídeo e texto exijam bilhões de parâmetros e um poder computacional massivo para rodar, este novo método opera com um modelo contendo apenas cerca de 70 milhões de parâmetros. Apesar de ser muito menor, alcançou uma precisão de 84,0 por cento em um conjunto de dados de ações violentas, superando modelos muito maiores e mais complexos. Além disso, o sistema é incrivelmente rápido, processando vídeo a uma taxa de aproximadamente 1900 quadros por segundo, o que é cerca de 240 vezes mais rápido do que alguns dos grandes modelos de linguagem usados para tarefas semelhantes. Esta combinação de alta precisão, baixo custo computacional e a capacidade de aprender novas ações sem retreinamento caro sugere um caminho prático para a implementação de sistemas de vigilância inteligente e robóticos que possam se adaptar a novas situações sem exigir uma equipe de humanos para passar semanas rotulando dados.

O estudo conclui que, ao mudar o foco da rotulagem cara quadro a quadro para um processo de aprendizado mais flexível guiado por texto, é possível construir sistemas que compreendem a ação humana com um nível de sofisticação anteriormente reservado a modelos fortemente supervisionados. Os pesquisadores demonstraram que é viável treinar um computador para reconhecer ações não vistas ao ensinar-lhe a relação entre movimentos corporais e linguagem, em vez de forçá-lo a memorizar cada variação possível de um evento específico. Esta abordagem não apenas reduz o custo e o tempo necessários para desenvolver novos sistemas de reconhecimento de ação, mas também cria modelos que são mais robustos e adaptáveis à natureza desordenada e imprevisível do mundo real. À medida que a tecnologia amadurece, ela poderá permitir uma nova geração de aplicações que monitoram a segurança, auxiliam na análise esportiva ou guiam robôs, tudo isso sem o custo proibitivo da anotação manual de dados que há muito tempo é um gargalo no campo.