Label-Efficient Transfer Learning for Human Action Recognition Using Pretrained VideoMAE

No mundo da visão computacional, ensinar máquinas a compreender o movimento humano tem sido um quebra-cabeça de imensa complexidade. Durante décadas, pesquisadores tentaram construir sistemas que pudessem assistir a um vídeo e identificar o que uma pessoa está fazendo, seja um saque de tênis, um aperto de mão ou uma queda. As tentativas iniciais baseavam-se em regras manuais, onde engenheiros definiam manualmente como o movimento parecia, mas esses sistemas frequentemente falhavam quando o ângulo da câmera mudava ou o fundo se tornava desordenado. O campo mudou quando o aprendizado profundo chegou, permitindo que os computadores aprendessem esses padrões diretamente de dados de vídeo brutos. No entanto, essa nova abordagem veio com um preço elevado: exigia quantidades massivas de vídeo rotulado, onde humanos assistiam meticulosamente a horas de filmagens e marcavam cada ação. Esse processo é lento, caro e muitas vezes impossível para tarefas especializadas onde os especialistas são escassos. Para resolver isso, cientistas voltaram-se para o aprendizado autossupervisionado, um método onde um computador aprende a partir de vastos oceanos de vídeos não rotulados ao tentar prever partes ausentes da imagem, efetivamente ensinando a si mesmo a estrutura do movimento sem ajuda humana. A questão que permanece é se esses sistemas autossupervisionados estão verdadeiramente prontos para o mundo real, onde os dados rotulados são frequentemente limitados, ou se ainda precisam de uma mão pesada de supervisão humana para funcionar corretamente.

Um pesquisador do Instituto de Tecnologia Siddaganga, na Índia, partiu para responder a essa questão testando um tipo específico de modelo autossupervisionado chamado VideoMAE. Imagine um estudante que leu todos os livros de uma biblioteca, mas nunca fez uma prova; o pesquisador queria ver quão bem esse estudante conseguiria responder a perguntas de exame se recebesse apenas algumas respostas de amostra para estudar. Em seu estudo, eles usaram um modelo VideoMAE pré-treinado, que já havia aprendido a entender vídeo ao reconstruir seções mascaradas de milhares de clipes não rotulados. Eles congelaram o "cérebro" deste modelo para que ele não pudesse aprender nada novo e anexaram um classificador simples e leve no topo. Essa configuração permitiu que testassem a compreensão bruta de ação humana do modelo, alimentando-o com diferentes quantidades de dados de treinamento rotulados, variando de uma fração minúscula ao conjunto de dados completo. Eles testaram essa abordagem em dois benchmarks bem conhecidos para o reconhecimento de ação humana: o UCF101, que contém um conjunto diversificado de esportes e atividades cotidianas, e o HMDB51, uma coleção mais difícil de clipes de filmes e bancos de dados públicos que apresenta movimentos de câmera complexos e fundos variados.

Os resultados revelaram um caminho claro e prático para o uso desses modelos avançados. Quando o pesquisador deu ao sistema apenas dez por cento dos dados rotulados disponíveis, ele ainda conseguiu identificar ações com uma precisão notável. No conjunto de dados UCF101, o modelo alcançou uma taxa de reconhecimento de quase oitenta e oito por cento com apenas essa pequena fatia de exemplos rotulados. À medida que aumentavam a quantidade de dados rotulados para vinte e cinco por cento e depois para cinquenta por cento, a precisão subia constantemente, atingindo mais de noventa e dois por cento quando o conjunto de dados completo era utilizado. A descoberta mais significativa, entretanto, não foi apenas que o modelo funcionava com poucos dados, mas que os benefícios de adicionar mais dados começavam a diminuir rapidamente. Uma vez que o sistema tinha acesso a metade das amostras de treinamento rotuladas, adicionar a metade restante produzia apenas uma melhoria muito pequena no desempenho. Isso sugere que o pré-treinamento autossupervisionado já havia capturado a grande maioria da informação visual e temporal necessária para entender o movimento humano, deixando ao simples classificador muito pouco trabalho para se adaptar à tarefa específica.

A história foi ligeiramente diferente, porém igualmente reveladora, quando o pesquisador testou o conjunto de dados mais difícil, o HMDB51. Como esses vídeos eram mais desordenados, com câmeras instáveis e fundos complexos, o modelo começou com uma precisão inferior de cerca de cinquenta e dois por cento usando apenas dez por cento dos rótulos. No entanto, conforme adicionavam mais dados rotulados, o sistema melhorava de forma muito mais dramática do que no conjunto de dados mais fácil, atingindo eventualmente uma precisão de mais de sessenta e três por cento com supervisão total. Isso indicou que, embora a base autossupervisionada fosse forte, quanto mais caótico e complexo fosse o ambiente do mundo real, mais valiosos se tornavam alguns exemplos rotulados extras. Mesmo assim, o sistema ainda alcançou um alto nível de desempenho com apenas metade dos dados, provando que o modelo autossupervisionado havia aprendido uma representação robusta de ação que poderia lidar com uma grande variedade visual sem precisar de um guia manual completo.

Além das pontuações finais, o pesquisador observou de perto como o sistema aprendia e os recursos que consumia. Eles descobriram que o processo de treinamento era estável e previsível em todos os níveis de supervisão, com o modelo convergindo suavemente sem comportamento errático. Em termos de poder computacional, a abordagem foi altamente eficiente. Como a parte principal do modelo estava congelada e apenas a pequena camada superior estava sendo treinada, a quantidade de memória do computador necessária permaneceu quase constante, independentemente de quanta quantidade de dados rotulados era usada. O tempo levado para treinar aumentou com mais dados, simplesmente porque o computador tinha que processar mais exemplos, mas a pegada de memória não cresceu. Isso significa que o método é escalável e não exige atualizações de hardware caras apenas para lidar com um conjunto de dados maior. O estudo também examinou quais ações o modelo errou, encontrando que os erros estavam concentrados principalmente em movimentos visualmente semelhantes, uma limitação natural ao distinguir variações sutis no movimento humano.

Em última análise, este trabalho demonstra que a era de precisar de conjuntos de dados de vídeo massivos e perfeitamente rotulados para cada nova aplicação pode estar chegando ao fim. O pesquisador mostrou que um modelo treinado em vídeo não rotulado pode servir como uma base poderosa para reconhecer ações humanas, exigindo apenas uma fração do esforço de rotulagem manual para alcançar alto desempenho. As descobertas sugerem que, para muitas aplicações práticas, como monitorar a segurança em fábricas ou analisar técnicas esportivas, as organizações podem confiar nesses sistemas pré-treinados para entregar resultados precisos sem o custo proibitivo de anotar cada quadro de vídeo. Embora os conjuntos de dados mais difíceis ainda se beneficiem de exemplos rotulados adicionais, a capacidade central já está presente no modelo autossupervisionado, oferecendo uma solução prática e eficiente em recursos para trazer a compreensão inteligente de vídeo para o mundo real.