B-REAL: A keypoint-less behavior platform for offline classification and real-time detection

Para entender como o cérebro funciona, os cientistas devem primeiro entender o que o animal que ele controla está realmente fazendo. Durante décadas, o padrão ouro para medir o comportamento animal foi um observador humano assistindo a gravações de vídeo, pausando e retrocedendo para anotar cada movimento, desde um camundongo farejando um canto até uma mosca atacando outra. Este método é flexível e interpretável, mas é incrivelmente lento e propenso ao erro humano. Nos últimos anos, os computadores começaram a assumir essa tarefa, mas basearam-se majoritariamente em um processo de duas etapas que cria seus próprios gargalos. Primeiro, um programa de computador deve ser treinado para encontrar pontos específicos no corpo de um animal, como a ponta de um nariz ou uma articulação em uma perna, um processo que exige milhares de horas de rotulagem humana. Segundo, o computador usa esses pontos para adivinhar qual comportamento está ocorrendo. Essa abordagem é lenta para configurar, frequentemente falha quando animais bloqueiam a visão uns dos outros e costuma ser lenta demais para reagir no momento. Se um pesquisador deseja dar uma recompensa a um camundongo no instante em que ele se limpa, ou interromper um experimento no momento em que um movimento específico ocorre, o computador deve ser rápido o suficiente para ver a ação e decidir o que fazer antes mesmo de o vídeo terminar de ser gravado.

Uma equipe de pesquisadores da Universidade Carnegie Mellon desenvolveu um novo sistema chamado B-REAL que elimina o intermediário completamente. Em vez de tentar mapear o esqueleto de um animal, este sistema olha diretamente para os pixels brutos do vídeo e aprende a reconhecer o comportamento instantaneamente. O resultado é uma ferramenta que pode classificar o que um animal está fazendo mais rápido do que a câmera consegue tirar a próxima imagem, mesmo em hardware de computador padrão. Essa velocidade permite um novo tipo de experimento, onde o comportamento do animal pode desencadear mudanças imediatas em seu ambiente, como a entrega de uma gota de água ou um lampejo de luz, enquanto o comportamento ainda está acontecendo. Os pesquisadores mostraram que este método funciona com muito menos dados de treinamento do que os sistemas anteriores, consegue detectar movimentos fugazes que duram apenas uma fração de segundo e pode ser usado para moldar as ações naturais do animal em tempo real.

O cerne desta nova abordagem é uma mudança na forma como o computador processa o vídeo. Os métodos tradicionais tratam um vídeo como uma série de imagens estáticas, primeiro encontrando partes do corpo e depois calculando como essas partes se movem. O B-REAL pula a etapa de busca pelas partes do corpo. Ele pega uma sequência curta de quadros de vídeo e os alimenta diretamente em uma rede neural, um tipo de programa de computador projetado para reconhecer padrões. Para entender o movimento sem rastrear pontos específicos, o sistema utiliza uma técnica que troca pequenas partes de informação entre quadros vizinhos. Imagine uma pilha de fotos onde alguns pixels da foto acima são trocados com a foto de baixo; isso permite que o computador veja como as coisas mudam ao longo do tempo sem precisar saber exatamente onde está uma pata ou uma asa. Como este método não exige que o computador aprenda um mapa complexo do corpo de um animal, ele evita as falhas comuns dos sistemas antigos, como perder o rastro de um animal quando ele está parcialmente escondido ou quando a iluminação muda.

Os pesquisadores testaram este sistema em dois desafios muito diferentes: interações sociais complexas entre camundongos e ataques extremamente rápidos e raros entre moscas-das-frutas. Nos experimentos com camundongos, o sistema aprendeu a distinguir entre atacar, investigar e montar com alta precisão após ver apenas um minuto de vídeo rotulado. Isso é uma melhoria significativa em relação às ferramentas existentes, que frequentemente exigem horas de dados rotulados para atingir um desempenho semelhante. Quando a equipe testou o sistema em moscas-das-frutas, o desafio foi ainda maior. Alguns comportamentos agressivos, como uma mosca avançando contra outra, duram apenas um único quadro de vídeo, o que representa cerca de 33 milissegundos. A maioria dos sistemas de computador perde esses eventos completamente porque faz a média do movimento ao longo de períodos mais longos. O B-REAL, no entanto, detectou esses avanços de frações de segundo com alta precisão, superando outros métodos mesmo quando recebeu muito pouco dado de treinamento. O sistema foi capaz de identificar esses eventos raros porque aprendeu diretamente dos padrões visuais do vídeo, em vez de depender de um conjunto pré-definido de marcos corporais que poderiam não capturar mudanças tão rápidas e sutis.

Talvez a demonstração mais convincente do poder do sistema tenha sido um experimento de circuito fechado onde o computador atuou como um professor. Os pesquisadores configuraram uma situação onde os camundongos recebiam uma recompensa de água adoçada apenas quando o computador detectava que eles estavam limpando a cabeça. O sistema tinha que identificar o comportamento de limpeza e acionar o dispensador de água em uma fração de segundo. Como a detecção foi tão rápida e precisa, os camundongos rapidamente aprenderam a conexão. Ao longo do experimento, a taxa com que os camundongos se limpavam aumentou em 129 por cento. Os animais não apenas se limparam com mais frequência; eles também ajustaram a duração de sua limpeza para corresponder aos requisitos do computador, inclinando-se para períodos de limpeza ligeiramente mais longos para garantir que disparassem a recompensa. Isso prova que o sistema não é apenas um observador passivo, mas um parceiro capaz de moldar o comportamento natural, sendo capaz de reforçar ações específicas conforme elas ocorrem.

Para tornar o sistema ainda mais eficiente, os pesquisadores exploraram uma maneira de dar ao computador uma vantagem inicial sem a necessidade de mais dados rotulados. Eles utilizaram um modelo de vídeo pré-treinado de grande escala que havia aprendido conceitos gerais de movimento a partir de milhares de horas de vídeo não rotulado. Eles transferiram o que esse modelo grande sabia para o sistema menor e mais rápido. Esse processo, conhecido como destilação, permitiu que o sistema aprendesse com apenas 30 segundos de vídeo rotulado o que normalmente levaria de cinco a dez minutos para aprender do zero. Notavelmente, esse pré-treinamento melhorou a capacidade do sistema de reconhecer comportamentos em ângulos de câmera completamente novos, como uma visão de baixo do animal, embora os dados de pré-treinamento incluíssem apenas vistas superiores ou laterais. Isso sugere que o sistema aprendeu uma compreensão profunda de como os animais se movem que se aplica a diferentes configurações, tornando-o altamente adaptável para experimentos futuros.

As implicações deste trabalho estendem-se além da velocidade e precisão. Ao remover a necessidade de rastrear partes do corpo, o sistema pode observar comportamentos que são difíceis de definir apenas pela postura, como um animal interagindo com um objeto específico ou navegando em um ambiente complexo. Isso abre as portas para experimentos onde o computador pode responder ao estado do animal em tempo real, criando um loop dinâmico entre o sujeito e seu ambiente. Embora o estudo atual tenha focado em camundongos e moscas, os princípios aplicam-se amplamente a qualquer situação onde a compreensão do comportamento em tempo real seja crucial. O sistema roda em hardware padrão, o que significa que não requer supercomputadores caros para operar, tornando a análise comportamental avançada acessível a uma gama mais ampla de laboratórios. Em última análise, o B-REAL transforma o comportamento de um registro estático do passado em um sinal vivo que pode ser usado para guiar e compreender o cérebro no momento presente.