Towards smart and adaptive agents for active sensing on edge devices

Imagine uma câmera que não apenas grava o mundo, mas escolhe ativamente o que observar, de forma muito semelhante ao olho humano que se move rapidamente de um detalhe para outro para construir uma imagem completa. Este é o reino da percepção ativa, um conceito onde as máquinas não esperam passivamente pelos dados, mas movem seus sensores para coletar a informação mais útil. Durante anos, o sonho tem sido colocar esse tipo de comportamento inteligente e adaptável em dispositivos pequenos, alimentados por bateria, que fiquem exatamente onde a ação acontece, como em uma câmera de segurança ou um robô, sem a necessidade de enviar dados para um servidor remoto na nuvem. O desafio era que os sistemas de inteligência artificial poderosos capazes disso geralmente exigem quantidades massivas de poder computacional e memória, tornando impossível executá-los nesses dispositivos pequenos e locais.

Uma equipe de pesquisadores construiu agora um sistema que preenche essa lacuna, criando um agente inteligente que pode ver, planejar e mover uma câmera em tempo real enquanto roda em um dispositivo não maior que uma pequena placa de computador. Publicado em um estudo recente, este trabalho demonstra que é possível combinar duas abordagens diferentes de inteligência artificial: uma que é excelente em reconhecer objetos em imagens, e outra que é excelente em tomar decisões sob incerteza. O resultado é um "agente de sacadas", nomeado em homenagem aos movimentos oculares rápidos e bruscos que os humanos fazem para focar em detalhes, que pode controlar uma câmera para rastrear pessoas ou explorar uma sala autonomamente. O sistema roda inteiramente no dispositivo de borda, o que significa que processa tudo localmente, garantindo reações rápidas e mantendo a privacidade dos dados.

Os pesquisadores enfrentaram um problema específico: os modelos padrão de aprendizado profundo (deep learning), que são muito bons em identificar coisas como pessoas ou carros em um feed de vídeo, são rígidos. Uma vez treinados, eles têm dificuldade em se adaptar se o ambiente mudar ou se precisarem decidir para onde olhar a seguir para encontrar algo novo. Eles dependem de enormes quantidades de dados e poder de computação para aprender, o que é o oposto do que um dispositivo pequeno e de baixa potência precisa. Para resolver isso, a equipe não tentou tornar o modelo de aprendizado profundo maior ou mais inteligente. Em vez disso, adicionaram uma segunda camada de inteligência sobre ele, baseada em um princípio chamado inferência ativa. Essa abordagem trata o agente como um cientista que atualiza constantemente suas crenças sobre o mundo. Ele pergunta: "O que eu espero ver?" e "O que me surpreenderia?". Se a câmera não vê nada de novo, o agente decide se mover para um lugar diferente para aprender mais. Se vê algo interessante, como uma pessoa, ele foca nela. Esse processo de tomada de decisão é incrivelmente leve, exigindo muito pouca memória, o que permite que ele rode junto com o software de detecção de objetos, que é mais pesado.

Para testar essa ideia, a equipe construiu um protótipo físico usando um dispositivo NVIDIA Jetson, um computador poderoso projetado para tarefas de inteligência artificial na borda. Eles conectaram este dispositivo a uma câmera que podia girar e inclinar, semelhante às câmeras de segurança encontradas em muitos edifícios. O sistema recebeu uma tarefa simples, mas poderosa: observar uma cena e decidir para onde apontar a lente. A primeira parte do sistema, o módulo de percepção, usou uma ferramenta de detecção de objetos bem conhecida chamada YOLO para escanear o feed de vídeo e encontrar pessoas ou objetos. Esta ferramenta foi otimizada para rodar rapidamente no hardware do dispositivo. A segunda parte, o módulo de planejamento, pegou a lista de coisas que a câmera viu e usou a inferência ativa para decidir o próximo movimento. Ela calculou em qual direção a câmera deveria girar para manter o olhar em uma pessoa ou para escanear uma área vazia para ver se algo novo aparecia.

Os resultados mostraram que essa combinação funcionou muito bem dentro dos limites rigorosos do hardware. Todo o sistema, incluindo o software necessário para operá-lo, coube em uma pegada de memória de apenas 304 megabytes, o que é minúsculo para um sistema de inteligência artificial. Em uma configuração, a câmera podia processar vídeo e tomar uma decisão sobre para onde olhar a seguir 108 vezes por segundo, uma velocidade rápida o suficiente para parecer instantânea para um observador humano. Em outra configuração, o sistema priorizou a velocidade em vez da memória, alcançando 45 quadros de análise de vídeo por segundo enquanto tomava decisões 250 vezes por segundo. Os pesquisadores descobriram que o tempo levado para tomar uma decisão era tão curto que o sistema conseguia facilmente acompanhar o feed de vídeo, permitindo que a câmera seguisse alvos em movimento de forma suave ou percorresse uma sala sem atraso (lag).

O que torna esta conquista significativa não é apenas o fato de a câmera ter se movido, mas como ela se moveu. O agente não seguiu um caminho pré-programado. Em vez disso, ele reagiu ao ambiente em tempo real. Se uma pessoa entrasse no quadro, a câmera focaria nela. Se a pessoa se movesse, a câmera a seguiria. Se a pessoa saísse e a sala ficasse vazia, o agente decidiria escanear o resto da sala para ver se algo mais estava acontecendo. Esse comportamento imita a maneira como os humanos exploram naturalmente seus arredores, equilibrando a necessidade de focar no que é importante com a necessidade de manter a consciência de todo o cenário. Os pesquisadores demonstraram isso com uma câmera montada em um pequeno robô, mostrando que o sistema poderia ajudar uma máquina a explorar um novo ambiente e coletar informações de forma eficiente, sem intervenção humana.

O estudo também testou cuidadosamente diferentes maneiras de executar o software no hardware para encontrar o melhor equilíbrio entre velocidade e uso de memória. Eles descobriram que o uso de ferramentas específicas projetadas para o processador gráfico do dispositivo permitia que o sistema rodasse muito mais rápido do que usando métodos padrão. No entanto, também descobriram que, para a parte de tomada de decisão do sistema, que é muito pequena, tentar rodá-la no poderoso processador gráfico na verdade a tornava mais lenta, porque o custo operacional (overhead) de gerenciar a tarefa era maior do que o benefício do poder extra. Essa descoberta destaca a importância de combinar as ferramentas de software certas com o hardware adequado, um passo crucial para tornar esses sistemas práticos para o uso no mundo real.

Este trabalho sugere que o futuro dos dispositivos inteligentes não requer necessariamente supercomputadores massivos baseados na nuvem. Ao combinar uma capacidade robusta de ver com uma capacidade leve de planejar, é possível criar agentes que sejam ao mesmo tempo inteligentes e eficientes. Os pesquisadores mostraram que esses sistemas podem operar de forma independente, tomando decisões de milésimos de segundo para coletar informações em ambientes complexos e em constante mudança. Embora o sistema atual foque no controle de uma câmera, os mesmos princípios poderiam ser aplicados a outras tarefas, como ajudar um robô a navegar em uma sala lotada ou um drone a procurar por uma pessoa desaparecida. O estudo conclui que a inferência ativa oferece um caminho promissor para a criação de máquinas adaptáveis e eficientes em recursos, que possam lidar com a imprevisibilidade do mundo real, trazendo o poder da percepção inteligente diretamente para a borda.