Robôs e carros autônomos dependem há muito tempo de câmeras padrão que capturam o mundo como uma câmera de cinema, tirando uma imagem completa de uma cena a cada fração de segundo. Este método funciona bem para muitas coisas, mas cria um fardo pesado de dados, dos quais grande parte é apenas espaço vazio ou fundo inalterado. Um novo tipo de sensor, conhecido como câmera de eventos, opera sob um princípio diferente. Em vez de tirar fotos completas, ele registra apenas mudanças. Quando um pixel no sensor percebe uma mudança de brilho, ele envia um sinal único, ou evento, exatamente naquele momento. Isso significa que a câmera produz um fluxo de sinais isolados que são assíncronos, ocorrendo sempre que algo muda, em vez de em um ritmo fixo. Também significa que os dados são esparsos, contendo apenas a informação sobre onde ocorreu o movimento ou a mudança, deixando o resto da cena silencioso. Embora essa abordagem seja incrivelmente eficiente e rápida, tem sido difícil alimentar o fluxo único desses dados nos modelos de inteligência artificial que os robôs usam para compreender seus arredores.

Por anos, pesquisadores tentaram resolver isso forçando esses sinais assíncronos ao formato antigo e familiar das imagens padrão. Eles agrupavam os eventos em janelas de tempo fixas para criar um quadro, de forma muito semelhante a costurar uma série de instantâneos. No entanto, esse processo destrói justamente as qualidades que tornam as câmeras de eventos especiais. Ao esperar que um tempo fixo se passe antes de criar uma imagem, o sistema perde a capacidade de reagir instantaneamente a mudanças repentinas e, ao preencher os espaços vazios, perde a eficiência de ter apenas os dados relevantes. Uma equipe de pesquisadores da Universidade Técnica da Dinamarca propôs agora um novo caminho a seguir. Eles desenvolveram um novo método chamado Spiking Patches, que trata grupos desses sinais de mudança como unidades únicas de informação, sem forçá-los em uma grade rígida baseada no tempo. Essa abordagem permite que os dados permaneçam assíncronos e esparsos, preservando a velocidade e a eficiência do sensor original, ao mesmo tempo em que os torna compatíveis com os poderosos modelos modernos de IA.

Os pesquisadores projetaram seu sistema observando como os neurônios biológicos funcionam. No cérebro, um neurônio espera até receber sinais suficientes para atingir um certo limiar antes de disparar um impulso. A equipe aplicou essa mesma lógica aos dados da câmera de eventos. Eles dividiram a visão da câmera em uma grade de pequenos quadrados, ou patches. À medida que os eventos chegam, eles se acumulam dentro de cada patch, elevando um potencial virtual. Uma vez que o número de eventos em um patch atinge um limite específico, o patch "dispara", criando um token que representa aquele grupo de eventos. Esse token é então enviado para o modelo de IA para processamento. Crucialmente, esse disparo acontece independentemente para cada patch e no exato momento em que o limiar é atingido, em vez de esperar um relógio bater. Isso significa que o sistema pode reagir a um objeto em movimento rápido no instante em que eventos suficientes se acumulam, sem esperar que um quadro completo seja construído.

Para testar se essa ideia funcionava na prática, a equipe comparou seu Spiking Patches com as duas formas mais comuns de lidar com dados de eventos: quadros padrão e blocos 3D de dados chamados voxels. Eles testaram o método em três tipos diferentes de arquiteturas de IA, incluindo redes projetadas para grafos, nuvens de pontos e transformers, usando tarefas como reconhecimento de gestos manuais e detecção de carros em filmagens de condução. Os resultados foram impressionantes. Em termos de velocidade, o novo método foi significamente mais rápido que as alternativas. Ao reconhecer gestos, o sistema Spiking Patches foi até 3,4 vezes mais rápido que o método de voxels e até 10,4 vezes mais rápido que o método baseado em quadros. Esse aumento de velocidade ocorreu sem sacrificar a precisão; em muitos casos, o novo método foi tão preciso quanto os antigos e, em alguns casos, foi até mais preciso, melhorando o reconhecimento de gestos em até 3,8 pontos percentuais e a detecção de objetos em até 1,4 pontos percentuais.

O estudo também confirmou que o método manteve com sucesso os dados esparsos e assíncronos. Os pesquisadores mediram a rapidez com que o sistema conseguia reunir informações suficientes para reagir a uma cena em comparação com o fluxo bruto de eventos. Eles descobriram que o sistema Spiking Patches podia reagir quase tão rapidamente quanto os eventos brutos, com apenas um pequeno atraso de alguns milissegundos, enquanto os métodos baseados em quadros eram forçados a esperar por um intervalo de tempo fixo, introduzindo um lag muito maior. Além disso, o novo método reduziu a quantidade de dados que o computador precisava processar por um fator de pelo menos 1,5 em comparação com quadros e voxels e, em alguns casos, por centenas de vezes em comparação com o fluxo de eventos brutos. Essa redução no tamanho dos dados é o que permite que o sistema rode muito mais rápido, pois o computador tem menos itens para analisar.

Um dos aspectos mais práticos desta descoberta é que o sistema é rápido o suficiente para lidar com aplicações em tempo real. Os pesquisadores implementaram o processo de tokenização em uma linguagem de programação conhecida por sua velocidade e descobriram que o sistema conseguia gerar tokens mais rápido do que novos eventos chegavam à câmera. Isso significa que o sistema pode acompanhar o fluxo de informações em cenários do mundo real, como um carro dirigindo em uma rodovia, sem ficar para trás. A equipe também explorou como diferentes configurações afetavam o desempenho, descobrindo que poderiam ajustar a sensibilidade do sistema para fazer uma troca entre o número de tokens gerados e a precisão do resultado. Por exemplo, ao introduzir uma pausa breve após um patch disparar, eles puderam reduzir o número de tokens em quatro vezes mantendo a precisão quase a mesma.

Embora os resultados sejam promissores, os pesquisadores observam que o método requer um ajuste cuidadoso do limiar que dispara um token. Se o limiar for definido muito baixo, o sistema pode disparar com muita frequência, criando dados demais. Se for definido muito alto, pode perder detalhes importantes. A equipe sugere que trabalhos futuros possam focar em tornar esse limiar adaptável automaticamente à cena. Eles também planejam testar o método em outros tipos de tarefas, como rastrear objetos em movimento ou calcular o fluxo de movimento em uma cena. Por enquanto, porém, o trabalho demonstra que é possível preencher a lacuna entre a natureza única e assíncrona das câmeras de eventos e os poderosos modelos de IA que impulsionam a robótica moderna. Ao tratar grupos de eventos como unidades únicas e significativas, os pesquisadores mostraram que podemos manter a velocidade e a eficiência das câmeras de eventos sem perder a capacidade de usar as ferramentas mais avançadas da inteligência artificial.