Modelling and Simulation of Neuromorphic Datasets for Anomaly Detection in Computer Vision

O artigo apresenta o ANTShapes, um novo framework de simulação baseado na engine Unity que gera datasets neuromórficos personalizáveis e estatisticamente rotulados para superar a escassez de dados em visão computacional baseada em eventos, permitindo pesquisas em detecção de anomalias, reconhecimento e localização de objetos.

O essencial

Imagine que você é um detetive tentando encontrar um ladrão em uma multidão de pessoas que estão todas se comportando de forma normal. O problema é que, para treinar seu cérebro (ou um computador) a identificar esse ladrão, você precisa de milhões de horas de vídeo mostrando multidões normais e algumas mostrando o ladrão.

Agora, troque o vídeo normal por um tipo de câmera muito especial e futurista chamada Sensor de Visão Neuromórfica. Essa câmera não grava "quadros" como um filme comum; ela só registra quando algo muda (como um movimento rápido ou uma luz piscando). É super rápida e gasta pouquíssima energia, perfeita para robôs e câmeras de segurança no futuro.

O Problema:
O problema é que essas câmeras são raras e caras. Não existem muitos vídeos reais delas para os cientistas usarem para treinar seus computadores. Sem dados, não há aprendizado.

A Solução (ANTShapes):
É aqui que entra o ANTShapes, a "ferramenta mágica" criada pelos autores deste artigo. Pense no ANTShapes como um videogame de simulação de detetive, feito dentro do motor gráfico da Unity (o mesmo usado para criar jogos populares).

Aqui está como ele funciona, explicado de forma simples:

1. O Palco e os Atores

Imagine um palco 3D vazio. O ANTShapes coloca centenas de objetos geométricos (cubos, esferas, pirâmides) nesse palco.

• O Comportamento "Normal": A maioria desses objetos age como uma multidão. Eles se movem, giram e mudam de tamanho seguindo regras matemáticas previsíveis (como se todos estivessem dançando a mesma música, mas com pequenos ritmos diferentes).
• O Comportamento "Anômalo" (O Ladrão): O sistema permite que alguns objetos "quebrem a regra". Um cubo pode começar a girar loucamente, ou uma esfera pode voar na direção errada. O software identifica esses comportamentos estranhos e os marca como "anormais".

2. A Câmera Especial (O Olho do Robô)

Em vez de gravar um vídeo colorido e suave, o ANTShapes simula o que a câmera neuromórfica veria.

• Analogia: Imagine que você está em um quarto escuro e alguém acende e apaga uma lanterna rapidamente. Uma câmera comum tiraria uma foto borrada. A câmera neuromórfica, porém, só "piscaria" (geraria um evento) exatamente no momento em que a luz muda.
• O ANTShapes faz isso matematicamente: ele compara o quadro atual com o anterior e gera apenas os "pontos" onde algo mudou. Isso cria um fluxo de dados super leve e rápido, perfeito para treinar redes neurais que precisam ser rápidas e econômicas.

3. Por que isso é importante?

Os cientistas querem treinar computadores para serem "detetives autônomos" em câmeras de segurança, carros autônomos ou robôs. Eles usam redes neurais chamadas SNNs (Redes Neurais de Spiking), que funcionam de forma muito parecida com o cérebro humano (reagindo a impulsos, não a imagens completas).

Sem o ANTShapes, os cientistas teriam que:

1. Construir câmeras reais caras.
2. Gravar horas de vídeo (o que é difícil e demorado).
3. Ou tentar converter vídeos comuns em dados neuromórficos (o que muitas vezes dá errado e cria dados ruins).

Com o ANTShapes, eles podem criar infinitos cenários com um clique. Podem dizer: "Hoje, quero 1000 cubos normais e 50 que giram muito rápido". O software gera os dados, as etiquetas (dizendo quem é o "ladrão") e os eventos de câmera instantaneamente.

4. O que falta e o futuro

O artigo admite que o sistema ainda é um "protótipo".

• Limitação atual: Os objetos no simulador podem atravessar uns aos outros (como fantasmas), o que não acontece no mundo real. Eles não têm "causa e efeito" (um objeto empurrando outro).
• Futuro: Os autores querem evoluir para simular ruas reais com "pessoas" (humanos virtuais) e fazer com que os objetos interajam de verdade, além de simular visão 3D (dois olhos) para que o robô entenda melhor a profundidade.

Resumo da Ópera:
O ANTShapes é uma fábrica de cenários virtuais que cria dados perfeitos para treinar o "cérebro" de câmeras de segurança do futuro. Em vez de esperar anos para gravar vídeos reais raros, os cientistas podem gerar milhões de exemplos de "comportamentos estranhos" em segundos, permitindo que a tecnologia de vigilância inteligente se torne realidade mais rápido.

Resumo técnico

Título: Modelagem e Simulação de Dados Neuromórficos para Detecção de Anomalias em Visão Computacional

1. O Problema

O artigo identifica uma lacuna fundamental na pesquisa de visão computacional neuromórfica: a escassez de conjuntos de dados (datasets) reais e abrangentes capturados por Sensores de Visão Dinâmica (DVS - Dynamic Vision Sensors).

• Desafios Atuais: Os sensores DVS são ideais para dispositivos de borda (edge devices) devido ao seu baixo consumo de energia, alta dinâmica e taxas de captura elevadas. No entanto, eles são raramente utilizados como câmeras de segurança, tornando os dados reais para detecção de anomalias extremamente raros.
• Limitações das Soluções Existentes:
  • Simulação a partir de vídeo quadro-a-quadro: Métodos que interpolam quadros de câmeras tradicionais para simular eventos DVS falham quando a taxa de captura original é baixa, gerando dados não confiáveis.
  • Gravação de monitores: Apontar um DVS para um monitor introduz ruído externo e é imperfeito.
  • Simuladores existentes (ex: CARLA): Focam em veículos autônomos (movimento do ego) e exigem que o usuário defina anomalias manualmente, o que é propenso a erros humanos e trabalhoso. Além disso, não são otimizados para cenários de vigilância com câmeras fixas.

2. Metodologia: O Framework ANTShapes

Para resolver essas limitações, os autores desenvolveram o ANTShapes (Anomalous Neuromorphic Tool for Shapes), um framework de simulação de datasets construído na engine Unity.

• Ambiente de Simulação:

  • Cria cenas 3D abstratas e configuráveis preenchidas por objetos (agentes) com comportamentos gerados aleatoriamente.
  • Foca em formas geométricas básicas (cubos, esferas, cones, etc.) para análise de baixo nível das características de aprendizado de Redes Neurais de Spiking (SNN), em vez de simular ambientes realistas complexos imediatamente.
  • A câmera permanece fixa, simulando um cenário de vigilância (CCTV).

• Modelagem Estatística de Anomalias:

  • Comportamento Normal: Os comportamentos dos agentes (translação, rotação, escala, posição inicial) são modelados usando distribuições normais (Teorema do Limite Central). A maioria dos agentes segue uma distribuição com média ($\mu$) e desvio padrão ($\sigma$).
  • Definição de Anomalia: Um agente é considerado anômalo se seu comportamento desvia significativamente da distribuição esperada da "multidão". A probabilidade de existência de um agente é calculada usando a função de distribuição cumulativa e transformada pela distribuição qui-quadrado.
  • Parâmetros Controláveis: O usuário pode ajustar $\mu$ e $\sigma$ para cada eixo (X, Y, Z) e para cada tipo de comportamento. Anomalias podem ser definidas focando em atributos específicos (ex: apenas velocidade de translação), ignorando outros para simplificar o espaço de busca.
  • Comportamento de Multidão: Foi introduzida uma função cúbica absoluta e um coeficiente de "fuzziness" para criar um comportamento de grupo onde anomalias se destacam de forma exagerada contra agentes normais.

• Geração de Eventos (Spiking):

  • Os eventos neuromórficos são gerados comparando a intensidade de pixels monocromáticos entre o quadro atual ($f^t$) e o anterior ($f^{t-1}$).
  • Aplica-se um histerese bipolar com um limiar ($\pm\beta$): aumentos de brilho geram eventos de valor 1, diminuições geram 0, e mudanças insignificantes geram 0.5.
  • A escala temporal pode ser ajustada para microssegundos para mimetizar com precisão o comportamento de sensores de eventos.

• Classes de Objetos: O sistema suporta 12 classes distintas, desde geometrias simples até modelos complexos (como o "Utah Teapot" e a cabeça de macaco "Suzanne" do Blender), com opções de ruído de superfície gaussiano para suavizar malhas.

3. Principais Contribuições

1. ANTShapes: A introdução de uma ferramenta de simulação de datasets neuromórficos totalmente parametrizável, capaz de gerar um número arbitrário de amostras com rótulos e dados de quadros associados.
2. Abordagem Estatística para Anomalias: Um método formal para definir anomalias baseado em desvios estatísticos de comportamentos comuns, permitindo o controle fino sobre o que constitui uma anomalia (ex: apenas rotação, apenas posição).
3. Flexibilidade de Cenários: Capacidade de simular tanto comportamentos individuais quanto de "multidão", com opções para objetos que saem da tela e são substituídos ou que ricocheteiam nas bordas.
4. Acesso Aberto: Disponibilização do código-fonte (Unity 6.1) e builds para Linux e Windows via repositório GitHub.

4. Resultados e Estado Atual

• O artigo apresenta capturas de tela e visualizações de dados (quadros e eventos) demonstrando a capacidade do sistema de gerar cenas complexas onde objetos anômalos (ex: movendo-se rápido ou em posições raras) são claramente identificados e coloridos (vermelho) com base em seus valores de probabilidade (P-value).
• Limitação Reconhecida: O modelo atual assume que os eventos são não causais e independentes (agentes podem se intersectar), o que não reflete perfeitamente a realidade física. Isso foi aceito para o escopo atual de avaliação de SNNs em ambientes controlados.
• Validação: No momento da publicação, os datasets sintetizados ainda não foram extensivamente testados em arquiteturas SNN reais, sendo esta uma prioridade futura dos autores.

5. Significado e Trabalhos Futuros

• Impacto na Pesquisa: O ANTShapes preenche uma lacuna crítica ao fornecer dados de treinamento acessíveis e controláveis para o desenvolvimento de SNNs para detecção de anomalias em dispositivos de borda, sem depender da escassez de hardware DVS real.
• Futuro: Os autores planejam:
  • Estender o modelo para cenas realistas com agentes humanos e modelagem de causalidade (fluxo de multidão).
  • Implementar visão estereoscópica para melhor representação de profundidade.
  • Permitir movimento de câmera (ego-motion) para cenários mais dinâmicos.
  • Utilizar os resultados do treinamento de SNNs para refinar o próprio simulador.

Em resumo, o ANTShapes é uma ferramenta promissora para a comunidade de visão neuromórfica, permitindo a geração de dados sob medida para treinar e avaliar algoritmos de detecção de anomalias em um ambiente altamente controlável e estatisticamente fundamentado.