Benchmarking Recurrent Event-Based Object Detection for Industrial Multi-Class Recognition on MTevent

Resumo Técnico: Avaliação de Desempenho de Detecção de Objetos Baseada em Eventos Recorrentes para Reconhecimento Multiclasse Industrial no MTevent

Declaração do Problema
As câmeras de eventos oferecem alta resolução temporal, alta faixa dinâmica e redução de desfoque de movimento, tornando-as teoricamente ideais para robótica industrial operando sob movimento rápido, iluminação desafiadora e oclusão parcial. No entanto, a pesquisa existente em detecção de objetos baseada em eventos é fortemente enviesada para cenários de direção autônoma (por exemplo, GEN1) ou tarefas de robótica de categoria única (por exemplo, detecção de pessoas no PEDRo). Existe uma lacuna significativa na compreensão de como os detectores atuais se comportam em ambientes industriais multiclasse, caracterizados por diversas categorias de objetos, layouts desordenados, estruturas repetitivas e interações frequentes entre humanos e objetos. Além disso, permanece incerto se a modelagem temporal recorrente — que acumula evidências de eventos esparsos ao longo do tempo — oferece um benefício tangível em relação a abordagens não recorrentes nesses cenários industriais complexos e de cauda longa.

Metodologia
Os autores apresentam um estudo de avaliação de desempenho controlado utilizando o conjunto de dados MTevent, um benchmark de câmera de eventos industrial gravado em cenas semelhantes a armazéns e fábricas. O estudo foca em 17 classes de detecção (16 objetos rígidos mais humanos) derivadas das anotações do conjunto de dados.

• Modelos: O estudo compara uma linha de base não recorrente YOLOv8s contra uma variante recorrente, ReYOLOv8s, que aprimora o backbone do YOLOv8s com módulos ConvLSTM para agregar características temporais.
• Entrada: Os modelos utilizam entradas de tensores de eventos temporais agrupados em 5 canais (5 janelas temporais, janelas de 50 ms, resolução 256×320).
• Variáveis: A avaliação analisa três fatores primários:
  1. Recorrência: Comparação entre modelos não recorrentes (comprimento de clipe 1) e modelos recorrentes.
  2. Comprimento do Clipe Temporal: Teste de modelos recorrentes com comprimentos de clipe de {3, 7, 11, 21} usando amostragem temporal baseada em passo.
  3. Pré-treinamento/Transferência: Avaliação da inicialização a partir de dois domínios externos de eventos: GEN1 (orientado para direção) e PEDRo (orientado para detecção de pessoas em robótica), juntamente com treinamento do zero.
• Protocolo de Treinamento: Todos os experimentos utilizam hiperparâmetros consistentes (AdamW, taxa de aprendizado específica, tamanho de lote 16) e métricas de avaliação (mAP50, mAP50–95) em uma divisão personalizada de cenas 60/13/2 para treino/validação/teste para garantir comparação controlada.

Principais Resultados

• Recorrência vs. Não Recorrência: Na divisão de validação do MTevent, o melhor modelo recorrente treinado do zero (comprimento de clipe 21) alcançou 0,285 mAP50, uma melhoria relativa de 9,6% sobre a linha de base não recorrente YOLOv8s (0,260 mAP50). Isso confirma que o contexto temporal é benéfico para a detecção baseada em eventos industrial.
• Dinâmica do Comprimento do Clipe: O desempenho dos modelos treinados do zero não aumentou monotonicamente com o comprimento do clipe; o desempenho caiu no comprimento de clipe 11 antes de subir em 21. Em contraste, os modelos pré-treinados no GEN1 mostraram melhoria consistente à medida que o comprimento do clipe aumentava (de 0,293 no comprimento 3 para 0,329 no comprimento 21), sugerindo que o pré-treinamento estabiliza a otimização temporal.
• Impacto do Pré-treinamento:
  • Inicialização GEN1: Produziu o melhor resultado geral (0,329 mAP50), superando significativamente o treinamento do zero.
  • Inicialização PEDRo: Desempenhou-se mal (0,251 mAP50 no clipe 11), ficando abaixo tanto do melhor modelo recorrente treinado do zero quanto da linha de base não recorrente. Isso indica que o pré-treinamento em domínio de origem incompatível (por exemplo, dados apenas de pessoas aplicados a cenas industriais multiclasse) pode ser prejudicial.
• Transferência Zero-Shot: Antes do ajuste fino, os modelos pré-treinados no GEN1 falharam em detectar humanos no MTevent (AP50 = 0,000), enquanto os modelos pré-treinados no PEDRo alcançaram sucesso limitado (AP50 = 0,136). Isso destaca que a transferência zero-shot depende fortemente da similaridade entre origem e destino na estrutura da cena e nos padrões de movimento, não apenas na sobreposição de rótulos.
• Modos de Falha: Erros persistentes foram dominados por desequilíbrio de classes (classes raras) e interações humano-objeto, onde cenários de transporte criam aglomerados de eventos fundidos que reduzem a separabilidade de classes.

Contribuições e Significado
Os autores afirmam explicitamente que sua contribuição não é uma nova arquitetura ou um novo conjunto de dados. Em vez disso, o trabalho serve como um estudo focado de avaliação de desempenho e análise da detecção baseada em eventos recorrente em ambientes industriais.

• Significado: O artigo posiciona-se como um teste de estresse necessário para as famílias de modelos atuais em cenários industriais complexos e multiclasse, uma área que permanece comparativamente pouco explorada.
• Principais Conclusões:
  1. A recorrência melhora o desempenho, mas o pré-treinamento em domínio de eventos (especificamente de uma fonte bem alinhada como o GEN1) tem um impacto mais forte do que a recorrência sozinha.
  2. O alinhamento do domínio de origem é crítico; o pré-treinamento incompatível pode degradar o desempenho abaixo dos níveis de treinamento do zero.
  3. No cenário atual, os ganhos podem ser mais alcançáveis através de melhor cobertura de dados e protocolos de transferência do que através do aumento da complexidade arquitetônica.
  4. O estudo fornece um ponto de referência reproduzível (código e resultados disponíveis) para futuras pesquisas com câmeras de eventos industriais, destacando gargalos específicos como a escassez de classes de cauda longa e a interação humano-objeto.