Multiple Object Detection and Tracking in Panoramic Videos for Cycling Safety Analysis

Este artigo propõe e valida um novo framework de três etapas para detecção e rastreamento de múltiplos objetos em vídeos panorâmicos, superando limitações de distorção e continuidade de bordas para melhorar a análise de segurança no ciclismo, como demonstrado pela detecção eficaz de ultrapassagens em Londres.

O essencial

Imagine que você está pedalando por Londres. De um lado, um carro passa rápido; de outro, um ônibus se aproxima; atrás de você, alguém está seguindo de perto. Seus olhos só conseguem olhar para frente, mas o perigo pode vir de qualquer lugar.

Este artigo de pesquisa é como uma camisa de força tecnológica para câmeras de 360 graus, projetada para ajudar a entender e prevenir acidentes com ciclistas.

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: A "Pizza Distorcida"

Os pesquisadores usaram câmeras especiais (como a GoPro Max) que gravam tudo ao redor do ciclista, como se fosse uma esfera completa. Quando você transforma essa esfera em um vídeo plano (como uma imagem de computador), acontece algo estranho: é como tentar desenhar um mapa-múndi em um pedaço de papel retangular.

• O que acontece: As coisas no topo e no fundo da imagem ficam esticadas e distorcidas (como se alguém tivesse puxado a massa da pizza). As coisas no meio ficam normais.
• O desafio: Os "olhos de computador" (Inteligência Artificial) que já existem foram treinados para ver imagens normais. Quando eles olham para essa "pizza distorcida", eles ficam confusos. Eles não conseguem ver carros pequenos no fundo ou entendem mal quando um carro grande atravessa a borda da imagem (porque na realidade, ele continua do outro lado, mas no vídeo ele "desaparece" e " reaparece" do nada).

2. A Solução: O "Corte de Pizza" e o "Quebra-Cabeça"

Para consertar isso, os pesquisadores criaram um método de três etapas, como se fossem cozinheiros preparando uma pizza gigante:

• Passo 1: Cortar a Pizza (Projeção)
  Em vez de tentar analisar a imagem gigante e distorcida de uma vez só, eles cortam a imagem em 4 pedaços menores (sub-imagens). Cada pedaço é projetado de um ângulo diferente, como se você estivesse olhando para a frente, para a direita, para a esquerda e para trás, mas tudo em pedaços planos.

  • A mágica: Agora, a Inteligência Artificial consegue ver os objetos com clareza, sem a distorção da "pizza esticada".

• Passo 2: Costurar os Bordas (Continuidade)
  Imagine que um carro está atravessando a linha onde dois pedaços de pizza se encontram. No vídeo, ele parece ser cortado ao meio. O sistema inteligente aprende a "costurar" essas duas metades de volta, entendendo que é o mesmo carro, e não dois carros diferentes. Eles também ensinaram o sistema a não se confundir se um carro passar da esquerda para a direita e "sair" da tela, reaparecendo na outra ponta.

• Passo 3: Dar Nomes aos Objetos (Categorias)
  Às vezes, o computador acha que um caminhão é um ônibus ou um ciclista é um pedestre. O novo método ensina o sistema a ser mais rigoroso: "Se é um carro, só pode ser seguido por outro carro". Isso evita que o sistema troque a identidade dos objetos (como trocar o nome de um amigo pelo de um estranho em uma festa).

3. O Resultado: O "Detetive de Ultrapassagens"

Com esses olhos de computador corrigidos, eles criaram um aplicativo que vigia o trânsito e grita: "Cuidado! Alguém está te ultrapassando!"

• Como funciona: O sistema rastreia cada veículo. Se um carro vem de trás, passa por você e vai para frente, o sistema registra isso como uma "ultrapassagem".
• O sucesso: Eles testaram isso em vídeos reais de ciclistas em Londres. O sistema conseguiu detectar as ultrapassagens com muita precisão (cerca de 82% de acerto), muito melhor do que os sistemas antigos.
• O que ele ainda erra:
  • Se o ciclista vira a cabeça para olhar para trás, o sistema pode achar que o carro está vindo em direção a ele (porque a câmera girou).
  • À noite, carros pretos são difíceis de ver (como um gato preto em um quarto escuro).
  • Ônibus grandes às vezes têm caixas de detecção instáveis, confundindo o sistema.

Por que isso importa?

Hoje, sabemos que ciclistas correm riscos, mas não temos dados suficientes sobre onde e quando os quase-accidentes acontecem.

• Antes: Era como tentar entender o trânsito olhando apenas por um pequeno buraco de fechadura.
• Agora: Com essa tecnologia, temos uma visão de 360 graus, clara e organizada.

Isso permite que as cidades:

1. Criem ciclovias mais seguras baseadas em dados reais de onde os carros passam muito perto.
2. Alertem os ciclistas em tempo real se um carro estiver se aproximando perigosamente.
3. Protejam a vida ao identificar os momentos mais perigosos do dia (como à noite ou com chuva).

Em resumo, os pesquisadores pegaram uma tecnologia confusa (vídeos de 360 graus) e a transformaram em um super-olho que ajuda a tornar as ruas mais seguras para quem pedala.

Resumo técnico

Resumo Técnico: Detecção e Rastreamento de Múltiplos Objetos em Vídeos Panorâmicos para Análise de Segurança no Ciclismo

1. Problema e Motivação

Ciclistas enfrentam um risco desproporcional de lesões, mas os registros de acidentes tradicionais são esparsos, dificultando a identificação de fatores de risco em escalas espaciais e temporais finas. Estudos naturalísticos com vídeo oferecem uma alternativa promissora, especialmente o uso de câmeras panorâmicas (360°) que capturam o ambiente completo ao redor do ciclista.

No entanto, a aplicação de modelos de visão computacional (VC) convencionais a vídeos panorâmicos enfrenta três desafios principais:

1. Distorção: A projeção equiretangular causa deformações severas em objetos próximos e reduz o tamanho de objetos distantes.
2. Continuidade de Fronteira: Objetos que cruzam as bordas esquerda/direita da imagem são divididos, quebrando a continuidade lógica para algoritmos de rastreamento.
3. Falta de Dados: A escassez de conjuntos de dados anotados especificamente para panorâmicas limita o treinamento de modelos end-to-end.

O objetivo deste trabalho é desenvolver um framework robusto para detecção e rastreamento de múltiplos objetos (MOT) em vídeos panorâmicos, aplicado especificamente à detecção de ultrapassagens de veículos para análise de segurança.

2. Metodologia Proposta

O artigo propõe um framework de três etapas para adaptar modelos de VC pré-treinados (baseados em dados tradicionais) para o domínio panorâmico:

Etapa 1: Melhoria da Detecção de Objetos

• Projeção e Subdivisão: Em vez de processar a imagem equiretangular inteira, o método projeta a imagem 360° em quatro sub-imagens de projeção perspectiva (com campos de visão de 120° e sobreposição de 30°). Isso minimiza a distorção.
• Detecção: Um modelo YOLO12 (pré-treinado no COCO) é aplicado a cada sub-imagem.
• Reprojeção e Mesclagem: As caixas delimitadoras detectadas são reprojetadas para a imagem original. Uma etapa crítica de mesclagem combina caixas de objetos longos que foram divididos entre as sub-imagens ou que cruzam a fronteira de 180°, garantindo que objetos únicos não sejam tratados como múltiplos.

Etapa 2: Melhoria do Rastreamento de Múltiplos Objetos (MOT)
O framework utiliza o StrongSORT como base, com duas modificações fundamentais para lidar com as características panorâmicas:

• Suporte à Informação de Categoria: O algoritmo de associação de dados foi modificado para filtrar correspondências entre categorias não adjacentes (ex: evitar associar um pedestre a um caminhão), reduzindo trocas de ID (ID switches) causadas por similaridade de aparência em distâncias curtas.
• Suporte à Continuidade de Fronteira: Para lidar com objetos que cruzam as bordas da imagem (esquerda/direita), o método duplica virtualmente as detecções nas bordas opostas antes do cálculo de distância (IoU ou Mahalanobis). Isso permite que o rastreador mantenha a identidade do objeto mesmo quando ele "sai" de um lado e "entra" pelo outro, sem violar as regras de anotação MOT.

Etapa 3: Detecção Automatizada de Ultrapassagem
Um módulo de aplicação utiliza os resultados do rastreamento para identificar manobras de ultrapassagem:

• Classifica a direção do movimento dos veículos (para frente ou para trás) com base na mudança de posição relativa ao centro da imagem ao longo de 5 quadros.
• Define uma ultrapassagem como a passagem completa de um veículo motorizado que cruza uma linha de longitude específica (-90° ou 90°) no sentido do movimento.

3. Contribuições Principais

• Framework de Adaptação: Uma abordagem eficaz para aplicar modelos de detecção pré-treinados em imagens equiretangulares sem necessidade de re-treinamento massivo, superando limitações de distorção.
• Algoritmo de Rastreamento Adaptado: A introdução de filtros de categoria e lógica de continuidade de fronteira no StrongSORT, resolvendo problemas específicos de ID switching e fragmentação de objetos em vídeos 360°.
• Validação em Cenário Real: Criação e uso de um conjunto de dados anotado com vídeos de ciclistas em Londres, incluindo condições diversas (dia, noite, chuva, brilho solar).
• Sistema de Detecção de Ultrapassagem: Um pipeline funcional que gera dados de "quase-acidentes" (near-misses) automaticamente, fornecendo evidências granulares para políticas de segurança.

4. Resultados Experimentais

Os experimentos foram realizados em servidores com GPUs NVIDIA TITAN RTX, utilizando vídeos de 5,6k.

• Detecção de Objetos:
  • O método proposto superou os modelos originais em precisão média (mAP) para objetos pequenos e médios em todas as resoluções de entrada testadas (640, 1280, 1920).
  • A etapa de mesclagem de caixas foi crucial para recuperar a precisão em objetos de tamanho médio que seriam perdidos na divisão das sub-imagens.
• Rastreamento (MOT):
  • A combinação de suporte à categoria e continuidade de fronteira resultou em uma redução de 33,5% nos falsos positivos e 10,9% nas trocas de ID (ID switches) em comparação com a configuração base.
  • A métrica IDF1 (Identidade F1-Score) melhorou para 50,0%, aproximando-se do desempenho de rastreamento em vídeos tradicionais.
• Detecção de Ultrapassagem:
  • O sistema alcançou um F-score de 0,82 (Precisão: 83,3%, Recall: 80,0%).
  • Limitações observadas: A taxa de falsos negativos aumentou em condições noturnas com carros pretos (dificuldade de detecção) e com ônibus (instabilidade das caixas delimitadoras devido ao tamanho). Falsos positivos ocorreram principalmente quando o ciclista virava a cabeça ou o corpo, alterando a orientação da câmera.

5. Significado e Impacto

Este trabalho demonstra a viabilidade de usar visão computacional em câmeras de consumo (como GoPro Max) para monitorar a segurança do ciclista em tempo real ou pós-viagem.

• Políticas Públicas: O método pode quantificar o cumprimento de leis de distância mínima de ultrapassagem e identificar horários ou locais de alto risco.
• Infraestrutura: Dados granulares sobre onde as ultrapassagens iniciam e terminam podem informar o desenho de ciclovias, largura de faixas e semáforos.
• Aplicação em Tempo Real: O framework leve permite potencialmente alertas em tempo real para ciclistas sobre veículos se aproximando ou zonas de perigo (ex: portas de carros abrindo).

Em suma, o estudo preenche uma lacuna técnica crítica, permitindo que a análise de segurança no ciclismo evolua de dados esparsos de acidentes para uma compreensão contínua e baseada em evidências dos riscos dinâmicos no ambiente urbano.