Multi-View In-Cabin Monitoring System for Public Transport Vehicles

Este artigo apresenta um conjunto de dados de monitoramento multi-visão de cabine para veículos de transporte público, apresentando imagens RGB e de profundidade sincronizadas com anotações 3D, juntamente com um pipeline de calibração e ferramentas de benchmarking para avaliar modelos de detecção 3D multi-visão.

O essencial

Imagine um ônibus urbano movimentado como uma sala de estar viva e lotada. Normalmente, se você quisesse saber exatamente onde todos estão sentados, em pé ou se movendo naquela sala, precisaria de uma equipe de pessoas com pranchetas observando de todos os ângulos. Mas, no mundo dos ônibus autônomos, precisamos que computadores façam esse trabalho automaticamente.

Este artigo apresenta uma nova "escola de treinamento" para esses cérebros de computador. Aqui está o detalhamento do que os pesquisadores construíram e como o fizeram, usando comparações simples:

1. O Problema: O Ônibus com "Ponto Cego"

A maioria da tecnologia de direção autônoma é como um carro com olhos olhando para fora da janela para ver a estrada. Mas e o que está acontecendo dentro do ônibus?

• O Desafio: Dentro de um ônibus, as pessoas bloqueiam umas às outras (oclusão), os assentos são reflexivos e as câmeras muitas vezes veem apenas uma pequena fatia da sala. Se você tiver apenas uma câmera, é como tentar entender um filme inteiro assistindo a apenas um quadro de um único assento. Você perde metade da ação.
• A Lacuna: Não havia um bom "livro didático" (dataset) com exemplos suficientes de pessoas dentro de um ônibus, vistas de múltiplos ângulos, para ensinar os computadores a enxergar claramente.

2. A Solução: Um "Ônibus Inteligente" com Supervisão

A equipe construiu um ônibus urbano digitalizado especial na Alemanha, equipado com um sistema de "supervisão".

• Os Olhos: Eles instalaram quatro câmeras voltadas para dentro (como guardas de segurança parados nos cantos da sala) e um scanner a laser giratório (LiDAR) que atua como um morcego usando ecolocalização para mapear a sala em 3D.
• Os Dados: Eles gravaram mais de 9.000 momentos sincronizados onde esses sensores trabalharam juntos. É como ter um filme 4D onde você pode ver a sala de quatro ângulos ao mesmo tempo, além de um mapa de profundidade 3D.

3. O Truque de Mestre: Ensinando o Computador a "Enxergar" Sem um Professor

Normalmente, para ensinar um computador a reconhecer uma pessoa, humanos precisam desenhar caixas ao redor delas em milhares de fotos. Isso leva uma eternidade.

• O Pipeline: Em vez de desenhar cada caixa manualmente, os pesquisadores criaram um pipeline de "assistente robô":
  1. O Detetive: Eles usaram uma IA para encontrar pessoas no vídeo.
  2. O Escultor 3D: Eles usaram outra IA para adivinhar a forma 3D do corpo da pessoa baseando-se apenas nas imagens de câmera 2D.
  3. O Árbitro: Como quatro câmeras podem ver a mesma pessoa de quatro maneiras ligeiramente diferentes, eles construíram um sistema para atuar como um árbitro. Ele pega os quatro palpites diferentes, os compara e escolhe a "média" mais precisa da posição 3D.
  4. O Resultado: Eles terminaram com um dataset onde cada pessoa possui um "esqueleto" 3D preciso e uma caixa 3D ao seu redor, todos gerados automaticamente com pouca ajuda humana.

4. O Teste: Os Computadores Conseguem Aprender?

Os pesquisadores não apenas criaram os dados; eles testaram se cérebros de computador existentes conseguiam aprender com eles.

• O Exame: Eles pegaram modelos de IA famosos (como "Lift-Splat-Shoot" e "BEVFusion") e tentaram ensinar esses modelos a detectar pessoas neste ônibus usando os novos dados.
• A Pontuação: Os modelos fizeram um trabalho decente, especialmente quando permitida uma pequena margem de erro. No entanto, o teste também mostrou que olhar para apenas uma visão de câmera é arriscado (perdendo cerca de 19% a 60% das pessoas, dependendo do ângulo), provando que você realmente precisa de múltiplas câmeras para obter uma imagem completa.

5. O Que Tem na Caixa?

Os pesquisadores estão distribuindo todo este pacote gratuitamente para outros cientistas. Isso inclui:

• O vídeo e os dados do laser.
• As ferramentas do "assistente robô" para gerar rótulos 3D.
• Um formato que se ajusta aos softwares padrão de direção autônoma (formato nuScenes).

Resumo

Pense neste artigo como a construção de uma academia de treinamento de alta tecnologia para ônibus autônomos. Antes disso, os ônibus estavam tentando aprender a enxergar dentro da cabine com apenas um olho turvo. Agora, eles têm uma academia com quatro câmeras de alta definição, um scanner a laser 3D e um conjunto de testes práticos "perfeitamente corrigidos" (o dataset) para aprender a rastrear passageiros, mesmo quando estão escondidos atrás de assentos ou amontoados.

O que eles explicitamente NÃO fizeram:
O artigo foca estritamente em detectar onde as pessoas estão e o que elas estão fazendo (sentadas, em pé, andando). Eles não testaram este sistema em ônibus reais em movimento no tráfego, nem alegaram que ele possa resolver emergências médicas ou substituir motoristas humanos ainda. É uma ferramenta fundamental para pesquisas futuras.

Resumo técnico

Resumo Técnico: Sistema de Monitoramento de Cabine Multi-Visão para Veículos de Transporte Público

Definição do Problema
Embora a condução autônoma tenha avançado significativamente na percepção externa, a compreensão do interior dos veículos — especificamente em transporte público — permanece subdesenvolvida. O monitoramento de cabine é crítico para contagem de ocupantes, localização, assistência de acessibilidade e segurança (ex: detecção de agressão ou vandalismo). No entanto, as soluções existentes enfrentam um gargalo de dados: os conjuntos de dados atuais de cabine são frequentemente limitados em escala, dependem de visões de câmera única e carecem da sincronização multimodal necessária para lidar com oclusões severas, aglomerações e superfícies reflexivas comuns em interiores de ônibus. Além disso, a calibração de múltiplos sensores é desafiadora em ônibus porque as câmeras voltadas para o interior possuem uma sobreposição mínima de campo de visão, tornando difícil a aplicação de técnicas de calibração padrão.

Metodologia
Os autores apresentam um pipeline abrangente para captura, calibração e anotação de um conjunto de dados de cabine multi-visão a partir de um ônibus urbano alemão digitalizado.

1. Aquisição de Dados:

   • Sensores: A configuração utiliza quatro câmeras Intel RealSense D435i voltadas para o interior (fornecendo RGB e profundidade estéreo) e um LiDAR rotativo Ouster OS0-128.
   • Sincronização: As câmeras operam a 15 Hz e o LiDAR a 10 Hz. Os dados são sincronizados via carimbos de tempo (timestamps), pareando cada quadro do LiDAR com os quadros de câmera temporalmente mais próximos.
   • Conteúdo: O conjunto de dados captura 1–2 ocupantes realizando diversas atividades (sentar, em pé, caminhar, beber, fumar) e eventos críticos de segurança (vandalismo, briga, entrada de cadeira de rodas).

2. Calibração de Sensores:

   • Extrínsecos: Devido à limitada sobreposição das câmeras, os autores empregam um processo de calibração em duas etapas. Primeiro, eles reconstroem a geometria da cabine usando COLMAP (Structure from Motion e Multi-View Stereo) baseado em marcadores ArUco dispersos.
   • Alinhamento Métrico: A reconstrução é escalonada e orientada usando um tamanho de marcador conhecido e um "marcador de origem" específico colocado no centro do veículo para estabelecer um referencial métrico alinhado ao solo.
   • Alinhamento do LiDAR: A nuvem de pontos do LiDAR é registrada à reconstrução do COLMAP usando o Algoritmo de Iterative Closest Point (ICP), alcançando um Erro Quadrático Médio (RMSE) de 0,0071 m.

3. Pipeline de Rotulagem Pseudo (Pseudo-Labeling):

   • Detecção 2D: Um detector 2D identifica candidatos a pessoas, seguido de filtragem manual para remover falsos positivos (ex: pôsteres).
   • Estimativa de Pose 3D: O pipeline utiliza o SAM 3 Body 3D para gerar malhas (meshes) e esqueletos humanos 3D a partir das detecções 2D e das intrínsecas conhecidas da câmera.
   • Agregação Multi-Visão: Para resolver discrepâncias entre as visões (que podem diferir em até ~1 m), os autores implementam uma agregação de três etapas:
     1. Agrupamento restrito pela câmera: Agrupa hipóteses de pose garantindo que duas detecções da mesma câmera não entrem no mesmo grupo.
     2. Seleção de pose mediana: Seleciona a hipótese mais próxima do centroide do grupo para reduzir o impacto de outliers.
     3. Refinamento: Otimiza a translação global da pose selecionada para minimizar o erro de reprojeção multi-visão usando o algoritmo Nelder–Mead.
   • Caixas Delimitadoras 3D (Bounding Boxes): Caixas delimitadoras 3D orientadas são derivadas das malhas 3D refinadas, definidas por centro, dimensões e ângulo de yaw em relação à rotação do quadril do sujeito.

4. Formato do Conjunto de Dados:

   • O conjunto de dados final é convertido para o formato nuScenes, facilitando a compatibilidade com bases de código de percepção de condução autônoma existentes.

Principais Contribuições

• Conjunto de Dados: Um conjunto de dados de cabine multi-visão e multi-modal (RGB, profundidade, LiDAR) contendo 9.136 amostras sincronizadas com anotações de pose humana 3D e caixas delimitadoras 3D orientadas. É o primeiro conjunto de dados público deste tipo com anotações de pose 3D.
• Pipeline: Um pipeline prático de calibração e rotulagem pseudo capaz de gerar anotações 3D de alta qualidade em um ambiente multi-visão desafiante e de baixa sobreposição.
• Benchmark: Resultados de base (baseline) para modelos de detecção 3D multi-visão de última geração (Lift-Splat-Shoot, BEVFusion) em dados de cabine.

Resultados Experimentais
Os autores avaliaram diversos modelos em uma divisão de treino/validação de 7.128/2.008:

• Modelos Apenas de Câmera: O modelo Lift-Splat-Shoot (LSS) com backbones ResNet-50 e SwinT alcançou um desempenho forte, com Precisão Média (AP) em 0,5m atingindo 0,9630 (ResNet) e 0,7563 (SwinT).
• Modelos Multi-Modais: O BEVFusion (fundindo LiDAR e câmeras) teve um desempenho inferior (AP@0,5m: 0,7337) do que as variantes LSS apenas de câmera. Os autores atribuem isso à dependência pesada do modelo em relação ao LiDAR, que é menos eficaz no ambiente interno restrito e esparso em comparação com as características densas da câmera.
• Análise de Visão: As taxas de erro de detecção de visão única variaram de 18,78% (Frente Esquerda) a 60,69% (Centro Esquerda), demonstrando que a fusão multi-visão é essencial para uma percepção de cabine robusta.

Significância e Alegações
O artigo posiciona este trabalho como um passo fundamental para uma percepção de cabine robusta no transporte público. Os autores afirmam que:

1. A Escassez de Dados é Abordada: O conjunto de dados preenche uma lacuna crítica ao fornecer um recurso multi-modal de grande escala especificamente para a geometria desafiadora de interiores de veículos.
2. Viabilidade de Calibração: O pipeline de calibração proposto lida com sucesso com as restrições de baixa sobreposição das câmeras voltadas para o interior, permitindo uma reconstrução 3D metricamente consistente.
3. Utilidade de Benchmark: A conversão para o formato nuScenes e os resultados de base fornecem um campo de teste padronizado para pesquisas futuras em percepção multi-visão de cabine.
4. Limitações Modestas: Os autores reconhecem que, embora o pipeline seja eficaz, ele não é livre de falhas; fusões ou divisões de identidade podem ocorrer sob oclusão intensa, e o ruído de rótulos permanece em limiares de detecção rigorosos. Eles observam que o conjunto de dados está atualmente limitado a um único tipo de veículo e cenários estacionários, sugerindo que trabalhos futuros devem focar em aumentar a diversidade e a generalização.