Automatic Labelling for Low-Light Pedestrian Detection

1. Problema Abordado

A detecção de pedestres em imagens RGB é fundamental para a segurança em veículos autônomos e sistemas avançados de assistência ao motorista (ADAS). No entanto, as condições de baixa luminosidade (noite) representam um desafio crítico, onde a precisão dos modelos baseados apenas em luz visível cai drasticamente devido ao baixo contraste, ruído e perda de características visuais.

O principal gargalo para desenvolver modelos robustos nessas condições é a escassez de grandes conjuntos de dados rotulados manualmente. A anotação manual é lenta, cara e propensa a erros, especialmente em cenas escuras onde os pedestres são difíceis de distinguir. Além disso, muitos conjuntos de dados públicos existentes não possuem pipelines eficientes de auto-rotulagem para essas condições específicas.

2. Metodologia Proposta

Os autores propõem um pipeline automatizado de rotulagem de IR para RGB que elimina a necessidade de intervenção humana na anotação, utilizando a invariância à iluminação das câmeras de infravermelho (IR). O processo consiste em três etapas principais:

1. Detecção em Infravermelho (IR):

   • Um modelo de detecção de pedestres é treinado e ajustado (fine-tuned) usando dados de IR diurnos (onde a detecção é mais fácil devido ao contraste térmico).
   • Este modelo é então aplicado a imagens IR de baixa luminosidade para detectar pedestres. Como a radiação IR emitida pelos corpos humanos é relativamente invariante à luz visível, o modelo generaliza bem para a noite.

2. Transferência de Rótulos (Label Transfer):

   • Os limites (bounding boxes) detectados no quadro IR são transferidos diretamente para o quadro RGB correspondente.
   • Isso é possível graças à calibração e alinhamento preciso das câmeras IR e RGB (utilizando um divisor de feixe e retificação de imagem), garantindo que as coordenadas dos pixels correspondam entre os dois sensores.

3. Treinamento do Modelo RGB:

   • Os rótulos transferidos (agora chamados de "auto-rótulos" ou autolabels) são usados para treinar modelos de detecção de pedestres específicos para imagens RGB em baixa luminosidade.
   • O resultado final é um modelo que opera apenas com câmeras RGB (comuns em carros), mas que foi treinado com dados rotulados automaticamente via IR.

3. Contribuições Principais

• Pipeline de Auto-Rotulagem Escalável: Desenvolvimento de um método que permite a geração de grandes volumes de dados de treinamento rotulados para detecção de pedestres em baixa luminosidade sem esforço humano manual.
• Validação de Desempenho Superior: Demonstração de que modelos treinados com auto-rótulos gerados por IR podem superar ou igualar modelos treinados com "Ground Truth" (rótulos manuais) em métricas críticas.
• Análise Arquitetural: Avaliação comparativa de três arquiteturas distintas de detecção de objetos: DETR (baseado em Transformers), YOLO (detetor de estágio único) e RCNN (detetor de dois estágios).
• Análise de Limiares de Confiança: Investigação detalhada de como diferentes limiares de confiança (0.25 vs 0.5) afetam a quantidade de rótulos gerados e o desempenho final do modelo.

4. Resultados Experimentais

O estudo foi realizado utilizando o Conjunto de Dados KAIST Multi-spectral Pedestrian Detection Benchmark. Foram treinados e testados modelos YOLOv11, Faster RCNN e RF-DETR.

• Desempenho Geral: Os modelos treinados com auto-rótulos superaram os modelos treinados com Ground Truth em 5 de 6 casos para as métricas mAP@50 e LAMR (Taxa Média de Falhas Logarítmica), e em todos os 6 casos para mAP@50-95.
• Melhor Arquitetura: O modelo DETR treinado com auto-rótulos (gerados com confiança 0.25) obteve o melhor desempenho geral, superando todas as outras combinações de modelo e rótulo.
• Efeito do Limiar de Confiança: A redução do limiar de confiança de 0.5 para 0.25 aumentou o número de rótulos gerados e, na maioria dos casos, melhorou o desempenho final (mAP e LAMR), sugerindo que o aumento do volume de dados compensou a possível introdução de ruído.
• Filtro de Casos Difíceis: Um ponto interessante discutido é que os auto-rótulos tendem a ignorar pedestres extremamente ocultos ou quase invisíveis (que o modelo IR não detecta). Curiosamente, isso melhorou o desempenho em comparação com o Ground Truth, que incluía esses casos "difíceis" e potencialmente ruidosos, que poderiam confundir o modelo durante o treinamento.

5. Significância e Impacto

• Viabilidade Prática: O método permite o treinamento de sistemas de segurança veicular que dependem apenas de câmeras RGB (mais baratas e comuns), mas que possuem a robustez de dados coletados via sensores térmicos.
• Redução de Custos: Ao eliminar a necessidade de anotação manual, o pipeline reduz drasticamente o custo e o tempo de preparação de dados para cenários de baixa luminosidade.
• Escalabilidade: A abordagem facilita a criação de grandes conjuntos de dados para tarefas de baixa luminosidade, o que é essencial para o desenvolvimento de sistemas de IA mais seguros e confiáveis para condução noturna.
• Limitações e Futuro: O método depende da disponibilidade de um veículo equipado com câmeras IR e RGB calibradas para a fase de coleta de dados de treinamento. O trabalho futuro sugere a expansão para outros conjuntos de dados e a aplicação em tarefas relacionadas, como estimativa de pose.

Em resumo, o artigo demonstra que a transferência de rótulos de IR para RGB é uma estratégia viável e altamente eficaz para superar as limitações de dados em condições de baixa luminosidade, produzindo modelos de detecção que rivalizam ou superam os baseados em anotação humana.