InCaRPose: In-Cabin Relative Camera Pose Estimation Model and Dataset

1. Problema e Contexto

A estimativa precisa da pose relativa da câmera em ambientes automotivos internos (In-Cabin) é fundamental para sistemas de segurança, como monitoramento do motorista (gaze tracking), detecção de fadiga e ativação inteligente de airbags. No entanto, esse cenário apresenta desafios únicos:

• Ambientes Confinados e Distorcidos: As câmeras internas frequentemente utilizam lentes grande-angulares ou fisheye, gerando distorções severas que degradam métodos clássicos baseados em correspondência de características.
• Calibração Dinâmica: Câmeras montadas em espelhos retrovisores são ajustadas manualmente ou automaticamente pelos motoristas, alterando constantemente os parâmetros extrínsecos. Manter a calibração é crítico para a percepção segura.
• Restrições de Dados e Hardware: A coleta de dados reais com ground truth métrica precisa é difícil devido ao espaço confinado e à falta de textura. Além disso, soluções de ponta atuais exigem grandes conjuntos de dados, têm alto custo computacional e dependem de intrínsecas de câmera específicas, dificultando a implantação em hardware de borda (edge devices) em tempo real.
• Escala Métrica: Métodos tradicionais de regressão de pose relativa muitas vezes falham em recuperar a escala métrica absoluta (distância em metros), que é essencial para aplicações de segurança (ex: distância do motorista ao volante).

2. Metodologia (InCaRPose)

O InCaRPose é uma arquitetura baseada em Transformers projetada para prever a pose relativa entre pares de imagens (uma vista de referência e uma vista alvo) em um único passo de inferência.

• Arquitetura:
  • Backbone Congelado: Utiliza modelos de fundação pré-treinados e congelados (como DINOv3, DINOv2, DUNE) para extrair características visuais robustas e invariantes a domínios. Isso permite o treinamento eficiente com poucos dados.
  • Decoder Transformer: Um decoder baseado em cross-attention processa as características da imagem de referência e da imagem alvo simultaneamente, refinando as relações geométricas globais.
  • Cabeça de Predição: Um MLP (Perceptron Multicamada) leve regressa a pose final (rotação e translação). O modelo é treinado para prever a pose relativa em ambas as direções (1→2 e 2→1) para garantir consistência geométrica.
• Abordagem de Treinamento (Synthetic-to-Real):
  • O modelo é treinado exclusivamente em dados sintéticos gerados no Blender, simulando interiores de veículos com ocupantes e objetos variados.
  • A estratégia de Synthetic-to-Real permite que o modelo generalize para ambientes reais sem necessidade de retreinamento específico para cada veículo ou câmera.
• Formulação do Problema:
  • Em vez de estimar a pose absoluta no sistema de coordenadas do veículo (que varia entre modelos), o problema é reformulado como estimativa de pose relativa a uma referência. Dada uma vista de referência calibrada ($T_{v1}$) e uma nova vista ($T_{v2}$), o modelo estima $T_{rel}$ tal que $T_{v2} = T_{v1} \cdot T_{rel}$.
• Processamento de Imagem:
  • O modelo processa imagens distorcidas diretamente, sem a necessidade de etapas de undistortion (correção de distorção), preservando informações nas bordas da imagem que são críticas em lentes fisheye.
  • Utiliza zero-padding para manter o campo de visão completo, evitando o corte de informações nas bordas.

3. Principais Contribuições

1. Novo Dataset de Teste (In-Cabin-Pose): Publicação de um conjunto de dados de teste do mundo real composto por imagens fisheye de alta distorção em NIR (infravermelho próximo), com ground truth métrica precisa baseada em marcadores ArUco.
2. Formulação Agnóstica ao Veículo: A abordagem baseada em pose relativa a uma referência elimina a necessidade de coordenadas específicas do veículo ou retreinamento para diferentes configurações de cabine.
3. Robustez a Distorções sem Undistortion: O modelo lida com imagens fisheye extremas de ponta a ponta e recupera a translação em unidades métricas absolutas (metros), algo raro em métodos de regressão direta.
4. Eficiência e Generalização: Demonstra que o treinamento em um pequeno conjunto de dados sintéticos (apenas ~6.500 pares de imagens) é suficiente para alcançar alta precisão em cenários reais e em datasets públicos (7-Scenes), superando modelos treinados em larga escala em certos aspectos.

4. Resultados

Os resultados foram avaliados no dataset In-Cabin-Pose, no dataset público 7-Scenes (interior) e Cambridge Landmarks (exterior).

• Desempenho no In-Cabin-Pose:
  • A configuração InCaRPoseLarge224 alcançou um erro mediano de translação de 0,07 m e erro mediano de rotação de 2,75°.
  • Superou métodos clássicos (SIFT) na recuperação de escala métrica e superou modelos grandes como Reloc3r em precisão de rotação, mantendo-se competitivo na direção de translação.
  • O modelo opera em tempo real (>45 FPS, chegando a ~70 FPS em GPUs consumer como RTX 4090), atendendo às restrições de latência para sistemas de segurança automotiva.
• Generalização (Synthetic-to-Real):
  • O modelo treinado apenas em dados sintéticos generalizou-se eficazmente para imagens reais de cabines, mesmo com câmeras e condições de iluminação não vistas durante o treinamento.
  • No dataset 7-Scenes, alcançou um erro de rotação médio de 2,21° (configuração Large512), representando uma melhoria de 65% sobre a linha de base Reloc3r.
• Análise de Componentes:
  • O uso de Quaternions como representação de rotação, combinado com uma perda específica, resultou nos melhores resultados.
  • Backbones maiores (ViT-Large) melhoraram a qualidade, mas mesmo modelos menores (ViT-Small) mantiveram alta precisão, demonstrando eficiência de dados.

5. Significado e Impacto

O trabalho InCaRPose representa um avanço significativo para a percepção automotiva segura e eficiente:

• Segurança Crítica: Ao fornecer estimativas de pose métrica absoluta em tempo real, o modelo habilita aplicações de segurança onde milímetros e milissegundos importam, como a ativação precisa de airbags baseada na posição do ocupante.
• Viabilidade de Implantação: A capacidade de operar com backbones congelados e treinar apenas o decoder permite a implantação em hardware de borda com recursos limitados, superando a barreira de custo computacional de modelos de visão anteriores.
• Resiliência a Condições Reais: A robustez a imagens distorcidas, baixa textura e variações de iluminação (NIR) torna a solução prática para o ambiente real de veículos, onde métodos tradicionais falham frequentemente.
• Reprodutibilidade: A liberação do dataset e do código fomenta a pesquisa futura em calibração de câmeras internas e estimativa de pose em ambientes desafiadores.

Em resumo, o InCaRPose resolve o problema de calibração extrínseca em veículos de forma eficiente, precisa e escalável, preenchendo a lacuna entre a pesquisa acadêmica e as demandas rigorosas da indústria automotiva.