Measurement-Calibrated Multi-Camera Fusion for Vision-Based Indoor Localization

Enunciado do Problema
Sistemas de localização baseados em visão indoor enfrentam desafios significativos, incluindo ruído de detecção, oclusões e cobertura limitada de câmeras, que introduzem incerteza em vários estágios do pipeline de processamento. Embora a fusão de dados de múltiplas câmeras seja uma abordagem padrão para mitigar esses problemas, ela é frequentemente tratada como um componente de "caixa-preta", avaliado apenas por meio de métricas de ponta a ponta. Essa prática obscurece as contribuições mecanísticas de estágios individuais do pipeline (como calibração de homografia, detecção e rastreamento) e limita a compreensão de como características de erro específicas influenciam o processo de fusão. Além disso, a literatura existente muitas vezes carece de isolamento explícito das fontes de erro, tornando difícil atribuir melhorias de desempenho a componentes específicos ou compreender o valor da redundância versus o suavizamento temporal.

Metodologia
Os autores propõem uma abordagem de fusão de múltiplas câmeras calibrada por medição, projetada para caracterizar e aproveitar explicitamente os erros de localização de câmera única. A arquitetura do sistema segue um pipeline padrão:

1. Detecção e Estimativa de Pose: Objetos são detectados usando YOLO v8n, e a estimativa de pose humana é realizada via MediaPipe. A posição do solo do sujeito é derivada dos pontos-chave dos tornozelos quando a estimativa de pose é bem-sucedida, ou do centro inferior da caixa delimitadora (bounding box) como um recurso de contingência (fallback).
2. Localização Espacial: Uma transformação de homografia mapeia as coordenadas da imagem para um referencial de mundo.
3. Fusão de Dados: Um Filtro de Kalman linear (KF) funde detecções de múltiplas câmeras sincronizadas (usando NTP) para garantir continuidade temporal.

A inovação central reside na estratégia de fusão calibrada por medição. Diferente da fusão padrão, que atribui uma covariância de ruído de medição ($R$) constante a todas as detecções, o método proposto atribui $R(i)$ adaptativamente com base nos erros estáticos medidos empiricamente para cada câmera.

• Caracterização de Erro: O sistema passa por uma avaliação componente a componente para isolar erros provenientes de calibração de homografia, detecção humana e rastreamento de movimento. Testes estáticos determinam a variância do ruído de medição como uma função da posição do sujeito.
• Ponderação Adaptativa: Durante a operação dinâmica, o KF utiliza esses mapas de erro pré-caracterizados para ponderar as medições recebidas. Detecções de alta precisão (baseadas em dados de erro estático específicos de localização) são ponderadas mais pesadamente, enquanto detecções de baixa precisão são penalizadas.
• Associação de Dados: A Associação de Dados Probabilística Conjunta (JPDA) é utilizada, com pré-filtragem (pre-gating) para descartar detecções fora do campo de visão validado.

Principais Contribuições
O artigo apresenta três contribuições primárias:

1. Avaliação Componente a Componente: Uma análise sistemática de um pipeline de localização baseado em visão que isola as contribuições de erro dos estágios de homografia, detecção e rastreamento, em vez de depender apenas de métricas de ponta a ponta.
2. Estratégia de Calibração de Covariância: Uma proposta para uma estratégia de atribuição de ruído de medição para fusão baseada em Filtro de Kalman que utiliza características de erro medidas empiricamente e específicas de cada câmera.
3. Demonstração de Estabilidade de Trajetória: Evidência de que a contabilização explícita das características de erro específicas de cada câmera reduz significativamente a variância da trajetória e melhora a suavidade do movimento, abordando requisitos críticos para o rastreamento contínuo em tempo real.

Resultados
Experimentos foram conduzidos em uma área de teste de 550x300 cm com três câmeras e um único sujeito em movimento seguindo uma trajetória predefinida.

• Precisão de Localização: Tanto a fusão padrão quanto a calibrada por medição melhoraram a precisão da localização em comparação com a melhor linha de base de câmera única, reduzindo o Erro Quadrático Médio (RMSE) em pelo menos 6%. A fusão calibrada por medição proporcionou uma melhoria adicional marginal na precisão absoluta (redução adicional de 6% no RMSE sobre a fusão padrão) em comparação com os ganhos significativos observados sobre os sistemas de câmera única.
• Suavidade da Trajetória: O benefício mais substancial da abordagem calibrada por medição foi observado na suavidade do movimento. O desvio padrão do deslocamento (uma métrica para jitter/tremor) foi reduzido em aproximadamente 50% em relação às câmeras individuais, indicando uma trajetória estimada muito mais suave.
• Efeitos de Cobertura: A fusão de dados demonstrou benefícios claros com o aumento da cobertura das câmeras. Quando todas as três câmeras contribuíram, o RMSE diminuiu em pelo menos 2 cm em comparação com cenários com menos câmeras. Os sistemas de câmera única mostraram um aumento na dispersão do erro conforme a cobertura diminuía, enquanto a fusão mitigou efetivamente as características de erro específicas da câmera.

Significância e Alegações
O artigo alega que, embora a fusão calibrada por medição ofereça melhorias modestas na precisão posicional absoluta sobre a fusão padrão, seu valor principal reside na redução da variância da trajetória e na melhoria da suavidade do movimento. Isso é crítico para aplicações onde a lógica de downstream, visualização ou tomada de decisão depende de estimativas de movimento estáveis e contínuas.

Ao ir além da avaliação de "caixa-preta" da fusão, este trabalho fornece uma base principiológica para o design de sistemas de múltiplas câmeras. Ele destaca que, embora o desempenho geral seja frequentemente limitado pelos componentes de upstream (detecção e homografia), a caracterização e calibração explícitas do ruído de medição permitem que o algoritmo de fusão lide melhor com as incertezas específicas da câmera. Os autores observam que sua precisão numérica é comparável ou superior a vários trabalhos existentes, embora reconheçam limitações como o uso de verdade de campo (ground truth) unidimensional e rastreamento de alvo único. O estudo conclui que a caracterização explícita do erro é uma ferramenta valiosa para otimizar estratégias de fusão de dados em posicionamento indoor baseado em visão.