Thermal-Only Crowd Counting with Deployment-Time Privacy Protection

Resumo Técnico: Contagem de Multidões Apenas com Infravermelho Térmico com Proteção de Privacidade no Momento da Implantação

Declaração do Problema
A contagem de multidões é essencial para a segurança pública e o planejamento urbano, mas enfrenta desafios significativos em condições de iluminação adversa e na preservação da privacidade. Embora os métodos de fusão RGB-Térmico (RGB-T) tenham melhorado a robustez em relação às abordagens de RGB unimodal, eles sofrem com duas limitações críticas. Primeiro, eles dependem da captura contínua de RGB durante a implantação, o que levanta sérias preocupações de privacidade ao registrar características identificáveis (por exemplo, rostos) em espaços públicos. Segundo, as estratégias de fusão existentes assumem implicitamente um alinhamento perfeito entre os sensores RGB e térmico; na prática, desalinhamentos espaciais e temporais devido à colocação dos sensores e ao tempo de aquisição degradam o desempenho da fusão. As tentativas atuais de resolver problemas de alinhamento produzem apenas ganhos incrementais, sugerindo que contornar a necessidade de dados RGB inteiramente pode ser um caminho mais tratável.

Metodologia: TDCount
Os autores propõem o TDCount, o primeiro framework projetado para inferência apenas com infravermelho térmico em cenários de contagem de multidões RGB-T. O método elimina a dependência de RGB no momento da inferência, enquanto aproveita priores multimodais aprendidos durante uma fase de treinamento controlada. Os componentes principais são:

1. Ponte de Difusão de Profundidade para RGB: Para abordar a ambiguidade inerente das assinaturas térmicas (por exemplo, dificuldade em distinguir humanos de outras fontes de calor), o framework emprega um Modelo de Consistência Latente (LCM) pré-treinado, adaptado via ControlNet. Um modelo de estimativa de profundidade gera um mapa de profundidade ($D_T$) a partir da imagem térmica de entrada ($T$). Este mapa de profundidade condiciona o ControlNet para extrair características discriminativas ($F_{TD}$) que fazem a ponte entre o domínio térmico e a riqueza semântica dos dados RGB, sem exigir entrada RGB real.
2. Entrada Latente Determinística: Ao contrário dos modelos de difusão padrão que amostram ruído estocasticamente, o TDCount fixa o latente ruidoso inicial ($z_T$) como uma constante compartilhada em todas as iterações de treinamento e inferência. Isso garante que o processo de extração de características seja totalmente determinístico e reproduzível, prevenindo o problema de mapeamento "muitos-para-um", onde entradas idênticas produzem características inconsistentes, o que, de outra forma, tornaria o landscape da perda de regressão patológico.
3. Estratégia de Desruído de Passo Único: Os autores investigam o número de passos de desruído necessários para a extração de características. Eles demonstram que o desruído LCM de passo único produz características mais fiéis ao conteúdo estrutural do sinal de condicionamento de profundidade. O desruído de múltiplos passos desacopla progressivamente as características da entrada de condicionamento, priorizando o refinamento perceptual sobre a fidelidade estrutural e acumulando erros que degradam a precisão da contagem.
4. Perda de Alinhamento de Protótipos ($L_{PA}$): Para alinhar as características térmicas heterogêneas ($F_T$) com o espaço semântico derivado da difusão ($F_{TD}$), o framework introduz uma perda de alinhamento de protótipos guiada por texto. Esta perda alinha as características térmicas com protótipos textuais de contagem codificados pelo CLIP (por exemplo, "Há $c$ pessoas na área"), facilitando a integração efetiva dos dois fluxos de características.

Principais Contribuições

• Framework Centrado na Privacidade: O TDCount é o primeiro framework a permitir inferência apenas com infravermelho térmico em contagem de multidões RGB-T, eliminando o vetor primário de exposição à privacidade (captura contínua de RGB) em implantações de vigilância do mundo real.
• Aprendizado de Características Baseado em LCM: O artigo introduz um framework de aprendizado de características baseado em LCM e revela uma descoberta contra-intuitiva: o passo inicial de desruído de passo único fornece características mais discriminativas para contagem do que abordagens de múltiplos passos, que acumulam erros estruturais.
• Desempenho Competitivo sem RGB: O método alcança desempenho competitivo contra métodos de dual-modalidade de última geração usando apenas entrada térmica na inferência, desafiando a suposição de que dados RGB são indispensáveis para contagem de multidões de alta precisão.

Resultados Experimentais
O framework foi avaliado em dois conjuntos de dados amplamente utilizados: RGBT-CC e DroneRGBT.

• Desempenho: No conjunto de dados RGBT-CC, o TDCount superou métodos anteriores RGB-T, melhorando o GAME(0) em 0,85 e o RMSE em 1,02 em comparação com a linha de base MC3Net. No conjunto de dados DroneRGBT, estabeleceu um novo desempenho de última geração em todas as métricas, reduzindo o GAME(0) em 0,26 e o RMSE em 0,39 em comparação com o melhor método anterior (RGBT-Booster).
• Estudos de Ablação:
  • Processamento de Profundidade: Substituir a abordagem apenas térmica de linha de base pelo processamento de profundidade baseado em ControlNet reduziu significativamente os erros (o GAME(0) caiu de 17,05 para 10,62), confirmando o valor dos priores derivados da difusão.
  • Entrada Determinística: O uso de uma entrada latente estocástica fez com que o modelo falhasse em convergir (GAME(0) > 50), validando a necessidade do design de latente fixo.
  • Passos de Desruído: O desempenho degradou monotonicamente à medida que o número de passos de desruído aumentava de 1 para 4, confirmando que a extração de passo único é ótima.
  • Alinhamento de Protótipos: A $L_{PA}$ proposta superou a perda padrão de entropia cruzada, reduzindo ainda mais o RMSE de 25,01 para 19,57.

Significado e Alegações
Os autores afirmam que o TDCount demonstra que uma única modalidade bem utilizada (térmica) pode igualar sistemas complexos de dual-modalidade através do uso efetivo de características, evitando assim os desafios de alinhamento e os riscos de privacidade inerentes à fusão RGB-T.

Crucialmente, o artigo aborda as preocupações de privacidade relacionadas ao uso de dados RGB durante a fase de treinamento. Os autores argumentam que o ControlNet ajustado não constitui um canal de vazamento de privacidade porque:

1. Limites Arquiteturais: O codificador VAE no Stable Diffusion (subamostragem 8x) comprime características de identidade de alta granularidade (como rostos em fotos de multidões distantes) em tokens latentes, tornando-os irrecuperáveis.
2. Condições de Memorização: Modelos de difusão geralmente memorizam dados de treinamento apenas quando as amostras são fortemente duplicadas; conjuntos de dados de contagem de multidões apresentam indivíduos únicos, e o treinamento usa um prompt genérico ("uma foto de uma multidão de pessoas"), prevenindo o condicionamento específico de identidade.

Assim, o framework separa com sucesso a necessidade de dados RGB (usada uma vez offline para aprender priores multimodais) da fase de implantação (onde apenas dados térmicos são capturados), reduzindo substancialmente a exposição à privacidade na vigilância pública.