Thermal-Only Crowd Counting with Deployment-Time Privacy Protection

Resumen Técnico: Conteo de Multitudes Solo con Infrarrojos Térmicos con Protección de Privacidad en el Momento de la Despliegue

Enunciado del Problema
El conteo de multitudes es esencial para la seguridad pública y la planificación urbana, pero enfrenta desafíos significativos en condiciones de iluminación adversas y en la preservación de la privacidad. Si bien los métodos de fusión RGB-Térmico (RGB-T) han mejorado la robustez frente a los enfoques de un solo modo RGB, adolecen de dos limitaciones críticas. En primer lugar, dependen de la captura continua de RGB durante el despliegue, lo que plantea graves preocupaciones de privacidad al registrar características identificables (por ejemplo, rostros) en espacios públicos. En segundo lugar, las estrategias de fusión existentes asumen implícitamente una alineación perfecta entre los sensores RGB y térmicos; en la práctica, las desalineaciones espaciales y temporales debidas a la colocación de los sensores y al momento de adquisición degradan el rendimiento de la fusión. Los intentos actuales de resolver los problemas de alineación solo producen ganancias incrementales, lo que sugiere que eludir por completo la necesidad de datos RGB podría ser un camino más viable.

Metodología: TDCount
Los autores proponen TDCount, el primer marco diseñado para la inferencia solo con infrarrojos térmicos en escenarios de conteo de multitudes RGB-T. El método elimina la dependencia de RGB en el momento de la inferencia, aprovechando al mismo tiempo los priores de modo cruzado aprendidos durante una fase de entrenamiento controlada. Los componentes principales son:

1. Puente de Difusión de Profundidad a RGB: Para abordar la ambigüedad inherente de las firmas térmicas (por ejemplo, la dificultad de distinguir a los humanos de otras fuentes de calor), el marco emplea un Modelo de Consistencia Latente (LCM) preentrenado adaptado mediante ControlNet. Un modelo de estimación de profundidad genera un mapa de profundidad ($D_T$) a partir de la imagen térmica de entrada ($T$). Este mapa de profundidad condiciona al ControlNet para extraer características discriminativas ($F_{TD}$) que puentean el dominio térmico con la riqueza semántica de los datos RGB sin requerir una entrada RGB real.
2. Entrada Latente Determinista: A diferencia de los modelos de difusión estándar que muestrean ruido estocásticamente, TDCount fija la latencia ruidosa inicial ($z_T$) como una constante compartida en todas las iteraciones de entrenamiento e inferencia. Esto garantiza que el proceso de extracción de características sea completamente determinista y reproducible, evitando el problema de la relación "muchos-a-uno" donde entradas idénticas producen características inconsistentes, lo que de otro modo haría que el paisaje de la pérdida de regresión fuera patológico.
3. Estrategia de Desruido de Paso Único: Los autores investigan el número de pasos de desruido necesarios para la extracción de características. Demuestran que el desruido de LCM de paso único produce características más fieles al contenido estructural de la señal de condicionamiento de profundidad. El desruido de múltiples pasos desacopla progresivamente las características de la entrada de condicionamiento, priorizando el refinamiento perceptual sobre la fidelidad estructural y acumulando errores que degradan la precisión del conteo.
4. Pérdida de Alineación de Prototipos ($L_{PA}$): Para alinear las características térmicas heterogéneas ($F_T$) con el espacio semántico derivado de la difusión ($F_{TD}$), el marco introduce una pérdida de alineación de prototipos guiada por texto. Esta pérdida alinea las características térmicas con prototipos de conteo textuales codificados por CLIP (por ejemplo, "Hay $c$ personas en el área"), facilitando una integración efectiva de los dos flujos de características.

Contribuciones Clave

• Marco Centrado en la Privacidad: TDCount es el primer marco que permite la inferencia solo con infrarrojos térmicos en el conteo de multitudes RGB-T, eliminando el vector principal de exposición a la privacidad (captura continua de RGB) en despliegues de vigilancia del mundo real.
• Aprendizaje de Características Basado en LCM: El artículo introduce un marco de aprendizaje de características basado en LCM y revela un hallazgo contra intuitivo: el paso inicial de desruido de un solo paso proporciona características más discriminativas para el conteo que los enfoques de múltiples pasos, los cuales acumulan errores estructurales.
• Rendimiento Competitivo sin RGB: El método logra un rendimiento competitivo frente a los métodos de doble modalidad más avanzados utilizando solo entrada térmica en la inferencia, desafiando la suposición de que los datos RGB son indispensables para el conteo de multitudes de alta precisión.

Resultados Experimentales
El marco fue evaluado en dos conjuntos de datos ampliamente utilizados: RGBT-CC y DroneRGBT.

• Rendimiento: En el conjunto de datos RGBT-CC, TDCount superó a los métodos RGB-T anteriores, mejorando GAME(0) en 0.85 y RMSE en 1.02 en comparación con la línea base MC3Net. En el conjunto de datos DroneRGBT, estableció un nuevo rendimiento de última generación en todas las métricas, reduciendo GAME(0) en 0.26 y RMSE en 0.39 en comparación con el método anterior más destacado (RGBT-Booster).
• Estudios de Ablación:
  • Procesamiento de Profundidad: Reemplazar el enfoque básico solo con térmicos con el procesamiento de profundidad basado en ControlNet redujo significativamente los errores (GAME(0) disminuyó de 17.05 a 10.62), confirmando el valor de los priores derivados de la difusión.
  • Entrada Determinista: El uso de una entrada latente estocástica provocó que el modelo no lograra converger (GAME(0) > 50), validando la necesidad del diseño de latencia fija.
  • Pasos de Desruido: El rendimiento se degradó monótonamente a medida que aumentaba el número de pasos de desruido de 1 a 4, confirmando que la extracción de un solo paso es óptima.
  • Alineación de Prototipos: La propuesta $L_{PA}$ superó a la pérdida estándar de entropía cruzada, reduciendo aún más el RMSE de 25.01 a 19.57.

Significado y Afirmaciones
Los autores afirman que TDCount demuestra que una sola modalidad bien utilizada (térmica) puede igualar a sistemas complejos de doble modalidad mediante un uso efectivo de las características, evitando así los desafíos de alineación y los riesgos de privacidad inherentes a la fusión RGB-T.

Crucialmente, el artículo aborda las preocupaciones de privacidad relacionadas con el uso de datos RGB durante la fase de entrenamiento. Los autores argumentan que el ControlNet ajustado no constituye un canal de fuga de privacidad porque:

1. Límites Arquitectónicos: El codificador VAE en Stable Diffusion (submuestreo 8x) comprime las características de identidad de grano fino (como rostros en tomas de multitudes distantes) en tokens latentes, haciéndolos irrecuperables.
2. Condiciones de Memorización: Los modelos de difusión suelen memorizar datos de entrenamiento solo cuando las muestras están fuertemente duplicadas; los conjuntos de datos de conteo de multitudes presentan individuos únicos, y el entrenamiento utiliza un indicador genérico ("una foto de una multitud de personas"), lo que previene el condicionamiento específico de identidad.

Por lo tanto, el marco separa con éxito la necesidad de datos RGB (utilizados una vez fuera de línea para aprender priores de modo cruzado) de la fase de despliegue (donde solo se capturan datos térmicos), reduciendo sustancialmente la exposición a la privacidad en la vigilancia pública.