Thermal-Only Crowd Counting with Deployment-Time Privacy Protection

Technische Samenvatting: Thermische Alleen Mensentelling met Privacybescherming tijdens Implementatie

Probleemstelling
Mensentelling is essentieel voor openbare veiligheid en stedelijke planning, maar staat voor aanzienlijke uitdagingen bij ongunstige lichtomstandigheden en het behoud van privacy. Hoewel RGB-Thermische (RGB-T) fusiemethoden de robuustheid hebben verbeterd ten opzichte van single-modale RGB-benaderingen, lijden ze onder twee kritieke beperkingen. Ten eerste vertrouwen ze op continue RGB-opname tijdens implementatie, wat ernstige privacyproblemen veroorzaakt door het vastleggen van identificeerbare kenmerken (bijvoorbeeld gezichten) in openbare ruimtes. Ten tweede gaan bestaande fusiestrategieën impliciet uit van perfecte uitlijning tussen RGB- en thermische sensoren; in de praktijk verslechteren ruimtelijke en temporele misaligneringen door sensorplaatsing en opnametiming de fusieprestaties. Huidige pogingen om uitlijnproblemen op te lossen leveren slechts incrementele winsten op, wat suggereert dat het volledig omzeilen van de behoefte aan RGB-gegevens een meer hanteerbare weg kan zijn.

Methodologie: TDCount
De auteurs stellen TDCount voor, het eerste framework ontworpen voor thermische alleen-inferentie in RGB-T mensentellingsscenario's. De methode elimineert RGB-afhankelijkheid op het moment van inferentie, terwijl het gebruikmaakt van cross-modale priors die zijn geleerd tijdens een gecontroleerde trainingsfase. De kerncomponenten zijn:

1. Diepte-naar-RGB Diffusiebrug: Om de inherente ambiguïteit van thermische signatuur te adresseren (bijvoorbeeld de moeilijkheid om mensen te onderscheiden van andere warmtebronnen), maakt het framework gebruik van een vooraf getraind Latent Consistency Model (LCM) dat is aangepast via ControlNet. Een diepteschattingmodel genereert een dieptekaart ($D_T$) vanuit de invoerthermische afbeelding ($T$). Deze dieptekaart conditioneert de ControlNet om discriminerende kenmerken ($F_{TD}$) te extraheren die het thermische domein verbinden met de semantische rijkdom van RGB-gegevens zonder daadwerkelijke RGB-invoer te vereisen.
2. Deterministische Latente Invoer: In tegenstelling tot standaarddiffusiemodellen die stochastisch ruis bemonsteren, fixeert TDCount de initiële ruizige latent ($z_T$) als een gedeelde constante over alle trainings- en inferentieiteraties. Dit zorgt ervoor dat het kenmerkextractieproces volledig deterministisch en reproduceerbaar is, waardoor het "veel-naar-een"-toewijzingsprobleem wordt voorkomen waarbij identieke invoer leidt tot inconsistente kenmerken, wat anders het regressieverlieslandschap pathologisch zou maken.
3. Een-staps Ontruingstrategie: De auteurs onderzoeken het aantal ontruingstappen dat nodig is voor kenmerkextractie. Zij tonen aan dat een-staps LCM-ontruing kenmerken oplevert die het meest trouw zijn aan de structurele inhoud van het diepteconditioneringssignaal. Meerdere-staps ontruing koppelt kenmerken geleidelijk los van de conditionering-invoer, prioriterend perceptuele verfijning boven structurele fideliteit en accumulerend fouten die de telnauwkeurigheid verslechteren.
4. Prototype Uitlijnverlies ($L_{PA}$): Om de heterogene thermische kenmerken ($F_T$) uit te lijnen met de diffusie-afgeleide semantische ruimte ($F_{TD}$), introduceert het framework een tekst-gestuurde prototype-uitlijnverliesfunctie. Dit verlies aligneert thermische kenmerken met CLIP-coderende tekstuele telprototypen (bijvoorbeeld "Er zijn $c$ mensen in het gebied"), waardoor een effectieve integratie van de twee kenmerkstromen wordt vergemakkelijkt.

Belangrijkste Bijdragen

• Privacygerichte Framework: TDCount is het eerste framework dat thermische alleen-inferentie mogelijk maakt in RGB-T mensentelling, waardoor de primaire privacyblootstellingsvector (continue RGB-opname) in real-world surveillance-implementaties wordt geëlimineerd.
• LCM-gebaseerde Kenmerklering: Het paper introduceert een LCM-gebaseerd kenmerkleringsframework en onthult een tegen-intuïtieve bevinding: de initiële een-staps ontruingstap levert meer discriminerende kenmerken voor telling op dan meer-staps benaderingen, die structurele fouten accumuleren.
• Concurrerende Prestaties zonder RGB: De methode bereikt concurrerende prestaties ten opzichte van state-of-the-art dual-modale methoden met uitsluitend thermische invoer tijdens inferentie, wat de aanname uitdaagt dat RGB-gegevens onmisbaar zijn voor hoog-nauwkeurige mensentelling.

Experimentele Resultaten
Het framework werd geëvalueerd op twee veelgebruikte datasets: RGBT-CC en DroneRGBT.

• Prestaties: Op de RGBT-CC dataset overtrof TDCount eerdere RGB-T methoden, met een verbetering van GAME(0) met 0,85 en RMSE met 1,02 ten opzichte van de MC3Net-baseline. Op de DroneRGBT-dataset vestigde het nieuwe state-of-the-art prestaties over alle metrieken, met een reductie van GAME(0) met 0,26 en RMSE met 0,39 ten opzichte van de vorige beste methode (RGBT-Booster).
• Ablatiestudies:
  • Diepteverwerking: Het vervangen van de baseline thermische alleen-benadering door ControlNet-gebaseerde diepteverwerking verminderde de fouten aanzienlijk (GAME(0) daalde van 17,05 naar 10,62), wat de waarde van diffusie-afgeleide priors bevestigt.
  • Deterministische Invoer: Het gebruik van een stochastische latent-invoer veroorzaakte dat het model faalde om te convergeren (GAME(0) > 50), wat de noodzaak van het vaste latent-ontwerp valideert.
  • Ontruingstappen: De prestaties degradeerden monotoon naarmate het aantal ontruingstappen toenam van 1 naar 4, wat bevestigt dat een-staps extractie optimaal is.
  • Prototype Uitlijning: De voorgestelde $L_{PA}$ overtrof standaard cross-entropy-verlies, met een verdere reductie van RMSE van 25,01 naar 19,57.

Betekenis en Claims
De auteurs claimen dat TDCount aantoont dat een enkele, goed benutte modality (thermisch) complexe dual-modale systemen kan evenaren door effectieve kenmerkbenutting, waardoor de uitlijnuitdagingen en privacyrisico's inherent aan RGB-T fusie worden vermeden.

Cruciaal is dat het paper privacyzorgen adresseert met betrekking tot het gebruik van RGB-gegevens tijdens de trainingsfase. De auteurs betogen dat de fine-tuned ControlNet geen privacylek-kanaal vormt omdat:

1. Architecturale Grenzen: De VAE-encoder in Stable Diffusion (8x downsampling) fijne identiteitskenmerken (zoals gezichten in verre menigtes) comprimeert tot latent tokens, waardoor ze niet herstelbaar zijn.
2. Memoriseringscondities: Diffusiemodellen onthouden trainingsgegevens doorgaans alleen wanneer samples zwaar gedupliceerd zijn; mensentelling-datasets bevatten unieke individuen, en de training gebruikt een generieke prompt ("een foto van een menigte mensen"), wat identiteits-specifieke conditionering voorkomt.

Zo slaagt het framework erin om de behoefte aan RGB-gegevens (eenmalig offline gebruikt voor het leren van cross-modale priors) te scheiden van de implementatiefase (waar alleen thermische gegevens worden vastgelegd), waardoor de privacyblootstelling in openbare surveillance aanzienlijk wordt verminderd.