💻 computer science

Thermal-Only Crowd Counting with Deployment-Time Privacy Protection

Dieser Beitrag schlägt einen datenschutzkonformen Framework zur Zählung von Menschenmengen ausschließlich auf Basis von Wärmebildern vor, der Diffusionsmodelle zur Umwandlung von Tiefen- in RGB-Daten nutzt, um diskriminierende Merkmale zu extrahieren, und dabei eine konkurrenzfähige Leistung im Vergleich zu Fusionsmethoden für RGB- und Wärmebilddaten erzielt, während gleichzeitig die Notwendigkeit einer kontinuierlichen RGB-Erfassung während der Inferenz entfällt.

Ursprüngliche Autoren: Yifei Qian, Zhongliang Guo, Chun Tong Lei, Bowen Deng, Chun Pong Lau, Xiaopeng Hong, Michael P. Pound

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yifei Qian, Zhongliang Guo, Chun Tong Lei, Bowen Deng, Chun Pong Lau, Xiaopeng Hong, Michael P. Pound

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Menschen zählen, ohne erwischt zu werden

Stellen Sie sich vor, Sie versuchen zu zählen, wie viele Menschen sich in einem überfüllten Park befinden. Normalerweise verwenden Überwachungskameras RGB-Kameras (die Art, die normale Farbfotos macht, wie Ihr Handy). Doch damit gibt es zwei große Probleme:

Privatsphäre: Wenn Sie ein Farbfoto machen, können Sie Gesichter, Kleidung und Identitäten der Menschen erkennen. An öffentlichen Orten möchten Menschen nicht immer in hoher Auflösung gefilmt werden.
Das „Fehlanpassungs"-Problem: Einige Systeme versuchen, zwei Kameras gleichzeitig zu nutzen: eine Farbkamera (RGB) und eine wärmeempfindliche Kamera (Thermal). Sie hoffen, das Beste aus beiden Welten zu kombinieren. Allerdings sind die beiden Kameras selten perfekt ausgerichtet. Es ist wie der Versuch, zwei Karten derselben Stadt zusammenzufügen, wobei die eine leicht nach links verschoben und die andere geneigt ist. Diese „Fehlausrichtung" verwirrt den Computer und macht ihn ungenauer.

Die Lösung: Der „Nur-Thermal"-Detektiv

Die Autoren dieses Papers, TDCount, schlagen einen cleveren neuen Weg vor, um Menschen zu zählen. Sie sagen: „Vergessen wir die Farbkamera während des eigentlichen Zählvorgangs komplett."

Stattdessen verwenden sie eine Thermalkamera (die Wärmesignaturen sieht, wie eine geisterhafte Umrissskizze einer Person) als einzige Eingabe, wenn das System läuft. Dies löst das Datenschutzproblem, da Thermobilder wie leuchtende Flecken aussehen; man kann Gesichter oder spezifische Personen nicht erkennen.

Wie es funktioniert: Der „Geist-Übersetzer"

Thermobilder sind knifflig. Eine Person sieht aus wie ein Wärmefleck, aber genauso tut es ein heißer Automotor oder eine warme Bank. Es ist für einen Computer schwer, sie nur anhand der Wärme zu unterscheiden.

Um dies zu beheben, verwenden die Autoren einen Digitalen Übersetzer (eine Art KI namens Diffusionsmodell). Hier ist die Analogie:

Die Eingabe: Das System nimmt das „fleckige" Thermobild.
Die Brücke: Es schätzt zunächst, wie die „Tiefe" (wie weit Dinge entfernt sind) basierend auf der Wärme aussieht.
Der Übersetzer: Es speist diese Tiefenkarte in eine vortrainierte KI ein, die weiß, wie man aus einer „Tiefenskizze" ein „Farbfoto" macht.
- Stellen Sie es sich so vor: Sie haben eine grobe Bleistiftskizze einer Menschenmenge. Sie geben diese Skizze in einen magischen Künstler ein, der weiß, wie man eine realistische Menschenmenge malt.
Das Geheimnis: Das System zeigt Ihnen das gemalte Farbfoto tatsächlich nicht. Es nutzt nur das mathematische „Verständnis", das der Künstler beim Malen gewonnen hat, um der Thermalkamera zu helfen, die Menschenmenge besser zu verstehen.

Durch die Nutzung dieses „Übersetzers" lernt die Thermalkamera, zwischen einer Person und einem heißen Auto zu unterscheiden, obwohl sie das Farbfoto nie tatsächlich sieht.

Der „Ein-Schritt"-Trick

Normalerweise benötigen diese KI-Übersetzer viele Schritte, um ein Bild zu verfeinern (wie Skizzieren, dann Schattieren, dann Färben). Die Autoren entdeckten etwas Überraschendes: Der erste Schritt ist tatsächlich der beste.

Die Analogie: Stellen Sie sich vor, Sie versuchen, die Form eines versteckten Objekts zu erraten, indem Sie es fühlen.
- Schritt 1: Sie fühlen den allgemeinen Umriss. Er ist rau, aber er sagt Ihnen genau, wo sich das Objekt befindet.
- Schritt 2 & 3: Sie beginnen, die Textur und Farbe zu erraten. Dabei könnten Sie beginnen, Details zu „halluzinieren", die nicht existieren, oder Sie könnten von der Textur abgelenkt werden und die Form aus den Augen verlieren.
Das Ergebnis: Die Autoren stellten fest, dass das Stoppen nach dem sehr ersten Schritt die genaueste Zählung lieferte. Das Warten darauf, dass die KI das Bild „verfeinert", machte die Zählung tatsächlich schlechter, weil es Fehler einführte.

Die Ergebnisse: Besser als das Zwei-Kameras-Team

Das Team testete sein „Nur-Thermal"-System an zwei berühmten Datensätzen (RGBT-CC und DroneRGBT).

Der Wettbewerb: Sie verglichen ihr System mit den besten bestehenden Methoden, die sowohl Farb- als auch Thermalkameras verwenden.
Das Ergebnis: Ihr rein thermisches System funktionierte genauso gut und manchmal sogar besser als Systeme, die zwei Kameras verwenden.
Der Sieg: Sie erreichten eine hohe Genauigkeit, ohne jemals während des eigentlichen Zählvorgangs ein einziges Farbfoto eines Gesichts aufzunehmen.

Warum das wichtig ist (laut dem Paper)

Das Paper betont, dass dies ein datenschutzorientierter Ansatz ist.

Training vs. Einsatz: Sie haben Farbfotos einmal verwendet, um dem „Übersetzer"-KI beizubringen, wie man Menschenmengen versteht. Aber sobald die KI trainiert ist, wird das System in der realen Welt ausschließlich mit Thermalkameras eingesetzt.
Keine kontinuierliche Überwachung: Bei der realen Überwachung ist das größte Datenschutzrisiko, dass die Kamera ständig hochauflösendes Video von Gesichtern aufzeichnet. Dieses System eliminiert dieses Risiko vollständig, indem es im Feld niemals Farbvideos aufzeichnet.

Zusammenfassung

Das Paper stellt TDCount vor, ein System, das Menschenmengen nur mit Wärmesignaturen zählt. Es nutzt einen cleveren KI-Trick, um sich vorzustellen, wie die Szene in Farbe aussieht, um der Wärmekamera zu helfen, die Szene besser zu verstehen, aber es zeichnet oder speichert niemals Farbbilder. Dies macht es hochpräzise, schützt gleichzeitig die Privatsphäre der Menschen, löst das Problem der „fehljustierten" Kameras und beweist, dass man kein Farbobjektiv benötigt, um eine Menschenmenge effektiv zu zählen.

Technische Zusammenfassung: Zählung von Menschenmengen ausschließlich mit Wärmebildern unter Datenschutzschutz zur Einsatzzeit

Problemstellung
Die Zählung von Menschenmengen ist für die öffentliche Sicherheit und die Stadtplanung unverzichtbar, steht jedoch vor erheblichen Herausforderungen bei ungünstigen Lichtverhältnissen und beim Schutz der Privatsphäre. Während RGB-Thermal-(RGB-T)-Fusionsmethoden die Robustheit gegenüber einmodalen RGB-Ansätzen verbessert haben, leiden sie unter zwei kritischen Einschränkungen. Erstens verlassen sie sich während des Einsatzes auf eine kontinuierliche RGB-Aufnahme, was durch die Aufzeichnung identifizierbarer Merkmale (z. B. Gesichter) in öffentlichen Räumen schwerwiegende Datenschutzbedenken aufwirft. Zweitens gehen bestehende Fusionsstrategien implizit von einer perfekten Ausrichtung zwischen RGB- und Wärmesensoren aus; in der Praxis verschlechtern räumliche und zeitliche Fehlausrichtungen aufgrund der Sensorplatzierung und des Aufnahmezeitpunkts die Fusionsleistung. Aktuelle Versuche, Ausrichtungsprobleme zu lösen, bringen nur inkrementelle Verbesserungen, was darauf hindeutet, dass die Umgehung der Notwendigkeit von RGB-Daten insgesamt ein gangbarerer Weg sein könnte.

Methodik: TDCount
Die Autoren stellen TDCount vor, das erste Framework, das für eine rein thermische Inferenz in RGB-T-Szenarien zur Zählung von Menschenmengen konzipiert ist. Die Methode eliminiert die RGB-Abhängigkeit zur Inferenzzeit, nutzt dabei jedoch cross-modale Priors, die während einer kontrollierten Trainingsphase erlernt wurden. Die Kernkomponenten sind:

Depth-to-RGB-Diffusionsbrücke: Um die inhärente Mehrdeutigkeit thermischer Signaturen zu adressieren (z. B. die Schwierigkeit, Menschen von anderen Wärmequellen zu unterscheiden), setzt das Framework ein vortrainiertes Latent Consistency Model (LCM) ein, das über ControlNet angepasst wird. Ein Tiefenschätzmodell generiert eine Tiefenkarte ( $D_T$ ) aus dem Eingabewärmebild ( $T$ ). Diese Tiefenkarte konditioniert das ControlNet, um diskriminierende Merkmale ( $F_{TD}$ ) zu extrahieren, die die thermische Domäne mit der semantischen Fülle von RGB-Daten verbinden, ohne tatsächliche RGB-Eingaben zu benötigen.
Deterministischer latenter Input: Im Gegensatz zu Standard-Diffusionsmodellen, die Rauschen stochastisch abtasten, fixiert TDCount den initialen verrauschten latenten Zustand ( $z_T$ ) als gemeinsamen konstanten Wert über alle Trainings- und Inferenziterationen hinweg. Dies stellt sicher, dass der Merkmalsextraktionsprozess vollständig deterministisch und reproduzierbar ist, und verhindert das Problem der „Viele-zu-Eins"-Zuordnung, bei dem identische Eingaben inkonsistente Merkmale liefern, was andernfalls die Landschaft des Regressionsverlusts pathologisch machen würde.
Ein-Schritt-Entrauschungsstrategie: Die Autoren untersuchen die Anzahl der für die Merkmalsextraktion erforderlichen Entrauschungsschritte. Sie zeigen, dass Ein-Schritt-LCM-Entrauschung Merkmale liefert, die dem strukturellen Inhalt des Tiefenkonditionierungssignals am treuesten sind. Mehrstufige Entrauschung koppelt Merkmale zunehmend vom Konditionierungseingang ab, priorisiert dabei die wahrgenommene Verfeinerung gegenüber der strukturellen Treue und akkumuliert Fehler, die die Zählgenauigkeit verschlechtern.
Prototyp-Ausrichtungsverlust ( $L_{PA}$ ): Um die heterogenen thermischen Merkmale ( $F_T$ ) mit dem diffusionsbasierten semantischen Raum ( $F_{TD}$ ) auszurichten, führt das Framework einen textgeführten Prototyp-Ausrichtungsverlust ein. Dieser Verlust richtet thermische Merkmale mit CLIP-kodierten textuellen Zählprototypen (z. B. „Es befinden sich $c$ Personen in dem Bereich") aus und ermöglicht eine effektive Integration der beiden Merkmalsströme.

Hauptbeiträge

Datenschutz-zentriertes Framework: TDCount ist das erste Framework, das eine rein thermische Inferenz in RGB-T-Szenarien zur Zählung von Menschenmengen ermöglicht und damit den primären Vektor für Datenschutzverletzungen (kontinuierliche RGB-Aufnahme) bei realen Überwachungseinsätzen eliminiert.
LCM-basiertes Merkmalslernen: Die Arbeit stellt ein LCM-basiertes Framework zum Merkmalslernen vor und enthüllt eine kontraintuitive Erkenntnis: Der initiale Ein-Schritt-Entrauschungsschritt liefert diskriminierendere Merkmale für die Zählung als mehrstufige Ansätze, die strukturelle Fehler akkumulieren.
Wettbewerbsfähige Leistung ohne RGB: Die Methode erzielt im Vergleich zu state-of-the-art dual-modalen Methoden eine wettbewerbsfähige Leistung unter Verwendung ausschließlich thermischer Eingaben zur Inferenz und stellt damit die Annahme in Frage, dass RGB-Daten für eine hochpräzise Zählung von Menschenmengen unverzichtbar sind.

Experimentelle Ergebnisse
Das Framework wurde auf zwei weit verbreiteten Datensätzen evaluiert: RGBT-CC und DroneRGBT.

Leistung: Auf dem RGBT-CC-Datensatz übertraf TDCount frühere RGB-T-Methoden und verbesserte GAME(0) um 0,85 sowie RMSE um 1,02 im Vergleich zur MC3Net-Baseline. Auf dem DroneRGBT-Datensatz etablierte es neue State-of-the-Art-Leistungen über alle Metriken hinweg und reduzierte GAME(0) um 0,26 sowie RMSE um 0,39 im Vergleich zur vorherigen besten Methode (RGBT-Booster).
Ablationsstudien:
- Tiefenverarbeitung: Der Ersatz des baseline-Ansatzes für reine Wärmebilder durch die ControlNet-basierte Tiefenverarbeitung reduzierte die Fehler signifikant (GAME(0) sank von 17,05 auf 10,62) und bestätigte den Wert diffusionsbasierter Priors.
- Deterministischer Input: Die Verwendung eines stochastischen latenten Inputs führte dazu, dass das Modell nicht konvergierte (GAME(0) > 50), was die Notwendigkeit des fixierten latenten Designs validiert.
- Entrauschungsschritte: Die Leistung verschlechterte sich monoton, wenn die Anzahl der Entrauschungsschritte von 1 auf 4 erhöht wurde, was bestätigt, dass die Ein-Schritt-Extraktion optimal ist.
- Prototyp-Ausrichtung: Der vorgeschlagene $L_{PA}$ übertraf den Standard-Cross-Entropy-Verlust und reduzierte RMSE weiter von 25,01 auf 19,57.

Bedeutung und Behauptungen
Die Autoren behaupten, dass TDCount zeigt, dass eine einzelne, gut genutzte Modalität (Wärme) komplexe dual-modale Systeme durch effektive Merkmalsnutzung erreichen kann und damit die mit RGB-T-Fusion verbundenen Ausrichtungsprobleme und Datenschutzrisiken vermeidet.

Entscheidend ist, dass die Arbeit Datenschutzbedenken bezüglich der Verwendung von RGB-Daten während der Trainingsphase adressiert. Die Autoren argumentieren, dass der feinabgestimmte ControlNet keinen Kanal für Datenschutzlecks darstellt, weil:

Architektonische Grenzen: Der VAE-Encoder in Stable Diffusion (8-fache Downsampling) feinabgestimmte Identitätsmerkmale (wie Gesichter in weit entfernten Menschenmengen-Aufnahmen) in latente Tokens komprimiert, wodurch sie nicht wiederherstellbar sind.
Memorierungsbedingungen: Diffusionsmodelle speichern Trainingsdaten typischerweise nur dann auswendig, wenn Proben stark dupliziert sind; Datensätze zur Zählung von Menschenmengen weisen einzigartige Individuen auf, und das Training verwendet einen generischen Prompt („ein Foto einer Menschenmenge"), was eine identitätsspezifische Konditionierung verhindert.

Somit trennt das Framework erfolgreich den Bedarf an RGB-Daten (einmalig offline zur Erlernung cross-modaler Priors verwendet) von der Einsatzphase (in der ausschließlich thermische Daten erfasst werden), wodurch die Datenschutzexposition bei öffentlichen Überwachungen erheblich reduziert wird.