💻 computer science

Thermal-Only Crowd Counting with Deployment-Time Privacy Protection

تقترح هذه الورقة إطار عمل لحساب الحشود يعتمد على التصوير الحراري فقط ويحافظ على الخصوصية، وذلك عبر الاستفادة من نماذج الانتشار من العمق إلى RGB لاستخراج ميزات تمييزية، محققةً أداءً تنافسياً مقابل طرق دمج RGB والحراري مع إلغاء الحاجة إلى الالتقاط المستمر لصور RGB أثناء الاستدلال.

المؤلفون الأصليون: Yifei Qian, Zhongliang Guo, Chun Tong Lei, Bowen Deng, Chun Pong Lau, Xiaopeng Hong, Michael P. Pound

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yifei Qian, Zhongliang Guo, Chun Tong Lei, Bowen Deng, Chun Pong Lau, Xiaopeng Hong, Michael P. Pound

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

المشكلة الكبيرة: عدّ الناس دون أن يتم كشفك

تخيل أنك تحاول عدّ عدد الأشخاص في حديقة مزدحمة. عادةً، تستخدم كاميرات المراقبة كاميرات RGB (من النوع الذي يلتقط صوراً ملونة عادية، مثل هاتفك). ولكن هناك مشكلتان كبيرتان في هذا الأمر:

الخصوصية: إذا التقطت صورة ملونة، يمكنك رؤية الوجوه، والملابس، والهويات. في الأماكن العامة، لا يرغب الناس دائماً في أن يتم تصويرهم بدقة عالية.
مشكلة "عدم التطابق": تحاول بعض الأنظمة استخدام كاميرتين في آن واحد: واحدة ملونة (RGB) وأخرى حساسة للحرارة (Thermal). يأملون من خلال ذلك الجمع بين أفضل ما في العالمين. ومع ذلك، نادراً ما تكون الكاميرتان متطابقتين تماماً. الأمر يشبه محاولة دمج خريطتين لنفس المدينة، حيث تكون إحداهما مزاحة قليلاً إلى اليسار والأخرى مائلة. هذا "عدم المحاذاة" يجعل الكمبيوتر مرتبكاً وأقل دقة.

الحل: المحقق "الحراري فقط"

يقترح مؤلفو هذه الورقة البحثية، نظام TDCount، طريقة ذكية وجديدة لعدّ الأشخاص. يقولون: "دعونا ننسى الكاميرا الملونة تماماً أثناء عملية العد الفعلية."

بدلاً من ذلك، يستخدمون كاميرا حرارية (التي ترى البصمات الحرارية، مثل الخطوط العريضة الشبحية لشخص ما) كمدخل وحيد عند تشغيل النظام. هذا يحل مشكلة الخصوصية لأن الصور الحرارية تبدو ككتل متوهجة؛ لا يمكنك التعرف على الوجوه أو أشخاص محددين.

كيف يعمل: "المترجم الشبح"

الصور الحرارية مخادعة. يبدو الشخص ككتلة من الحرارة، وكذلك محرك السيارة الساخن أو المقعد الدافئ. من الصعب على الكمبيوتر التمييز بينهم بمجرد النظر إلى الحرارة.

لإصلاح ذلك، يستخدم المؤلفون مترجماً رقمياً (نوع من الذكاء الاصطناعي يسمى نموذج الانتشار - Diffusion Model). إليك التشبيه:

المدخلات: يأخذ النظام الصورة الحرارية "الكتلية".
الجسر: يقوم أولاً بتخمين كيف يبدو "العمق" (مدى بعد الأشياء) بناءً على الحرارة.
المترجم: يقوم بتغذية خريطة العمق هذه في ذكاء اصطناٍ مسبق التدريب يعرف كيفية تحويل "رسم تخطيطي للعمق" إلى "صورة ملونة".
- فكر في الأمر هكذا: تخيل أن لديك رسماً تخطيطياً أولياً بالرصاص لحشد من الناس. أنت تغذي هذا الرسم في فنان سحري يعرف كيف يرسم مشهداً واقعياً لحشد.
السر الخفي: النظام لا يعرض لك في الواقع الصورة الملونة المرسومة. إنه يستخدم فقط "الفهم الرياضي" الذي اكتسبه الفنان أثناء الرسم لمساعدة الكاميرا الحرارية على فهم الحشد بشكل أفضل.

باستخدام هذا "المترجم"، تتعلم الكاميرا الحرارية التمييز بين الشخص والسيارة الساخنة، رغم أنها لا ترى الصورة الملونة فعلياً.

خدعة "الخطوة الواحدة"

عادةً ما تستغرق هذه المترجمات للذكاء الاصطناعي خطوات عديدة لتنقية الصورة (مثل الرسم، ثم التظليل، ثم التلوين). اكتشف المؤلفون شيئاً مفاجئاً: الخطوة الأولى هي في الواقع الأفضل.

التشبيه: تخيل أنك تحاول تخمين شكل جسم مخفي عن طريق لمسه.
- الخطوة 1: تشعر بالخطوط العريضة العامة. إنها خشنة، لكنها تخبرك بالضبط بمكان الجسم.
- الخطوة 2 و3: تبدأ في محاولة تخمين الملمس واللون. أثناء القيام بذلك، قد تبدأ في "تخيل" تفاصيل ليست موجودة، أو قد يتشتت انتباهك بسبب الملمس وتفقد تتبع الشكل.
النتيجة: وجد المؤلفون أن التوقف بعد الخطوة الأولى مباشرة أعطى أدق عملية عدّ. الانتظار حتى يقوم الذكاء الاصطناعي بـ "تنقية" الصورة جعل عملية العدّ أسوأ في الواقع لأنه أدخل أخطاءً.

النتائج: أفضل من فريق الكاميرتين

اختبر الفريق نظامهم "الحراري فقط" على مجموعتي بيانات شهيرتين (RGBT-CC و DroneRGBT).

المنافسة: قارنوا نظامهم بأفضل الطرق الموجودة التي تستخدم كاميرات ملونة وحرارية معاً.
النتيجة: حقق نظامهم "الحراري فقط" أداءً مساوياً، وأحياناً أفضل، من الأنظمة التي تستخدم كاميرتين.
الفوز: حققوا دقة عالية دون التقاط صورة ملونة واحدة لوجه أي شخص أثناء عملية العد الفعلية.

لماذا هذا مهم (وفقاً للورقة البحثية)

تؤكد الورقة أن هذا نهج يضع الخصوصية أولاً.

التدريب مقابل التشغيل: لقد استخدموا الصور الملونة مرة واحدة فقط لتعليم "المترجم" (الذكاء الاصطناعي) كيفية فهم الحشود. ولكن بمجرد تدريب الذكاء الاصطناعي، يتم نشر النظام في العالم الحقيقي باستخدام الكاميرات الحرارية فقط.
لا مراقبة مستمرة: في المراقبة في العالم الحقيقي، أكبر خطر على الخصوصية هو قيام الكاميرا بتسجيل فيديو عالي الدقة لوجوه الناس باستمرار. هذا النظام يلغي هذا الخطر تماماً عبر عدم تسجيل فيديو ملون في الميدان أبداً.

الملخص

تقدم الورقة نظام TDCount، وهو نظام يعد الحشود باستخدام البصمات الحرارية فقط. يستخدم خدعة ذكية من الذكاء الاصطناعي "لتخيل" كيف يبدو المشهد بالألوان لمساعدة الكاميرا الحرارية على فهم المشهد بشكل أفضل، لكنه لا يسجل أو يخزن الصور الملونة فعلياً. هذا يجعله دقيقاً للغاية مع حماية خصوصية الناس، ويحل مشكلة الكاميرات "غير المتوافقة"، ويثبت أنك لست بحاجة إلى عدسة ملونة لعد الحشود بفعالية.

ملخص تقني: عدّ الحشود باستخدام الموجات الحرارية فقط مع حماية الخصوصية عند النشر

بيان المشكلة
يعد عدّ الحشود أمراً ضرورياً للسلامة العامة والتخطيط الحضري، ولكنه يواجه تحديات كبيرة في ظروف الإضاءة السيئة والحفاظ على الخصوصية. وبينما أدت طرق دمج الصور الملونة والحرارية (RGB-T) إلى تحسين المتانة مقارنة بالأسالهم أحادية النمط (RGB)، إلا أنها تعاني من قصورين حرجين. أولاً، تعتمد هذه الطرق على الالتقاط المستمر لصور RGB أثناء النشر، مما يثير مخاوف شديدة بشأن الخصوصية من خلال تسجيل السمات القابلة للتمييز (مثل الوجوه) في الأماكن العامة. ثانياً، تفترض استراتيجيات الدمج الحالية ضمناً وجود محاذاة مثالية بين مستشعرات RGB والمستشعرات الحرارية؛ وفي الواقع، تؤدي حالات عدم المحاذاة المكانية والزمانية الناتجة عن وضع المستشعرات وتوقيت الالتقاط إلى تدهور أداء الدمج. إن المحاولات الحالية لحل مشكلات المحاذاة لا تحقق سوى مكاسب تدريجية طفيفة، مما يشير إلى أن تجنب الحاجة إلى بيانات RGB تماماً قد يكون مساراً أكثر قابلية للتطبيق.

المنهجية: TDCount
يقترح المؤلفون إطار عمل TDCount، وهو أول إطار مصمم للاستدلال باستخدام الموجات الحرارية فقط في سيناريوهات عدّ حشود RGB-T. يلغي هذا الأسلوب الاعتماد على RGB في وقت الاستدلال مع الاستفادة من الأوليات عبر-النمطية (cross-modal priors) التي يتم تعلمها خلال مرحلة تدريب محكومة. المكونات الأساسية هي:

جسر الانتشار من العمق إلى RGB (Depth-to-RGB Diffusion Bridge): لمعالجة الغموض المتأصل في البصمات الحرارية (على سبيل المثال، صعوبة التمييز بين البشر ومصادر الحرارة الأخرى)، يستخدم إطار العمل نموذج اتساق كامن (LCM) مدرب مسبقاً تم تكييفه عبر ControlNet. يقوم نموذج تقدير العمق بتوليد خريطة عمق ( $D_T$ ) من الصورة الحرارية المدخلة ( $T$ ). تقوم خريطة العمق هذه بتوجيه الـ ControlNet لاستخراج ميزات تمييزية ( $F_{TD}$ ) تجسر الفجوة بين النطاق الحراري والثراء الدلالي لبيانات RGB دون الحاجة إلى مدخلات RGB فعلية.
المدخل الكامن الحتمي (Deterministic Latent Input): على عكس نماذج الانتشار القياسية التي تعتمد على أخذ عينات الضجيج بشكل عشوائي، يقوم TDCount بتثبيت الضجيج الكامن الأولي ( $z_T$ ) كثابت مشترك عبر جميع دورات التدريب والاستدلال. يضمن ذلك أن عملية استخراج الميزات تكون حتمية وقابلة للتكرار بالكامل، مما يمنع مشكلة "العديد إلى واحد" حيث تؤدي المدخلات المتطابقة إلى ميزات غير متسقة، وهو ما قد يجعل منحدر خسارة الانحدار (regression loss landscape) غير سليم.
استراتيجية إزالة الضجيج بخطوة واحدة: يبحث المؤلفون في عدد خطوات إزالة الضجيج المطلوبة لاستخراج الميزات. وقد أثبتوا أن إزالة ضجيج LCM بخطوة واحدة توفر ميزات أكثر أمانة للمحتوى الهيكلي لإشارة التوجيه بالعمق. فعملية إزالة الضجيج متعددة الخطوات تفك الارتباط تدريجياً بين الميزات ومدخلات التوجيه، مما يعطي الأولوية للتحسين الإدراكي على حساب الدقة الهيكلية، ويؤدي إلى تراكم الأخطاء التي تضعف دقة العدّ.
خسارة محاذاة النموذج الأولي ( $L_{PA}$ ): لمحاذاة الميزات الحرارية غير المتجانسة ( $F_T$ ) مع الفضاء الدلالي المشتق من الانتشار ( $F_{TD}$ )، يقدم إطار العمل خسارة محاذاة نموذج أولي موجهة نصياً. تقوم هذه الخسارة بمحاذاة الميزات الحرارية مع نماذج أولية نصية مشفرة بواسطة CLIP (مثل "هناك $c$ من الأشخاص في المنطقة")، مما يسهل التكامل الفعال بين تدفقي الميزات.

المساهمات الرئيسية

إطار عمل يركز على الخصوصية: يعد TDCount أول إطار عمل يسمح بالاستدلال الحراري فقط في سيناريوهات عدّ حشود RGB-T، مما يلغي ناقل التعرض الرئيسي للخصوصية (الالتقاط المستمر لـ RGB) في عمليات المراقبة في العالم الحقيقي.
تعلم الميزات القائم على LCM: يقدم البحث إطار عمل لتعلم الميزات يعتمد على LCM ويكشف عن نتيجة غير متوقعة: خطوة إزالة الضجيج الواحدة توفر ميزات أكثر تمييزاً للعدّ مقارنة بالنهج متعدد الخطوات، والتي تراكم الأخطاء الهيكلية.
أداء تنافسي بدون RGB: يحقق الأسلوب أداءً تنافسياً مقابل الأساليب مزدوجة النمط المتطورة باستخدام المدخلات الحرارية فقط عند الاستدلال، مما يتحدى الافتراض بأن بيانات RGB لا غنى عنها لعدّ الحشود عالي الدقة.

النتائج التجريبية
تم تقييم إطار العمل على مجموعتي بيانات واسعتي الاستخدام: RGBT-CC و DroneRGBT.

الأداء: في مجموعة بيانات RGBT-CC، تفوق TDCount على أساليب RGB-T السابقة، حيث حسن مقياس GAME(0) بمقدار 0.85 ومقياس RMSE بمقدار 1.02 مقارنة بأسلوب MC3Net المرجعي. وفي مجموعة بيانات DroneRGBT، حقق أداءً قياسياً جديداً (SOTA) عبر جميع المقاييس، حيث قلل GAME(0) بمقدار 0.26 و RMSE بمقدار 0.39 مقارنة بأفضل طريقة سابقة (RGBT-Booster).
دراسات الاستئصال (Ablation Studies):
- معالجة العمق: أدى استبدال النهج الحراري المرجعي بمعالجة العمق القائمة على ControlNet إلى تقليل الأخطاء بشكل كبير (انخفض GAME(0) من 17.05 إلى 10.62)، مما يؤكد قيمة الأوليات المشتقة من الانتشار.
- المدخل الحتمي: استخدام مدخل كامن عشوائي تسبب في فشل النموذج في التقارب (GAME(0) > 50)، مما يثبت ضرورة تصميم الكامن الثابت.
- خطوات إزالة الضجيج: تدهور الأداء بشكل رتيب مع زيادة عدد خطوات إزالة الضجيج من 1 إلى 4، مما يؤكد أن استخراج الخطوة الواحدة هو الأمثل.
- محاذاة النموذج الأولي: تفوق مقترح $L_{PA}$ على خسارة الإنتروبيا المتقاطعة القياسية، مما قلل RMSE من 25.01 إلى 19.57.

الأهمية والادعاءات
يزعم المؤلفون أن TDCount يثبت أن نمطاً واحداً (الحراري) يمكن استغلاله جيداً لمطابقة الأنظمة المعقدة مزدوجة الأنماط من خلال الاستخدام الفعال للميزات، وبالتالي تجنب تحديات المحاذاة ومخاطر الخصوصية المتأصلة في دمج RGB-T.

وعلاوة على ذلك، يتناول البحث مخاوف الخصوصية المتعلقة باستخدام بيانات RGB خلال مرحلة التدريب. يجادل المؤلفون بأن نموذج ControlNet الذي تم ضبطه بدقة لا يشكل قناة تسريب للخصوصية لأن:

القيود الهيكلية: يقوم مشفر VAE في Stable Diffusion (بتقليص 8 أضعاف) بضغط ميزات الهوية الدقيقة (مثل الوجوه في لقطات الحشود البعيدة) إلى رموز كامنة، مما يجعل استعادتها مستحيلة.
شروط الحفظ (Memorization): عادة ما تحفظ نماذج الانتشار بيانات التدريب فقط عندما تكون العينات مكررة بكثافة؛ بينما تتميز مجموعات بيانات عدّ الحشود بأفراد فريدين، كما أن التدريب يستخدم وصفاً عاماً ("صورة لحشد من الناس")، مما يمنع التوجيه المرتبط بهوية محددة.

وبناءً على ذلك، ينجح إطار العمل في الفصل بين الحاجة إلى بيانات RGB (المستخدمة مرة واحدة "أوفلاين" لتعلم الأوليات عبر-النمطية) وبين مرحلة النشر (حيث يتم التقاط البيانات الحرارية فقط)، مما يقلل بشكل كبير من التعرض للخصوصية في المراقبة العامة.