📊 statistics

CROCS: A Two-Stage Clustering Framework for Behaviour-Centric Consumer Segmentation with Smart Meter Data

تقترح الورقة البحثية إطار عمل CROCS، وهو إطار تجميع جديد يتكون من مرحلتين يستفيد من بيانات العدادات الذكية لإنشاء قطاعات مستهلكين قوية تتمحور حول السلوك، وذلك من خلال تلخيص ملفات الأحمال اليومية الفردية أولاً في مجموعات تمثيلية ثم تجميع المستهلكين بناءً على التشابه الموزون لهذه المجموعات، مما يساهم بفعالية في التقاط التنوع السلوكي ومعالجة شذوذ البيانات لتحسين إدارة جانب الطلب.

المؤلفون الأصليون: Luke W. Yerbury, Ricardo J. G. B. Campello, G. C. Livingston Jr, Mark Goldsworthy, Lachlan O'Neil

نُشر 2026-05-26

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Luke W. Yerbury, Ricardo J. G. B. Campello, G. C. Livingston Jr, Mark Goldsworthy, Lachlan O'Neil

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك مخطط مدن يحاول فهم كيفية استهلاك آلاف العائلات المختلفة للكهرباء. لديك كومة هائلة من البيانات: كل يوم لسنوات، تعرف بالضبط متى أشعلوا الأضواء، أو استخدموا الفرن، أو شغّلوا مكيف الهواء.

المشكلة هي أن الناس فوضويون. قد تعمد إحدى العائلات إلى الطبخ في الساعة 6 مساءً أيام الثلاثاء، ولكن في الساعة 8 مساءً أيام الجمعة. أو قد يكون لدى عائلة أخرى روتين "الأحد الكسول" الذي لا يشبه أبداً روتين "الاثنين المزدحم". الطرق التقليدية لتجميع هؤلاء الأشخاص غالباً ما تفشل لأنها تحاول حشر الجميع في "متوسط" جدول زمني واحد جامد. الأمر يشبه محاولة وصف شخصية إنسان بالنظر فقط إلى صورة له التُقطت عند الظهيرة يوم الثلاثاء؛ ستفقد الصورة الكاملة.

تقدم هذه الورقة أداة جديدة تسمى CROCS (التمثيلات العنقودية لتحسين تقسيم المستهلكين - Clustered Representations Optimising Consumer Segmentation). فكر في CROCS كآلة فرز ذكية مكونة من خطوتين، مصممة لإيجاد مجموعات من الناس يتصرفون بشكل متشابه، حتى لو لم يفعلوا ذلك في نفس الوقت تماماً.

إليك كيف تعمل، مقسمة إلى خطوات بسيطة:

الخطوة 1: فرز "المذكرات اليومية" (المرحلة الأولى)

بدلاً من سحق بيانات عام كامل في متوسط واحد ممل، تنظر CROCS إلى عادات كل شخص يومياً بشكل فردي.

التشبيه: تخيل أنك تطلب من كل عائلة فرز صورهم اليومية في مجموعات.
- العائلة (أ) قد يكون لديها كومة لأيام "الاستيقاظ المبكر"، وكومة لأيام "لاعب الليل المتأخر"، وكومة لأيام "وضع الإجازة".
- العائلة (ب) قد يكون لديها كومة لـ "أيام العمل" وكومة لـ "حفلة عطلة نهاية الأسبوع".
ما تفعله CROCS: إنها تنشئ مجموعة أحمال تمثيلية (RLS) لكل عائلة. هذا ليس مجرد صورة واحدة؛ بل هو ألبوم صغير لـ "شخصياتهم" الأكثر شيوعاً. إنه يجسد حقيقة أن العائلة ليست شيئاً واحداً فقط، بل لديها عدة طرق مختلفة للعيش.
الفائدة: هذه الخطوة مرنة للغاية. فهي لا تهتم إذا كان لدى العائلة بيانات لـ 10 أيام أو 1000 يوم. ولا تهتم إذا كانت لديهم "بيانات سيئة" (مثل يوم ذهبوا فيه في إجازة ولم يستخدموا الثلاجة). إنها تقوم فقط بتجميع أيامهم معاً أولاً.

الخطوة 2: "لعبة المطابقة" (المرحلة الثانية)

الآن بعد أن أصبح لكل عائلة ألبومها الصغير من العادات اليومية، تحتاج CROCS إلى تجميع العائلات معاً.

التشبيه: تخيل أنك تحاول مطابقة العائلات بناءً على ألبوماتها.
- الطريقة القديمة: "هل تتناولان العشاء في الساعة 6:00 مساءً بالضبط؟" إذا كانت العائلة (أ) تأكل في الساعة 6:00 والعائلة (ب) في الساعة 6:15، فإن الطريقة القديمة تقول: "أنتما مختلفان!".
- طريقة CROCS: "هل لديكما كلاهما عادة 'وقت العشاء'، حتى لو كانت إحداهما في الساعة 6:00 والأخرى في الساعة 6:15؟"
السر الخفي (WSMD): تستخدم CROCS خدعة رياضية خاصة تسمى مجموع المسافات الدنيا الموزونة (WSMD). فكر في هذا كنظام تسجيل يقول:
1. انظر إلى عادة "العشاء" للعائلة (أ). ابحث عن أقرب تطابق لها في ألبوم العائلة (ب).
2. خطوة حاسمة: احسب عدد مرات حدوث تلك العادة. إذا كانت العائلة (أ) تأكل في الساعة 6:00 مساءً بنسبة 90% من الوقت، فهذه العادة مهمة جداً. أما إذا كانت تفعل ذلك بنسبة 1% فقط، فهي مجرد حالة استثنائية.
3. يعطي النظام وزناً أكبر للعادات الشائعة ويتجاهل الأيام الغريبة والعابرة.
النتيجة: تجد أن العائلة (أ) والعائلة (ب) متشابهتان جداً، حتى لو كانت ساعاتهما غير متزامنة قليلاً. تجمع بينهما لأن لديهما نفس أنواع الأيام، ولكن بجداول زمنية مختلفة.

لماذا هذا مهم (لحظات الإدراك!)

تسلط الورقة الضوء على ثلاثة أمور رئيسية تتفوق فيها هذه الطريقة الجديدة على الطرق القديمة:

التعامل مع "التوائم غير المتزامنين":
تخيل عائلتين متطابقتين في كل شيء، لكن إحداهما تعمل من 9 صباحاً حتى 5 مساءً، والأخرى تعمل من 10 صباحاً حتى 6 مساءً. استهلاكهما للكهرباء يبدو متطابقاً تماماً، لكنه مزاح بمقدار ساعة واحدة. الطرق القديمة ستضعهما في مجموعات مختلفة لأن ساعاتهما لا تتطابق. أما CROCS فتراهما كتوأم لأنها تنظر إلى شكل اليوم، وليس الوقت الدقيق في التقويم.
تجاهل "الأيام السيئة":
إذا تعرضت عائلة لانقطاع التيار الكهربائي أو يوم غريب في عطلة حيث لم يستخدموا الكهرباء، فإن الطرق القديمة ترتبك. قد تعتقد أن العائلة بأكملها غريبة الأطوار. أما CROCS فتقول: "أوه، هذا مجرد يوم غريب في ألبومهم. لننظر إلى الـ 364 يوماً الأخرى". إنها تركز على ما يحدث في معظم الأوقات.
القدرة على التوسع:
يتم تركيب العدادات الذكية في ملايين المنازل. الطرق القديمة تصبح بطيئة وتتعطل عندما تحاول معالجة هذا القدر الهائل من البيانات دفعة واحدة. CROCS تشبه فريقاً من العمال حيث يقوم كل منهم بفرز كومته الخاصة أولاً (الخطوة 1) قبل أن يجتمعوا لمقارنة الملاحظات (الخطوة 2). هذا يعني أنها تستطيع التعامل مع مجموعات بيانات ضخمة دون أن تنهار.

المخرج النهائي: مجموعات "منقحة"

أخيراً، لا تتوقف CROCS عند مجرد تجميع العائلات. بل تنشئ مجموعة أحمال تمثيلية منقحة (RRLS).

التشبيه: بدلاً من الاكتفاء بالقول إن "المجموعة (أ) تتناول العشاء"، فإنها تقول: "المجموعة (أ) لديها ثلاث طرق رئيسية لتناول العشاء: 60% من الوقت يأكلون مبكراً، و30% يأكلون متأخراً، و10% يتخطون العشاء".
هذا يعطي شركات الطاقة صورة أوضح وأكثر صدقاً لكيفية عيش الناس فعلياً، بدلاً من مجرد تخمين ضبابي ومتوسط.

ملخص

باختصار، CROCS هي طريقة أذكى لفرز مستخدمي الكهرباء. فهي تتوقف عن محاولة فرض جدول زمني "متوسط" واحد على الجميع. بدلاً من ذلك، هي تقر بأن لدى الناس عدة "أنماط" للعيش، وتتجاهل الحالات الشاذة، وتجمع الناس بناءً على ما يفعلونه، وليس متى يفعلونه. وهذا يساعد شركات الطاقة على تصميم برامج أفضل لتوفير المال وموازنة الشبكة، لأنها أخيراً فهمت التعقيد الحقيقي والمذهل لكيفية استخدام الناس للطاقة.

ملخص تقني: إطار عمل CROCS – إطار تجميعي ثنائي المراحل للتقسيم الاستهلاكي المرتكز على السلوك

1. بيان المشكلة

أدى انتشار البنية التحتية للعدادات الذكية إلى توليد أحجام غير مسبوقة من بيانات الاستهلاك، مما يفتح آفاقاً للتقسيم الاستهلاكي المرتكز على السلوك لتحسين برامج إدارة جانب الطلب (DSM) والاستجابة للطلب (DR). ومع ذلك، تعاني منهجيات التجميع الحالية من ثمانية قيود جوهرية تعيق فعاليتها في عمليات النشر الواقعية:

عدم كفاية تمثيل التنوع داخل المستهلك الواحد: غالباً ما تقوم الطرق بدمج ملفات الأحمال اليومية (DLPs) في ملف حمل تمثيلي واحد (RLP)، مما يحجب حقيقة أن المستهلكين الأفراد يظهرون أنماطاً سلوكية متعددة ومتميزة.
تبسيط مفرط لتوصيف العناقيد: عادة ما يتم تلخيص العناقيد (Clusters) بواسطة ملف نمطي واحد، مما يفشل في التقاط السلوكيات متعددة الأنماط المشتركة داخل المجموعة الواحدة.
الاعتماد على المقارنات المرتبطة زمنياً: تفترض العديد من الطرق أن التشابه السلوكي يتطلب التوافق في نفس الأيام التقويمية، مما يفشل في تحديد المستهلكين ذوي الأنماط المتشابهة التي تحدث في جداول زمنية مختلفة (التشابه غير المتزامن).
الحساسية للقيم الشاذة: غالباً ما يتم وزن الأيام الشاذة (مثل العطلات أو السفر) بالتساوي مع الأيام الروتينية، مما يؤدي إلى تشويه التمثيلات الاستهلاكية.
اشتراط البيانات المتزامنة زمنياً: تتطلب العديد من النهج سلاسل زمنية تبدأ وتنتهي في طوابع زمنية متطابقة، مما يستبعد المستهلكين الذين لديهم تواريخ تركيب متفاوتة أو أطوال بيانات متغيرة.
الحساسية للانقطاعات المنتظمة: تواجه الطرق صعوبة عندما يتم تقسيم البيانات (على سبيل المثال، أيام الأسبوع مقابل عطلات نهاية الأسبوع)، مما يؤدي إلى إدخال تبعيات زمنية زائفة.
ضعف التعامل مع البيانات المفقودة: غالباً ما تستلزم الفترات المفقودة استبعاد سجلات مستهلكين بأكملها بدلاً من استبعاد الأيام المتأثرة فقط.
محدودية القابلية للتوسع: تتوسع طرق التمثيل العالمي (مثل تجميع كل البيانات لإجراء تحليل المكونات الرئيسية PCA) بشكل سيئ مع حجم السكان وتتطلب إعادة حساب عند إضافة مستهلكين جدد.

لا توجد طريقة حالية تعالج جميع هذه القيود في آن واحد، مما يخلق فجوة كبيرة في الأدبيات العلمية لإنتاج تقسيم استهلاكي قوي وقابل للتوسع وقابل للتفسير.

2. المنهجية: إطار عمل CROCS

يقترح المؤلفون CROCS (التمثيلات العنقودية المثلى للتقسيم الاستهلاكي)، وهو إطار عمل مبتكر ثنائي المراحل مصمم للتغلب على القيود المذكورة أعلاه.

المرحلة الأولى: التجميع المستقل للمستهلك (توليد RLS)

بدلاً من دمج تاريخ المستهلك بالكامل في ملف واحد متوسط، تقوم المرحلة الأولى بتجميع ملفات الأحمال اليومية (DLPs) لكل مستهلك بشكل مستقل.

العملية: لكل مستهلك $i$ ، يتم تجميع مجموعة الـ $p_i$ من ملفات الأحمال اليومية (DLPs) الخاصة به إلى $k_i$ من المجموعات.
المخرج: مجموعة الحمل التمثيلية (RLS)، ويُرمز لها بـ $\hat{S}_i = \{\pi^1_i, \pi^2_i, \dots, \pi^{k_i}_i\}$ ، حيث يمثل كل $\pi$ نموذجاً أولياً (مثل الميدويد/Medoid) يمثل نمطاً سلوكياً متميزاً.
الميزة الرئيسية: تلتقط هذه المرحلة التباين داخل المستهلك الواحد. يمكن أن يختلف عدد العناقيد $k_i$ لكل مستهلك أو يكون قيمة ثابتة $k$ لجميع المستهلكين. يسمح الإطار بالمبالغة في تقدير $k$ لضمان التقاط جميع الأنماط السلوكية دون تدهور الأداء.
المتانة: من خلال تجميع الـ DLPs بشكل مستقل، تتعامل الطريقة بشكل طبيعي مع البيانات المفقودة (الأيام المتأثرة يتم استبعادها ببساطة)، والاضطرابات، والسلاسل الزمنية غير المتزامنة.

المرحلة الثانية: تجميع المستهلكين عبر WSMD

تقوم المرحلة الثانية بتجميع المستهلكين أنفسهم بناءً على مجموعات الـ RLS الخاصة بهم.

مقياس المسافة: يقدم المؤلفون مجموع المسافات الدنيا الموزونة (WSMD). على عكس مسافات المجموعة إلى المجموعة القياسية (مثل Hausdorff)، يأخذ WSMD في الاعتبار مدى انتشار كل نمط سلوكي.
- الصيغة: $\Delta_{WSMD}(\hat{S}_i, \hat{S}_j) = \frac{1}{2} \left[ \frac{1}{p_i} \sum_{a=1}^{k_i} n^a_i \min_b d(\pi^a_i, \pi^b_j) + \frac{1}{p_j} \sum_{b=1}^{k_j} n^b_j \min_a d(\pi^b_j, \pi^a_i) \right]$
- حيث $n^a_i$ هو عدد ملفات الأحمال اليومية (DLPs) الممثلة للنموذج الأولي $\pi^a_i$ ، و $d(\cdot, \cdot)$ هو مقياس عدم تشابه السلاسل الزمنية (مثل DTW).
الآلية: يقوم WSMD بإيجاد أقرب نموذج أولي في مجموعة المستهلك الآخر لكل نموذج أولي في المجموعة الحالية، مع وزن المسافة بناءً على تكرار ذلك السلوك. يضمن هذا أن السلوكيات الشائعة تهيمن على مقياس التشابه، بينما يكون للظواهر النادرة تأثير ضئيل.
الكشف غير المتزامن: بما أن الـ RLS عبارة عن مجموعة من الأنماط وليست تسلسلاً مرتباً زمنياً، يمكن لـ WSMD تحديد التشابه بين المستهلكين حتى لو حدثت أنماطهم في أيام مختلفة (التشابه غير المتزامن).

خطوة اختيارية: مجموعات الحمل التمثيلية المنقحة (RRLS)

لتعزيز القدرة على التفسير، يتضمن إطار العمل خطوة كشف المجتمعات القائمة على الرسوم البيانية (Graph-based).

العملية: يتم إنشاء رسم بياني حيث تمثل العقد النماذج الأولية من جميع المستهلكين في عنقود ما، وتمثل الحواف أوجه التشابه المستحثة بواسطة WSMD.
المخرج: تحدد خوارزميات كشف المجتمعات (مثل Leiden) الرسوم البياسية الفرعية شديدة الاتصال، والتي يتم تلخيصها كـ مجموعات حمل تمثيلية منقحة (RRLS). توفر هذه المجموعات ملخصات متعددة الملفات للأنماط السلوكية المشتركة التي تحدد العنقود، بدلاً من مجرد متوسط واحد.

3. المساهمات الرئيسية

مراجعة شاملة وتصنيف: تقدم الورقة مراجعة مهيكلة لطرق تجميع المستهلكين الموجودة، وتصنفها حسب قيودها وتقدم تصنيفاً للطرق ثنائية المراحل.
إطار عمل مبتكر (CROCS): أول إطار عمل يعالج جميع القيود الثمانية المحددة في آن واحد.
مجموعة الحمل التمثيلية (RLS): تمثيل مرن قائم على المجموعات يتم تعلمه بشكل مستقل لكل مستهلك، مما يلتقط تنوع السلوكيات المتكررة دون الارتباط الزمني.
مجموع المسافات الدنيا الموزونة (WSMD): مقياس عدم تشابه جديد من مجموعة إلى مجموعة يزن الأنماط السلوكية حسب انتشارها، مما يتيح مقارنة قوية لمجموعات RLS.
الـ RRLS القائم على الرسوم البيانية: إجراء لاستخراج ملخصات عناقيد متعددة الملفات يحسن التفسير من خلال الكشف الصريح عن الأنماط السلوكية المشتركة.
التحقق التجريبي: تجارب مكثفة على مجموعات بيانات مستهلكين اصطناعية وحقيقية من أستراليا (Ausgrid و SGSC) تثبت أداء الإطار، وقابليته للتوسع، ومتانته.

4. النتائج التجريبية

قيم المؤلفون CROCS مقابل مجموعة واسعة من النماذج المرجعية أحادية المرحلة وثنائية المرحلة (بما في ذلك RLP و DCP و GPF والأساليب الجماعية) باستخدام مؤشر راند المعدل (ARI)، والمعلومات المتبادلة المعدلة (AMI)، ومؤشر مجموعات الأزواج (PSI).

التباين داخل المستهلك: حقق CROCS (باستخدام RLS) أخطاء إعادة بناء أقل بكثير مقارنة بالطرق أحادية الملف (RLP, DCP) والطرق العالمية متعددة الملفات (GPF)، لا سيما مع زيادة عدد الأنماط السلوكية.
المتانة تجاه القيم الشاذة: في التجارب الاصطناعية مع زيادة عدد الأيام الشاذة، تفوق WSMD باستمرار على مسافات المجموعات الأخرى (SMD, MHD, Hausdorff). تطلب مبالغة أقل في تقدير معامل العنقود $k$ للحفاظ على الدقة مقارنة بالمنافسين.
التشابه غير المتزامن: أظهرت التجارب أن المستهلكين ذوي الأنماط المتشابهة ولكن غير المتزامنة زمنياً شائعون في البيانات الحقيقية (حوالي 7.7% من الأزواج في مجموعة بيانات AG مقابل 0.6% للأزواج المتزامنة). كان CROCS هو الطريقة الوحيدة التي نجحت باستمرار في استعادة هذه العناقيد غير المتزامنة، بينما فشلت الطرق التي تعتمد على المحاذاة الزمنية (مثل Long Time Series و DCE) مع زيادة عدد الأنماط المتميزة.
القابلية للتوسع: أظهر CROCS قابلية توسع عملية، حيث عالج مجموعات بيانات تصل إلى 80,000 مستهلك في غضون يومين على عقدة واحدة من الحوسبة عالية الأداء (HPC). المرحلة الأولى من الإطار قابلة للتوازي بالكامل، وتتوسع المرحلة الثانية تربيعياً مع عدد المستهلكين ولكن خطياً مع عدد النماذج الأولية، مما يجعلها قابلة للتطبيق على مجموعات سكانية كبيرة.
التطبيق في العالم الحقيقي: عند تطبيقه على بيانات الصيف والشتاء الأسترالية، حدد CROCS عناقيد مستهلكين متميزة مع نماذج أولية فائقة (hyperprototypes) قابلة للتفسير. سلطت النتائج الضوء على التباينات الموسمية في التنوع السلوكي ووفرت رؤى قابلة للتنفيذ لتصميم برامج DSM (مثل استهداف ملفات أحمال محددة).

5. الأهمية والادعاءات

تدعي الورقة أن CROCS يمثل تقدماً كبيراً في التقسيم المستهلك المرتكز على السلوك من خلال توحيد الدقة المنهجية مع القابلية للتوسع العملي.

تحول في النموذج المعرفي: يتحدى إطار العمل الافتراض بأن تشابه المستهلك يجب أن يكون مرتبطاً زمنياً، مما يثبت أن التشابه غير المتزمن منتشر وحاسم لاستراتيجيات DSM/DR الفعالة.
المنفعة التشغيلية: من خلال توفير ملخصات متعددة الملفات قابلة للتفسير (RRLS) والتعامل القوي مع عيوب البيانات الواقعية (البيانات المفقودة، القيم الشاذة، الجداول غير المنتظمة)، يوفر CROCS أساساً أكثر موثوقية لتصميم وتقييم تدخلات جانب الطلب.
القابلية للتوسع: تسمح الطبيعة النمطية للإطار بتكييفه مع مجالات السلاسل الزمنية المختلفة بعيداً عن العدادات الذكية، مثل استهلاك المياه، أو شحن المركبات الكهربائية، أو دورات تشغيل الآلات، حيثما يمكن تفكيك السلاسل الطويلة إلى فترات متكررة.

يخلص المؤلفون إلى أن CROCS يعزز الأسس التحليلية لاستراتيجيات DSM و DR، مما يوفر أداة قوية لتعظيم قيمة الاستثمارات في العدادات الذكية في الأنظمة الكهربائية المتزايدة التعقيد.