📊 statistics

CROCS: A Two-Stage Clustering Framework for Behaviour-Centric Consumer Segmentation with Smart Meter Data

L'article propose CROCS, un nouveau cadre de clustering en deux étapes qui exploite les données des compteurs intelligents pour créer des segments de consommateurs robustes et centrés sur le comportement, en résumant d'abord les profils de charge journaliers individuels en ensembles représentatifs, puis en regroupant les consommateurs sur la base de la similarité pondérée de ces ensembles, capturant ainsi efficacement la diversité comportementale et gérant les anomalies de données pour une meilleure gestion de la demande.

Auteurs originaux : Luke W. Yerbury, Ricardo J. G. B. Campello, G. C. Livingston Jr, Mark Goldsworthy, Lachlan O'Neil

Publié 2026-05-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Luke W. Yerbury, Ricardo J. G. B. Campello, G. C. Livingston Jr, Mark Goldsworthy, Lachlan O'Neil

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez urbaniste chargé de comprendre comment des milliers de familles différentes utilisent l'électricité. Vous disposez d'une masse colossale de données : jour après jour, pendant des années, vous savez exactement à quel moment elles allument les lumières, le four ou la climatisation.

Le problème, c'est que les gens sont désordonnés. Une famille peut dîner à 18 h le mardi, mais à 20 h le vendredi. Une autre peut avoir une routine de « dimanche paresseux » qui ne ressemble en rien à sa routine de « lundi bien rempli ». Les méthodes traditionnelles de regroupement de ces personnes échouent souvent parce qu'elles tentent de forcer tout le monde dans un seul et unique « emploi du temps moyen » rigide. C'est comme essayer de décrire la personnalité d'une personne en ne regardant que sa photo prise à midi un mardi ; vous manquez l'ensemble du tableau.

Ce document présente un nouvel outil appelé CROCS (Clustered Representations Optimising Consumer Segmentation, ou Représentations groupées optimisant le segmentage des consommateurs). Considérez CROCS comme une machine de tri intelligente en deux étapes, conçue pour trouver des groupes de personnes qui se comportent de manière similaire, même si elles ne le font pas exactement au même moment.

Voici comment cela fonctionne, décomposé en étapes simples :

Étape 1 : Le tri du « Journal quotidien » (Première phase)

Au lieu d'écraser une année entière de données en une seule moyenne ennuyeuse, CROCS examine les habitudes quotidiennes de chaque personne individuellement.

L'analogie : Imaginez demander à chaque famille de trier ses propres photos quotidiennes en piles.
- La famille A pourrait avoir une pile pour les jours de « lève-tôt », une pile pour les jours de « joueur nocturne tardif » et une pile pour les jours de « mode vacances ».
- La famille B pourrait avoir une pile pour les « jours de travail » et une pile pour les « soirées du week-end ».
Ce que fait CROCS : Il crée un Jeu de charges représentatif (RLS) pour chaque famille. Ce n'est pas une seule photo ; c'est un petit album de leurs « personae » les plus courants. Il capture le fait qu'une famille n'est pas une seule chose ; elle a plusieurs façons de vivre.
L'avantage : Cette étape est très flexible. Elle ne se soucie pas de savoir si une famille dispose de données pour 10 jours ou pour 1 000 jours. Elle ne se soucie pas de savoir si elles ont des « données aberrantes » (comme un jour où elles étaient en vacances et n'ont pas utilisé le réfrigérateur). Elle se contente de regrouper d'abord leurs propres jours.

Étape 2 : Le « Jeu d'appariement » (Deuxième phase)

Maintenant que chaque famille a son propre petit album d'habitudes quotidiennes, CROCS doit regrouper les familles entre elles.

L'analogie : Imaginez que vous essayiez d'apparier des familles en fonction de leurs albums.
- Ancienne méthode : « Mangez-vous tous les deux le dîner exactement à 18 h 00 ? » Si la famille A mange à 18 h 00 et la famille B à 18 h 15, l'ancienne méthode dit : « Vous êtes différents ! »
- Méthode CROCS : « Avez-vous tous les deux une habitude de « Heure du dîner », même si l'un mange à 18 h 00 et l'autre à 18 h 15 ? »
La touche secrète (WSMD) : CROCS utilise une astuce mathématique spéciale appelée Somme pondérée des distances minimales (WSMD). Imaginez cela comme un système de notation qui dit :
1. Regardez l'habitude « Dîner » de la famille A. Trouvez la correspondance la plus proche dans l'album de la famille B.
2. Étape cruciale : Comptez à quelle fréquence cette habitude se produit. Si la famille A mange à 18 h 00 90 % du temps, cette habitude est très importante. Si elle ne le fait que 1 % du temps, c'est un coup de chance.
3. Le système accorde plus de poids aux habitudes courantes et ignore les jours étranges et isolés.
Le résultat : Il découvre que la famille A et la famille B sont en fait très similaires, même si leurs horloges sont légèrement décalées. Il les regroupe ensemble car elles partagent les mêmes types de journées, juste sur des horaires différents.

Pourquoi cela compte (Les moments « Aha ! »)

Le document met en avant trois grandes choses que cette nouvelle méthode fait mieux que les anciennes :

Elle gère les jumeaux « asynchrones » :
Imaginez deux familles identiques à tous égards, mais l'une travaille de 9 h à 17 h et l'autre de 10 h à 18 h. Leur consommation électrique quotidienne ressemble exactement à la même, décalée d'une heure. Les anciennes méthodes les placeraient dans des groupes différents parce que leurs horaires ne correspondent pas. CROCS les voit comme des jumeaux car il examine la forme de la journée, et non l'heure exacte sur le calendrier.
Elle ignore les « mauvais jours » :
Si une famille subit une panne de courant ou une fête étrange où elle n'utilise pas d'électricité, les anciennes méthodes sont perdues. Elles pourraient penser que toute la famille est étrange. CROCS dit : « Oh, ce n'est qu'un jour étrange dans leur album. Regardons les 364 autres jours. » Elle se concentre sur ce qui se passe la plupart du temps.
Elle est évolutive :
Des compteurs intelligents sont installés dans des millions de foyers. Les anciennes méthodes deviennent lentes et plantent lorsque vous essayez de traiter autant de données à la fois. CROCS est comme une équipe de travailleurs où chacun trie sa propre pile d'abord (Étape 1) avant de se réunir pour comparer leurs notes (Étape 2). Cela signifie qu'il peut gérer d'énormes ensembles de données sans broncher.

Le résultat final : Des groupes « affinés »

Enfin, CROCS ne s'arrête pas au simple regroupement des familles. Il crée un Jeu de charges représentatif affiné (RRLS).

L'analogie : Au lieu de simplement dire « Le groupe A mange le dîner », il dit : « Le groupe A a trois façons principales de manger : 60 % du temps ils mangent tôt, 30 % du temps ils mangent tard, et 10 % du temps ils sautent le dîner. »
Cela donne aux compagnies d'énergie une image beaucoup plus claire et plus honnête de la façon dont les gens vivent réellement, plutôt qu'une estimation floue et moyennée.

Résumé

En bref, CROCS est une manière plus intelligente de trier les utilisateurs d'électricité. Il cesse d'essayer de forcer tout le monde dans un seul « emploi du temps moyen ». Au lieu de cela, il reconnaît que les gens ont plusieurs « modes » de vie, il ignore les valeurs aberrantes étranges, et il regroupe les personnes en fonction de ce qu'elles font, et non de quand elles le font. Cela aide les compagnies d'énergie à concevoir de meilleurs programmes pour économiser de l'argent et équilibrer le réseau, car elles comprennent enfin la réelle, désordonnée et belle complexité de la façon dont les gens utilisent l'électricité.

Résumé technique : CROCS – Un cadre de clustering en deux étapes pour la segmentation des consommateurs centrée sur le comportement

1. Énoncé du problème

La prolifération des infrastructures de compteurs intelligents a généré des volumes de données de consommation sans précédent, offrant le potentiel d'une segmentation des consommateurs centrée sur le comportement pour optimiser les programmes de gestion de la demande (DSM) et de réponse à la demande (DR). Cependant, les méthodologies de clustering existantes souffrent de huit limitations fondamentales qui entravent leur efficacité dans les déploiements réels :

Représentation inadéquate de la diversité intra-consommateur : Les méthodes agrègent souvent les profils de charge quotidiens (DLP) en un seul profil de charge représentatif (RLP), occultant le fait que les consommateurs individuels présentent plusieurs modes comportementaux distincts.
Caractérisation simpliste des clusters : Les clusters sont généralement résumés par un seul profil prototypique, échouant à capturer les comportements multi-modaux partagés au sein d'un groupe.
Dépendance aux comparaisons ancrées temporellement : De nombreuses méthodes supposent que la similarité comportementale nécessite un alignement sur les mêmes jours de calendrier, échouant à identifier les consommateurs ayant des schémas similaires se produisant sur des horaires différents (similarité asynchrone).
Sensibilité aux anomalies : Les jours aberrants (par exemple, les jours fériés, les voyages) sont souvent pondérés de manière égale aux jours de routine, faussant les représentations des consommateurs.
Exigence de données synchronisées dans le temps : De nombreuses approches requièrent que les séries d'entrée commencent et se terminent aux mêmes horodatages, excluant les consommateurs ayant des dates d'installation décalées ou des longueurs de données variables.
Sensibilité aux discontinuités régulières : Les méthodes peinent lorsque les données sont segmentées (par exemple, jours de semaine contre week-ends), introduisant des dépendances temporelles artificielles.
Mauvaise gestion des données manquantes : Les intervalles manquants nécessitent souvent l'exclusion d'enregistrements complets de consommateurs plutôt que simplement des jours affectés.
Scalabilité limitée : Les méthodes de représentation globale (par exemple, regrouper toutes les données pour une analyse en composantes principales) se dégradent rapidement avec la taille de la population et nécessitent un recalcul lorsque de nouveaux consommateurs sont ajoutés.

Aucune approche existante ne traite simultanément toutes ces limitations, créant un écart significatif dans la littérature concernant une segmentation des consommateurs robuste, évolutive et interprétable.

2. Méthodologie : Le cadre CROCS

Les auteurs proposent CROCS (Clustered Representations Optimising Consumer Segmentation), un nouveau cadre en deux étapes conçu pour surmonter les limitations susmentionnées.

Étape un : Clustering indépendant des consommateurs (Génération de RLS)

Au lieu d'agréger l'historique complet d'un consommateur en un seul profil moyen, l'Étape un regroupe indépendamment les profils de charge quotidiens (DLP) de chaque consommateur.

Processus : Pour chaque consommateur $i$ , son ensemble de $p_i$ DLP est regroupé en $k_i$ groupes.
Sortie : Un Ensemble de charge représentatif (RLS), noté $\hat{S}_i = \{\pi^1_i, \pi^2_i, \dots, \pi^{k_i}_i\}$ , où chaque $\pi$ est un prototype (par exemple, un médoïde) représentant un mode comportemental distinct.
Caractéristique clé : Cette étape capture la variabilité intra-consommateur. Le nombre de clusters $k_i$ peut varier par consommateur ou être fixé à une valeur uniforme $k$ pour tous les consommateurs. Le cadre permet la surestimation de $k$ pour s'assurer que tous les modes comportementaux sont capturés sans dégrader les performances.
Robustesse : En regroupant les DLP indépendamment, la méthode gère naturellement les données manquantes (les jours affectés sont simplement omis), les irrégularités et les séries temporelles non synchronisées.

Étape deux : Clustering des consommateurs via WSMD

L'Étape deux regroupe les consommateurs eux-mêmes sur la base de leurs RLS.

Mesure de distance : Les auteurs introduisent la Somme pondérée des distances minimales (WSMD). Contrairement aux distances standard entre ensembles (par exemple, Hausdorff), la WSMD prend en compte la prévalence de chaque mode comportemental.
- Formule : $\Delta_{WSMD}(\hat{S}_i, \hat{S}_j) = \frac{1}{2} \left[ \frac{1}{p_i} \sum_{a=1}^{k_i} n^a_i \min_b d(\pi^a_i, \pi^b_j) + \frac{1}{p_j} \sum_{b=1}^{k_j} n^b_j \min_a d(\pi^b_j, \pi^a_i) \right]$
- Ici, $n^a_i$ est le nombre de DLP représentés par le prototype $\pi^a_i$ , et $d(\cdot, \cdot)$ est une mesure de dissimilarité de séries temporelles (par exemple, DTW).
Mécanisme : La WSMD trouve le prototype le plus proche dans l'ensemble de l'autre consommateur pour chaque prototype de l'ensemble actuel, pondérant la distance par la fréquence de ce comportement. Cela garantit que les comportements communs dominent la métrique de similarité, tandis que les anomalies rares ont une influence minimale.
Détection asynchrone : Comme le RLS est un ensemble de schémas plutôt qu'une séquence ordonnée dans le temps, la WSMD peut identifier la similarité entre les consommateurs même si leurs schémas se produisent à des jours différents (similarité asynchrone).

Étape facultative : Ensembles de charge représentatifs affinés (RRLS)

Pour améliorer l'interprétabilité, le cadre inclut une étape de détection de communautés basée sur un graphe.

Processus : Un graphe est construit où les nœuds sont les prototypes de tous les consommateurs d'un cluster, et les arêtes représentent les similarités induites par la WSMD.
Sortie : Les algorithmes de détection de communautés (par exemple, Leiden) identifient des sous-graphes densément connectés, qui sont résumés sous forme d'Ensembles de charge représentatifs affinés (RRLS). Ceux-ci fournissent des résumés multi-profils des modes comportementaux partagés définissant un cluster, plutôt qu'une moyenne unique.

3. Contributions clés

Revue et taxonomie complètes : L'article fournit une revue structurée des méthodes existantes de clustering des consommateurs, les catégorisant par leurs limitations et introduisant une taxonomie des méthodes en deux étapes.
Nouveau cadre (CROCS) : Le premier cadre à traiter simultanément les huit limitations identifiées des méthodes existantes.
Ensemble de charge représentatif (RLS) : Une représentation flexible basée sur des ensembles apprise indépendamment pour chaque consommateur, capturant la diversité des comportements récurrents sans ancrage temporel.
Somme pondérée des distances minimales (WSMD) : Une nouvelle mesure de dissimilarité entre ensembles qui pondère les schémas comportementaux par leur prévalence, permettant une comparaison robuste des RLS.
RRLS basé sur un graphe : Une procédure pour extraire des résumés de clusters multi-profils qui améliorent l'interprétabilité en révélant explicitement les modes comportementaux partagés.
Validation empirique : Des expériences extensives sur des ensembles de données de compteurs intelligents australiens synthétiques et réels (Ausgrid et SGSC) validant les performances, l'évolutivité et la robustesse du cadre.

4. Résultats expérimentaux

Les auteurs ont évalué CROCS par rapport à un large éventail de bases de référence en une et deux étapes (y compris RLP, DCP, GPF et méthodes d'ensemble) en utilisant l'indice de Rand ajusté (ARI), l'information mutuelle ajustée (AMI) et l'indice des ensembles de paires (PSI).

Variation intra-consommateur : CROCS (utilisant RLS) a obtenu des erreurs de reconstruction significativement plus faibles que les méthodes à profil unique (RLP, DCP) et les méthodes multi-profils globales (GPF), en particulier lorsque le nombre de modes comportementaux augmentait.
Robustesse aux valeurs aberrantes : Dans les expériences synthétiques avec un nombre croissant de jours aberrants, la WSMD a constamment surpassé les autres distances d'ensemble (SMD, MHD, Hausdorff). Elle a nécessité moins de surestimation du paramètre de cluster $k$ pour maintenir la précision par rapport aux concurrents.
Similarité asynchrone : Les expériences ont démontré que les consommateurs ayant des schémas similaires mais exprimés de manière asynchrone sont courants dans les données réelles (environ 7,7 % des paires dans l'ensemble de données AG contre 0,6 % pour les paires synchronisées). CROCS était la seule méthode à récupérer systématiquement ces clusters asynchrones, tandis que les méthodes reposant sur un alignement temporel (par exemple, Long Time Series, DCE) échouaient à mesure que le nombre de schémas distincts augmentait.
Évolutivité : CROCS a démontré une évolutivité pratique, traitant des ensembles de données allant jusqu'à 80 000 consommateurs en deux jours sur un seul nœud HPC. La première étape du cadre est entièrement parallélisable, et la deuxième étape évolue de manière quadratique avec le nombre de consommateurs mais linéairement avec le nombre de prototypes, la rendant réalisable pour de grandes populations.
Application réelle : Appliqué aux données australiennes d'été et d'hiver, CROCS a identifié des clusters de consommateurs distincts avec des hyper-prototypes interprétables. Les résultats ont mis en évidence les variations saisonnières de la diversité comportementale et fourni des informations exploitables pour la conception de programmes DSM (par exemple, cibler des profils de charge spécifiques).

5. Signification et affirmations

L'article affirme que CROCS représente une avancée significative dans la segmentation des consommateurs centrée sur le comportement en unissant la rigueur méthodologique à l'évolutivité pratique.

Changement de paradigme : Le cadre remet en question l'hypothèse selon laquelle la similarité des consommateurs doit être ancrée temporellement, démontrant que la similarité asynchrone est prévalente et cruciale pour des stratégies DSM/DR efficaces.
Utilité opérationnelle : En fournissant des résumés interprétables et multi-profils (RRLS) et une gestion robuste des imperfections des données réelles (données manquantes, anomalies, horaires irréguliers), CROCS offre une base plus fiable pour concevoir et évaluer les interventions côté demande.
Extensibilité : La nature modulaire du cadre permet de l'adapter à divers domaines de séries temporelles au-delà des compteurs intelligents, tels que la consommation d'eau, la recharge des véhicules électriques ou les cycles de fonctionnement des machines, partout où de longues séries peuvent être décomposées en périodes récurrentes.

Les auteurs concluent que CROCS renforce les fondements analytiques des stratégies DSM et DR, offrant un outil robuste pour maximiser la valeur des investissements dans les compteurs intelligents dans des systèmes électriques de plus en plus complexes.