Resumo Técnico: CROCS – Uma Estrutura de Agrupamento em Duas Etapas para Segmentação de Consumidores Centrada no Comportamento

1. Declaração do Problema

A proliferação da infraestrutura de medidores inteligentes gerou volumes sem precedentes de dados de consumo, oferecendo o potencial para segmentação de consumidores centrada no comportamento, a fim de otimizar programas de Gestão da Demanda (DSM) e Resposta à Demanda (DR). No entanto, as metodologias de agrupamento existentes sofrem com oito limitações fundamentais que prejudicam sua eficácia em implantações do mundo real:

1. Representação inadequada da diversidade intra-consumidor: Os métodos frequentemente agregam perfis de carga diária (DLPs) em um único Perfil de Carga Representativo (RLP), obscurecendo o fato de que consumidores individuais exibem múltiplos modos comportamentais distintos.
2. Caracterização de agrupamentos simplificada em excesso: Os agrupamentos são tipicamente resumidos por um único perfil prototípico, falhando em capturar comportamentos multimodais compartilhados dentro de um grupo.
3. Dependência de comparações ancoradas temporalmente: Muitos métodos assumem que a similaridade comportamental requer alinhamento nos mesmos dias de calendário, falhando em identificar consumidores com padrões semelhantes ocorrendo em horários diferentes (similaridade assíncrona).
4. Sensibilidade a anomalias: Dias atípicos (por exemplo, feriados, viagens) são frequentemente ponderados igualmente aos dias rotineiros, distorcendo as representações dos consumidores.
5. Requisito de dados sincronizados no tempo: Muitas abordagens exigem que as séries de entrada comecem e terminem em carimbos de data e hora idênticos, excluindo consumidores com datas de instalação escalonadas ou comprimentos de dados variados.
6. Sensibilidade a descontinuidades regulares: Os métodos lutam quando os dados são segmentados (por exemplo, dias úteis versus fins de semana), introduzindo dependências temporais espúrias.
7. Má manipulação de dados ausentes: Intervalos ausentes frequentemente exigem a exclusão de registros inteiros de consumidores, em vez de apenas os dias afetados.
8. Escalabilidade limitada: Métodos de representação global (por exemplo, agrupar todos os dados para Análise de Componentes Principais) escalam mal com o tamanho da população e exigem recálculo quando novos consumidores são adicionados.

Nenhuma abordagem existente aborda simultaneamente todas essas limitações, criando uma lacuna significativa na literatura para segmentação de consumidores robusta, escalável e interpretável.

2. Metodologia: A Estrutura CROCS

Os autores propõem o CROCS (Representações Agrupadas Otimizando a Segmentação de Consumidores), uma estrutura inovadora em duas etapas projetada para superar as limitações supracitadas.

Etapa Um: Agrupamento Independente de Consumidores (Geração de RLS)

Em vez de agregar todo o histórico de um consumidor em um único perfil médio, a Etapa Um agrupa independentemente os Perfis de Carga Diária (DLPs) de cada consumidor.

• Processo: Para cada consumidor $i$, seu conjunto de $p_i$ DLPs é agrupado em $k_i$ grupos.
• Saída: Um Conjunto de Carga Representativa (RLS), denotado $\hat{S}_i = \{\pi^1_i, \pi^2_i, \dots, \pi^{k_i}_i\}$, onde cada $\pi$ é um protótipo (por exemplo, um medóide) representando um modo comportamental distinto.
• Característica Chave: Esta etapa captura a variabilidade intra-consumidor. O número de agrupamentos $k_i$ pode variar por consumidor ou ser fixado em um valor uniforme $k$ em todos os consumidores. A estrutura permite a superestimação de $k$ para garantir que todos os modos comportamentais sejam capturados sem degradar o desempenho.
• Robustez: Ao agrupar DLPs independentemente, o método lida naturalmente com dados ausentes (dias afetados são simplesmente omitidos), irregularidades e séries temporais não sincronizadas.

Etapa Dois: Agrupamento de Consumidores via WSMD

A Etapa Dois agrupa os próprios consumidores com base em seus RLSs.

• Medida de Distância: Os autores introduzem a Soma Ponderada das Distâncias Mínimas (WSMD). Ao contrário de distâncias padrão de conjunto para conjunto (por exemplo, Hausdorff), o WSMD leva em conta a prevalência de cada modo comportamental.
  • Fórmula: $\Delta_{WSMD}(\hat{S}_i, \hat{S}_j) = \frac{1}{2} \left[ \frac{1}{p_i} \sum_{a=1}^{k_i} n^a_i \min_b d(\pi^a_i, \pi^b_j) + \frac{1}{p_j} \sum_{b=1}^{k_j} n^b_j \min_a d(\pi^b_j, \pi^a_i) \right]$
  • Aqui, $n^a_i$ é o número de DLPs representados pelo protótipo $\pi^a_i$, e $d(\cdot, \cdot)$ é uma medida de dissimilaridade de série temporal (por exemplo, DTW).
• Mecanismo: O WSMD encontra o protótipo mais próximo no conjunto do outro consumidor para cada protótipo no conjunto atual, ponderando a distância pela frequência daquele comportamento. Isso garante que comportamentos comuns dominem a métrica de similaridade, enquanto anomalias raras tenham influência mínima.
• Detecção Assíncrona: Como o RLS é um conjunto de padrões e não uma sequência ordenada no tempo, o WSMD pode identificar similaridade entre consumidores mesmo que seus padrões ocorram em dias diferentes (similaridade assíncrona).

Etapa Opcional: Conjuntos de Carga Representativa Refinados (RRLS)

Para aprimorar a interpretabilidade, a estrutura inclui uma etapa de detecção de comunidades baseada em grafos.

• Processo: Um grafo é construído onde os nós são os protótipos de todos os consumidores em um agrupamento, e as arestas representam as similaridades induzidas pelo WSMD.
• Saída: Algoritmos de detecção de comunidades (por exemplo, Leiden) identificam subgrafos densamente conectados, que são resumidos como Conjuntos de Carga Representativa Refinados (RRLS). Estes fornecem resumos de múltiplos perfis dos modos comportamentais compartilhados que definem um agrupamento, em vez de uma única média.

3. Contribuições Principais

1. Revisão Abrangente e Taxonomia: O artigo fornece uma revisão estruturada dos métodos existentes de agrupamento de consumidores, categorizando-os por suas limitações e introduzindo uma taxonomia de métodos em duas etapas.
2. Estrutura Inovadora (CROCS): A primeira estrutura a abordar simultaneamente todas as oito limitações identificadas dos métodos existentes.
3. Conjunto de Carga Representativa (RLS): Uma representação flexível, baseada em conjuntos, aprendida independentemente para cada consumidor, capturando a diversidade de comportamentos recorrentes sem ancoragem temporal.
4. Soma Ponderada das Distâncias Mínimas (WSMD): Uma nova medida de dissimilaridade de conjunto para conjunto que pondera padrões comportamentais por sua prevalência, permitindo comparação robusta de RLSs.
5. RRLS Baseado em Grafos: Um procedimento para extrair resumos de agrupamentos de múltiplos perfis que melhoram a interpretabilidade ao revelar explicitamente modos comportamentais compartilhados.
6. Validação Empírica: Experimentos extensivos em conjuntos de dados sintéticos e do mundo real de medidores inteligentes australianos (Ausgrid e SGSC) validando o desempenho, escalabilidade e robustez da estrutura.

4. Resultados Experimentais

Os autores avaliaram o CROCS contra uma ampla gama de baselines de uma e duas etapas (incluindo RLP, DCP, GPF e métodos de ensemble) usando o Índice Rand Ajustado (ARI), Informação Mútua Ajustada (AMI) e Índice de Conjuntos de Pares (PSI).

• Variação Intra-Consumidor: O CROCS (usando RLS) alcançou erros de reconstrução significativamente menores em comparação com métodos de perfil único (RLP, DCP) e métodos globais de múltiplos perfis (GPF), particularmente à medida que o número de modos comportamentais aumentava.
• Robustez a Outliers: Em experimentos sintéticos com números crescentes de dias atípicos, o WSMD superou consistentemente outras distâncias de conjunto (SMD, MHD, Hausdorff). Exigiu menos superestimação do parâmetro de agrupamento $k$ para manter a precisão em comparação com concorrentes.
• Similaridade Assíncrona: Experimentos demonstraram que consumidores com padrões semelhantes, mas expressos assincronamente, são comuns em dados reais (aproximadamente 7,7% dos pares no conjunto de dados AG versus 0,6% para pares sincronizados). O CROCS foi o único método a recuperar consistentemente esses agrupamentos assíncronos, enquanto métodos que dependiam de alinhamento temporal (por exemplo, Long Time Series, DCE) falharam à medida que o número de padrões distintos aumentava.
• Escalabilidade: O CROCS demonstrou escalabilidade prática, processando conjuntos de dados de até 80.000 consumidores em dois dias em um único nó de HPC. A primeira etapa da estrutura é totalmente paralelizável, e a segunda etapa escala quadraticamente com o número de consumidores, mas linearmente com o número de protótipos, tornando-a viável para grandes populações.
• Aplicação no Mundo Real: Aplicado a dados de verão e inverno australianos, o CROCS identificou agrupamentos distintos de consumidores com hiperprotótipos interpretáveis. Os resultados destacaram variações sazonais na diversidade comportamental e forneceram insights acionáveis para o design de programas de DSM (por exemplo, direcionamento de perfis de carga específicos).

5. Significado e Alegações

O artigo afirma que o CROCS representa um avanço significativo na segmentação de consumidores centrada no comportamento, unindo rigor metodológico com escalabilidade prática.

• Mudança de Paradigma: A estrutura desafia a suposição de que a similaridade de consumidores deve ser ancorada temporalmente, demonstrando que a similaridade assíncrona é prevalente e crítica para estratégias eficazes de DSM/DR.
• Utilidade Operacional: Ao fornecer resumos interpretáveis de múltiplos perfis (RRLS) e manipulação robusta de imperfeições de dados do mundo real (dados ausentes, anomalias, horários irregulares), o CROCS oferece uma base mais confiável para projetar e avaliar intervenções do lado da demanda.
• Extensibilidade: A natureza modular da estrutura permite que seja adaptada a vários domínios de séries temporais além de medidores inteligentes, como consumo de água, carregamento de VE ou ciclos de operação de máquinas, sempre que séries longas podem ser decompostas em períodos recorrentes.

Os autores concluem que o CROCS fortalece as fundações analíticas das estratégias de DSM e DR, oferecendo uma ferramenta robusta para maximizar o valor dos investimentos em medidores inteligentes em sistemas elétricos cada vez mais complexos.