기술 요약: CROCS – 행동 중심 소비자 세분화를 위한 2 단계 클러스터링 프레임워크

1. 문제 제기

스마트 미터 인프라의 급증은 소비 데이터의 전례 없는 양을 생성하여, 수요 측 관리 (DSM) 및 수요 반응 (DR) 프로그램을 최적화하기 위한 행동 중심 소비자 세분화의 가능성을 제시합니다. 그러나 기존 클러스터링 방법론은 실제 환경 배포에서 그 효과를 저해하는 8 가지 근본적인 한계를 겪고 있습니다:

1. 소비자 내부 다양성의 불충분한 표현: 방법론들은 종종 일일 부하 프로파일 (DLP) 을 단일 대표 부하 프로파일 (RLP) 로 집계하여, 개별 소비자가 여러 가지 뚜렷한 행동 양식을 보인다는 사실을 흐리게 만듭니다.
2. 단순화된 클러스터 특성화: 클러스터는 일반적으로 단일 전형적 프로파일로 요약되어, 그룹 내 공유되는 다중 양식 행동을 포착하지 못합니다.
3. 시간적 기준 비교에 대한 의존성: 많은 방법론들은 행동적 유사성이 동일한 달력 날짜에서의 정렬을 필요로 한다고 가정하여, 서로 다른 일정에 발생하는 유사한 패턴을 가진 소비자를 식별하지 못합니다 (비동기적 유사성).
4. 이상치에 대한 민감성: 이례적인 날 (예: 공휴일, 여행) 은 종종 일상적인 날과 동등하게 가중치되어 소비자 표현을 왜곡합니다.
5. 시간 동기화 데이터 요구: 많은 접근 방식은 입력 시계열이 동일한 타임스탬프에서 시작하고 종료해야 하므로, 설치 날짜가 엇갈리거나 데이터 길이가 다른 소비자를 배제합니다.
6. 정기적 단절에 대한 민감성: 방법론들은 데이터가 세분화될 때 (예: 평일 대 주말) 어려움을 겪으며, 인위적인 시간적 종속성을 도입합니다.
7. 결측 데이터 처리의 미흡함: 결측 구간은 종종 영향을 받은 날뿐만 아니라 전체 소비자 기록의 제외를 필요로 합니다.
8. 제한된 확장성: 전역 표현 방법 (예: 주성분 분석을 위해 모든 데이터를 풀링) 은 인구 규모에 따라 확장성이 떨어지며, 새로운 소비자가 추가될 때 재계산이 필요합니다.

기존의 어떤 접근 방식도 이러한 모든 한계를 동시에 해결하지 못하여, 견고하고 확장 가능하며 해석 가능한 소비자 세분화를 위한 문헌상 상당한 공백이 존재합니다.

2. 방법론: CROCS 프레임워크

저자들은 앞서 언급한 한계를 극복하도록 설계된 새로운 2 단계 프레임워크인 CROCS(Clustered Representations Optimising Consumer Segmentation, 소비자 세분화를 최적화하는 클러스터링 표현) 를 제안합니다.

1 단계: 독립적 소비자 클러스터링 (RLS 생성)

1 단계는 소비자의 전체 기록을 단일 평균 프로파일로 집계하는 대신, 각 소비자의 일일 부하 프로파일 (DLP) 을 독립적으로 클러스터링합니다.

• 과정: 각 소비자 $i$에 대해, $p_i$개의 DLP 집합이 $k_i$개의 그룹으로 클러스터링됩니다.
• 출력: **대표 부하 집합 (Representative Load Set, RLS)**인 $\hat{S}_i = \{\pi^1_i, \pi^2_i, \dots, \pi^{k_i}_i\}$가 생성되며, 여기서 각 $\pi$는 뚜렷한 행동 양식을 나타내는 프로토타입 (예: 메도이드) 입니다.
• 주요 특징: 이 단계는 소비자 내부 변이성을 포착합니다. 클러스터 수 $k_i$는 소비자마다 다를 수 있거나 모든 소비자에 걸쳐 고정된 값 $k$로 설정될 수 있습니다. 이 프레임워크는 성능을 저하시키지 않으면서 모든 행동 양식을 포착하도록 $k$를 과대 추정할 수 있도록 허용합니다.
• 견고성: DLP 를 독립적으로 클러스터링함으로써, 이 방법은 결측 데이터 (영향을 받은 날은 단순히 제외됨), 불규칙성, 그리고 비동기화된 시계열을 자연스럽게 처리합니다.

2 단계: WSMD 를 통한 소비자 클러스터링

2 단계는 소비자의 RLS 를 기반으로 소비자 자체를 클러스터링합니다.

• 거리 측정: 저자들은 **가중 최소 거리 합 (Weighted Sum of Minimum Distances, WSMD)**을 도입합니다. 표준 집합 간 거리 (예: 하우스도르프 거리) 와 달리, WSMD 는 각 행동 양식의 prevalence(보편성) 을 고려합니다.
  • 공식: $\Delta_{WSMD}(\hat{S}_i, \hat{S}_j) = \frac{1}{2} \left[ \frac{1}{p_i} \sum_{a=1}^{k_i} n^a_i \min_b d(\pi^a_i, \pi^b_j) + \frac{1}{p_j} \sum_{b=1}^{k_j} n^b_j \min_a d(\pi^b_j, \pi^a_i) \right]$
  • 여기서 $n^a_i$는 프로토타입 $\pi^a_i$가 나타내는 DLP 의 수이며, $d(\cdot, \cdot)$는 시계열 비유사성 측정치 (예: DTW) 입니다.
• 메커니즘: WSMD 는 현재 집합의 모든 프로토타입에 대해 다른 소비자의 집합에서 가장 가까운 프로토타입을 찾으며, 해당 행동의 빈도에 따라 거리를 가중합니다. 이를 통해 공통 행동이 유사성 측정치를 지배하도록 하고, 드문 이상치는 최소한의 영향만 미치도록 합니다.
• 비동기적 감지: RLS 가 시간 순서 시퀀스가 아닌 패턴의 집합이기 때문에, WSMD 는 패턴이 서로 다른 날에 발생하더라도 (비동기적 유사성) 소비자 간의 유사성을 식별할 수 있습니다.

선택적 단계: 정제된 대표 부하 집합 (RRLS)

해석 가능성을 향상시키기 위해 프레임워크에는 그래프 기반 커뮤니티 탐지 단계가 포함됩니다.

• 과정: 클러스터 내 모든 소비자의 프로토타입을 노드로 하고, WSMD 로 유도된 유사성을 에지로 하는 그래프가 구성됩니다.
• 출력: 커뮤니티 탐지 알고리즘 (예: Leiden) 은 밀집 연결된 서브그래프를 식별하여 **정제된 대표 부하 집합 (Refined Representative Load Sets, RRLS)**으로 요약합니다. 이는 단일 평균이 아닌 클러스터를 정의하는 공유 행동 양식의 다중 프로파일 요약을 제공합니다.

3. 주요 기여

1. 포괄적인 검토 및 분류: 기존 소비자 클러스터링 방법론에 대한 구조화된 검토를 제공하여, 한계점에 따라 분류하고 2 단계 방법론의 분류 체계를 도입합니다.
2. 새로운 프레임워크 (CROCS): 기존 방법론의 식별된 8 가지 한계를 동시에 해결하는 최초의 프레임워크입니다.
3. 대표 부하 집합 (RLS): 시간적 기준 없이 반복되는 행동의 다양성을 포착하는, 각 소비자에 대해 독립적으로 학습된 유연한 집합 기반 표현입니다.
4. 가중 최소 거리 합 (WSMD): 행동 패턴을 그 보편성에 따라 가중하는 새로운 집합 간 비유사성 측정치로, RLS 의 견고한 비교를 가능하게 합니다.
5. 그래프 기반 RRLS: 공유 행동 양식을 명시적으로 드러내어 해석 가능성을 향상시키는 다중 프로파일 클러스터 요약을 추출하는 절차입니다.
6. 실증적 검증: 합성 데이터와 실제 오스트레일리아 스마트 미터 데이터셋 (Ausgrid 및 SGSC) 을 통한 광범위한 실험으로 프레임워크의 성능, 확장성 및 견고성을 검증했습니다.

4. 실험 결과

저자들은 조정 랜덤 지수 (ARI), 조정 상호 정보 (AMI), 그리고 쌍 집합 지수 (PSI) 를 사용하여 CROCS 를 광범위한 1 단계 및 2 단계 기준 (RLP, DCP, GPF 및 앙상블 방법 포함) 과 비교 평가했습니다.

• 소비자 내부 변이성: CROCS(RLS 사용) 는 단일 프로파일 방법 (RLP, DCP) 과 전역 다중 프로파일 방법 (GPF) 에 비해 행동 양식의 수가 증가함에 따라 특히 재구성 오차가 현저히 낮았습니다.
• 이상치에 대한 견고성: 이상치 날의 수가 증가하는 합성 실험에서 WSMD 는 다른 집합 거리 (SMD, MHD, 하우스도르프) 보다 일관되게 우수한 성능을 보였습니다. 경쟁 방법들에 비해 정확도를 유지하기 위해 클러스터 매개변수 $k$의 과대 추정이 덜 필요했습니다.
• 비동기적 유사성: 실험은 실제 데이터에서 유사하지만 비동기적으로 표현된 패턴을 가진 소비자가 흔함 (AG 데이터셋의 쌍 중 약 7.7%, 동기화된 쌍은 0.6%) 을 입증했습니다. CROCS 는 비동기 클러스터를 일관되게 복원한 유일한 방법이었으며, 시간적 정렬에 의존하는 방법들 (예: Long Time Series, DCE) 은 서로 다른 패턴의 수가 증가함에 따라 실패했습니다.
• 확장성: CROCS 는 단일 HPC 노드에서 2 일 이내에 최대 80,000 명의 소비자를 포함하는 데이터셋을 처리하는 실용적인 확장성을 입증했습니다. 프레임워크의 1 단계는 완전히 병렬화 가능하며, 2 단계는 소비자 수에 따라 2 차적으로 확장되지만 프로토타입 수에는 선형적으로 확장되어 대규모 인구에 적용 가능합니다.
• 실제 적용: 오스트레일리아의 여름 및 겨울 데이터에 적용된 CROCS 는 해석 가능한 초프로토타입을 가진 뚜렷한 소비자 클러스터를 식별했습니다. 결과는 행동 다양성의 계절적 변이를 강조하고 DSM 프로그램 설계 (예: 특정 부하 프로파일 타겟팅) 를 위한 실행 가능한 통찰력을 제공했습니다.

5. 중요성 및 주장

이 논문은 CROCS 가 방법론적 엄밀함과 실용적 확장성을 통합함으로써 행동 중심 소비자 세분화 분야에서 중요한 진전을 이루었다고 주장합니다.

• 패러다임 전환: 이 프레임워크는 소비자 유사성이 시간적으로 정렬되어야 한다는 가정에 도전하여, 비동기적 유사성이 보편적이며 효과적인 DSM/DR 전략에 필수적임을 입증합니다.
• 운영적 유용성: 해석 가능한 다중 프로파일 요약 (RRLS) 을 제공하고 결측 데이터, 이상치, 불규칙한 일정과 같은 실제 데이터의 불완전성을 견고하게 처리함으로써, 수요 측 개입을 설계하고 평가하는 더 신뢰할 수 있는 기반을 제공합니다.
• 확장성: 프레임워크의 모듈식 특성은 스마트 미터를 넘어 물 소비, 전기차 충전, 또는 기계 작동 주기 등 반복 기간으로 분해될 수 있는 시계열이 있는 다양한 도메인에 적응할 수 있게 합니다.

저자들은 CROCS 가 DSM 및 DR 전략의 분석적 기반을 강화하여, 점점 더 복잡해지는 전력 시스템에서 스마트 미터 투자 가치를 극대화할 수 있는 견고한 도구를 제공한다고 결론지었습니다.