AI-Enhanced Spatial Cellular Traffic Demand Prediction with Contextual Clustering and Error Correction for 5G/6G Planning

이 논문은 5G/6G 네트워크 계획의 신뢰성을 높이기 위해 공간적 자기상관으로 인한 데이터 누출을 방지하고 잔차 보정을 적용한 문맥 인식 2 단계 분할 전략을 통해 셀룰러 트래픽 수요를 정확하게 예측하는 AI 기반 프레임워크를 제안합니다.

핵심

🏙️ 1. 문제: "이웃집의 비밀을 너무 잘 알면 안 됩니다"

통신사를 상상해 보세요. 통신사는 도시 전체를 작은 정사각형 블록 (그리드) 으로 나누고, 각 블록마다 얼마나 많은 사람들이 인터넷을 쓸지 예측해야 합니다. 그래야 그 지역에 기지를 얼마나 많이 세워야 할지, 주파수 대역폭을 얼마나 줘야 할지 결정할 수 있죠.

하지만 여기서 큰 함정이 하나 있습니다. 이웃집은 보통 비슷합니다.

• 같은 동네에 살면 소득 수준도 비슷하고, 가게 수도 비슷하며, 인터넷 사용 패턴도 비슷합니다.

기존의 AI 학습 방식은 마치 **"시험 문제를 풀 때, 정답이 적힌 옆집 친구의 답을 훔쳐보는 것"**과 같았습니다.

• 문제: AI 가 학습할 때 (Train) 이웃 블록을 보고, 테스트할 때 (Test) 그 바로 옆 블록을 보게 되면, AI 는 "아, 저기서 많이 쓰겠구나"라고 쉽게 맞힙니다. 하지만 이건 AI 가 진짜 패턴을 배운 게 아니라, 이웃 관계만 외운 것일 뿐입니다.
• 결과: 시험 점수 (정확도) 는 매우 높게 나오지만, 실제로는 전혀 다른 지역 (예: 서울에서 부산으로) 에 적용하면 엉망이 됩니다. 이를 논문에서는 **'공간적 정보 누출 (Spatial Leakage)'**이라고 부릅니다.

🧩 2. 해결책: "상황을 고려한 두 단계 나누기"

이 논문은 AI 가 진짜 실력을 발휘하도록 돕기 위해 **'상황을 고려한 두 단계 나누기 (Two-Stage Splitting)'**라는 새로운 방법을 제안합니다.

1 단계: 지리적으로 멀리 떨어뜨리기

• 도시를 블록으로 나눌 때, 단순히 지리적으로만 가깝게 묶지 않고, 서로 멀리 떨어진 구역끼리 학습용과 테스트용으로 분리합니다. 이웃집이 서로 다른 방에 있도록 하는 거죠.

2 단계: '상황 (Context)'까지 고려하기

• 지리적으로만 멀어도 부족합니다. 예를 들어, '강남의 고급 아파트'와 '강남의 상가'는 지리적으로 가깝지만 사용 패턴이 다릅니다.
• 이 방법은 땅의 용도 (상업지, 주거지 등) 와 사회적 상황까지 고려해서 블록을 나눕니다.
• 비유: 시험지를 만들 때, 단순히 "서울 A 구"와 "서울 B 구"로 나누는 게 아니라, **"고소득 상업지구"**와 **"저소득 주거지구"**처럼 상황이 비슷한 곳끼리 묶어서 학습용과 테스트용으로 나누는 것입니다. 이렇게 하면 AI 는 "이웃"이 아니라 "상황"을 배우게 되어 훨씬 똑똑해집니다.

🔧 3. 추가 보정: "잔여 오차 수정 (SEM)"

AI 가 예측을 해도, 완벽할 수는 없습니다. "아직 설명되지 않은 이웃들의 영향"이 남아있을 수 있죠.

• 이 논문은 AI 가 예측한 후, **남은 오차 (실제 값과 예측 값의 차이)**를 다시 분석합니다.
• 이 오차들도 지리적으로 패턴이 있다면 (예: 특정 구역 전체가 예측보다 많이 쓰임), 이를 수학적 필터로 보정해 줍니다. 마치 GPS 가 위치를 잡을 때 주변 건물의 반사파를 보정해 주는 것과 비슷합니다.

📊 4. 결과: "더 정확한 통신망 설계"

캐나다의 5 개 주요 도시 (토론토, 밴쿠버 등) 에서 실험한 결과는 놀라웠습니다.

• 기존 방법보다 오차가 크게 줄었습니다.
• 이는 통신사가 **불필요하게 기지를 너무 많이 세우거나 (과잉 투자), 반대로 트래픽 폭주 때 망이 터지는 것 (부족 투자)**을 막아줍니다.

실제 예시:

• 대역폭 (Bandwidth) 계산: "이 지역에 3.5GHz 주파수로 몇 MHz 를 할당해야 할까?"를 계산할 때, 이 방법을 쓰면 훨씬 정확한 숫자가 나옵니다.
• 혼잡도 예측: "어디서 인터넷이 끊길까?"를 미리 찾아내어, 혼잡한 지역에만 주파수를 더 많이 배분할 수 있게 됩니다.

💡 요약: 왜 이 논문이 중요한가요?

이 논문은 **"AI 가 지리 데이터를 다룰 때, 이웃 관계를 너무 쉽게 믿지 말고, 땅의 실제 상황 (상업, 주거 등) 을 고려해서 학습시켜야 진짜 실력을 발휘한다"**는 것을 증명했습니다.

한 줄 요약:

"이웃집의 답을 훔쳐보지 말고, 상황이 비슷한 친구들끼리 그룹을 지어 시험을 치르게 하니 AI 가 진짜로 똑똑해져서, 5G/6G 통신망 설계가 훨씬 정확하고 경제적になりました."

이 기술은 앞으로 우리가 더 빠르고 안정적인 인터넷을 쓸 수 있게 하는 데이터 기반의 통신 계획의 핵심이 될 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 5G NR 용량 계획, 네트워크 밀집화 (Densification), 데이터 기반 6G 계획 수립을 위해서는 공간적 셀룰러 트래픽 수요를 정확하게 예측하는 것이 필수적입니다.
• 핵심 과제: 기계학습 (ML) 을 통해 지리공간 및 사회경제적 데이터를 융합하여 세부적인 수요 지도를 추정할 수 있지만, **공간 자기상관성 (Spatial Autocorrelation)**으로 인해 발생하는 데이터 누출 (Leakage) 문제가 있습니다.
  • 인접한 샘플들은 통계적으로 의존적이기 때문에, 단순한 무작위 훈련/테스트 분할 (Naive Train/Test Split) 을 수행하면 훈련 데이터와 테스트 데이터가 서로 너무 유사해집니다.
  • 이로 인해 모델의 정확도가 과대평가되고, 실제 계획 신뢰성이 약화되는 문제가 발생합니다.
• 기존 방법의 한계: 기존 연구들은 위치 기반 클러스터링을 사용하여 누출을 줄이려 시도했으나, 토지 이용 (Land-use) 이나 기능적 맥락 (Context) 을 고려하지 않아 여전히 편향된 평가가 이루어질 수 있습니다.

2. 제안된 방법론 (Methodology)

이 논문은 공간 자기상관성을 고려한 맥락 인식 (Context-aware) 2 단계 분할 전략과 잔차 공간 오차 보정을 결합한 AI 기반 프레임워크를 제안합니다.

가. 데이터 모델링

• 그리드 셀 단위 분석: 연구 지역 (캐나다 주요 5 개 도시) 을 약 1.5km × 1.5km 크기의 균일한 정사각형 그리드 셀로 분할합니다.
• 트래픽 수요 대리 변수 (Proxy): 운영자 데이터는 공개되지 않으므로, 앱 내 SDK 를 통해 수집된 크라우드소싱 모바일 사용 지표 (사용자 연결 수 및 지속성) 를 그리드 셀 단위로 집계하여 트래픽 수요 대리 변수 ($y_i$) 로 활용합니다.
• 특성 (Features): 인구 밀도, 인프라 (도로, 비즈니스, POI), 토지 이용 유형, 네트워크 인프라 등 이질적인 지리공간 데이터를 그리드 셀에 매핑합니다.

나. 공간 의존성 분석

• 모란의 I (Moran's I) 활용:
  • 전역 모란의 I: 도시 전체의 공간 자기상관 범위를 파악하여 분할 경계가 이를 초과하도록 설정합니다.
  • 국소 모란의 I: 고 - 고 (HH), 저 - 저 (LL) 등 공간적 군집과 이상치를 식별하여 일반화 난이도가 높은 영역을 파악합니다.

다. 2 단계 데이터 분할 전략 (Two-Stage Splitting)

공간적 누출을 줄이고 맥락적 대표성을 확보하기 위해 두 단계로 나뉩니다.

1. 1 단계 (공간 클러스터링): $k$-Means 알고리즘을 사용하여 그리드 셀의 좌표를 기반으로 공간적으로 응집된 블록을 생성합니다. 이는 인접한 상관관계가 높은 샘플들을 서로 다른 폴드 (Fold) 로 분리하여 누출을 방지합니다.
2. 2 단계 (맥락 인식 정제): 1 단계에서 생성된 공간 클러스터 내에서 토지 이용, 사회경제적 특성 등의 '맥락 (Context)'을 고려하여 하위 클러스터를 형성합니다. 이를 통해 각 폴드가 단일 유형의 지역 (예: 상업지) 만 포함하는 불균형을 방지하고, 다양한 맥락을 포함하도록 분할합니다.

라. 공간 오차 보정 (Spatial Error Correction)

• 기저 모델: 구조화된 표 형식 데이터에 강한 성능을 보이는 XGBoost를 사용합니다.
• 공간 오차 모델 (SEM): XGBoost 예측 후 발생하는 잔차 ($e_i = y_i - \hat{y}_i$) 는 여전히 공간적 상관관계를 가질 수 있습니다. 이를 보정하기 위해 공간 오차 모델 (Spatial Error Model) 을 적용합니다.
  • 잔차 과정을 공간 필터링된 과정으로 모델링하여, 예측값에 공간적 편향을 보정합니다.
  • 정규화 목적 함수를 통해 공간적으로 구조화된 잔차를 억제합니다.

3. 주요 기여 (Key Contributions)

1. 맥락 인식 2 단계 분할 전략: 단순 위치 기반 클러스터링을 넘어, 토지 이용 및 기능적 맥락을 고려한 분할을 통해 공간 누출을 효과적으로 줄이고 공간 일반화 성능을 향상시켰습니다.
2. 잔차 공간 오차 보정: 기계학습 모델의 잔차에 존재하는 공간적 의존성을 통계적 모델 (SEM) 로 보정하여 예측 정확도를 추가적으로 개선했습니다.
3. 계획 지향적 평가 프레임워크: 단순한 예측 오차 (MAE) 를 넘어, 이를 5G/6G 계획 지표 (대역폭 차원 설정 오류, 혼잡 위험) 로 변환하는 평가 체계를 제시했습니다.
4. 실증 연구: 캐나다의 5 개 주요 도시 (토론토, 몬트리올, 오타와, 밴쿠버, 캘거리) 에 대한 대규모 크라우드소싱 데이터를 활용한 검증.

4. 실험 결과 (Results)

• 성능 지표 (MAE 및 $R^2$):
  • 제안된 2 단계 분할 + SEM 보정 방식은 기존 위치 기반 클러스터링 (k-Means) 대비 모든 도시에서 평균 절대 오차 (MAE) 를 일관되게 감소시켰습니다.
  • 예시 (All Cities 기준): k-Means (1432.7) → 2-Stage (989.9) → 2-Stage + SEM (806.7).
  • $R^2$ 향상폭은 작았으나, 계획에 필수적인 절대 수요 추정치의 정확도 (MAE) 가 크게 개선되었습니다.
• 학습 곡선: 위치 기반 분할은 훈련 - 검증 간격이 커서 과적합 (Overfitting) 징후를 보였으나, 제안된 방법은 이 간격을 줄이고 검증 오차를 낮췄습니다.
• 계획 지표 영향:
  • 대역폭 차원 설정 오류 (BDE): 예측 오차 감소는 직접적으로 필요한 대역폭 추정의 오차를 줄여줍니다 (예: 3.5GHz 대역에서 BDE 가 35.8MHz 에서 20.2MHz 로 감소).
  • 혼잡 위험: 제안된 방법은 실제 관측된 수요 분포와 예측된 혼잡 곡선 간의 편차를 줄여, 과소/과대 공급 위험을 더 정확하게 식별하게 합니다.

5. 의의 및 결론 (Significance)

• 신뢰성 있는 네트워크 계획: 공간 자기상관성으로 인한 편향을 제거함으로써, 5G/6G 네트워크의 용량 확장, 소셀 (Small-cell) 배치, 스펙트럼 공유 계획에 있어 더 신뢰할 수 있는 근거를 제공합니다.
• 데이터 기반 의사결정: 단순한 기술적 예측을 넘어, 실제 통신 사업자와 규제 기관이 대역폭 할당 및 혼잡 관리 전략을 수립하는 데 직접적으로 활용 가능한 정량적 지표 (BDE, 혼잡률) 를 제시했습니다.
• 확장성: 제안된 프레임워크는 다양한 지리공간 데이터와 도시 환경에 적용 가능한 범용적인 AI 기반 계획 도구로 평가됩니다.

이 논문은 기계학습 모델의 공간적 일반화 능력을 향상시키는 방법론적 혁신과 이를 실제 통신 네트워크 계획에 적용하는 실용적 가치를 동시에 입증했다는 점에서 의미가 있습니다.