Tensor Network Machine Learning for Wildfire Susceptibility Mapping: from Grokking Dynamics to Quantum Mixedness of Class Representations

기술 요약: 텐서 네트워크 머신러닝을 이용한 산불 취약성 매핑

문제 정의
본 연구는 다양한 식생 구조, 토지 이용 패턴, 인위적 압력 등 높은 환경적 이질성을 특징으로 하는 지중해성 경관인 이탈리아 남부 가르가노(Gargano) 지역의 산불 취약성 매핑 문제를 다룹니다. 전통적인 산불 모델링은 수동으로 조화시킨 예측 변수 레이어(예: 연료 부하, 지표 피복, 기후 지수)에 의존하며, 이는 계산 집약적이고 확장하기 어려울 수 있습니다. 또한, 표준 머신러닝 접근 방식은 대규모 지구 관측(EO) 데이터에 내재된 복잡하고 비선형적인 공간-분광 관계를 포착할 때, 높은 계산 비용이 발생하거나 클래스 분리 가능성에 대한 해석력이 부족할 수 있습니다. 저자들은 양자 영감 텐서 네트워크 모델, 특히 행렬 곱 상태(Matrix Product States, MPS)가 압축되고 학습된 지형 표현을 사용하여 산불 취사성을 효과적으로 분류할 수 있는지, 그리고 학습 역학 및 클래스 구별 가능성에 대해 물리적으로 근거 있는 통찰을 제공할 수 있는지 평가하고자 합니다.

방법론
제안된 프레임워크는 확장 가능한 지형 데이터 처리와 양자 영감 머신러닝을 통합합니다:

1. 데이터 표현 (AlphaEarth 임베딩):

   • 본 연구는 이질적인 환경 데이터(다중 분광 이미지, 식생 지수, 지형, 기후)를 각 $10m \times 10m$ 픽셀당 압축된 64차원 벡터로 변환하는 글로벌 임베딩 필드인 AlphaEarth Foundations를 활용합니다.
   • 이 임베딩은 환경 상태의 통합된 잠재 표현 역할을 수행하여 수동적인 특징 공학(feature engineering)의 필요성을 줄여줍니다.
   • 모델 훈련 전 중복성을 줄이기 위해 Boruta 특징 선택법을 적용하여 가장 정보량이 많은 특징 부분 집합(30차원)을 식별합니다.

2. 모델 아키텍처 (행렬 곱 상태 분류기):

   • 핵심 학습 아키텍처는 저계수 분해(low-rank decomposition)를 통해 고차원 상관관계를 인코딩하는 텐서 네트워크 모델인 행렬 곱 상태(MPS) 분류기입니다.
   • 양자 인코딩: 입력 벡터는 특징 맵 $|\phi(x^{(j)})\rangle = (\cos x^{(j)}, \sin x^{(j)})^\top$를 통해 고차원 힐베르트 공간으로 매핑됩니다.
   • 양자 마스크: "양자 마스크($W$)"라고 불리는 변분 텐서 객체는 인코딩된 상태에 작용합니다. $W$는 조절 가능한 결합 차원($\chi$)을 가진 MPS 형태로 표현되어 모델 복잡도를 제어할 수 있습니다.
   • 훈련: 모델은 예측 진폭과 타겟 레이블 인코딩 사이의 평균 제곱 오차 손실을 최소화하도록 훈련됩니다. 최적화는 NVIDIA H100 GPU에서 실행되는 미니 배치 기반의 스토캐스틱 경사 하강법(SGD)과 투 사이트 업데이트(two-site update) 전략을 사용합니다.
   • 태스크 구성: 모델은 두 가지 태스크에 대해 평가됩니다:
     • 이진 분류: 클래스 0 (취약성 없음/미미함) 대 클래스 1–3 (취약성 통합 그룹).
     • 다중 클래스 분류: 4개 클래스 전체(0, 1, 2, 3)를 구분.

3. 진단 지표:

   • 표준 정확도 외에도, 본 연구는 축약 밀도 행렬(reduced density matrices)에 기반한 **레벨별 혼합성 진단(level-resolved mixedness diagnostics)**을 도입합니다.
   • 주요 지표로는 쌍별 결맞음 계수(pairwise decoherence factors, $\Gamma_{ij}$), 정규화된 삼중 행렬식(normalized triplet determinants, $\Delta_{ijk}$), 그리고 조건부 순도(conditional purities)가 있으며, 이는 학습된 텐서 네트워크 내에서 클래스 표현 간의 구별 가능성과 결맞음 정도를 정량화합니다.

주요 결과

1. 예측 성능:

   • 이진 태스크: MPS 분류기는 **87.07%**의 정확도를 달성하였으며, 높은 민감도(91.13%)와 특이도(83.02%)를 보였습니다.
   • 다중 클래스 태스크: 모델은 **53.01%**의 전체 정확도에 도달했습니다. 성능은 클래스별로 차이가 있었는데, 클래스 0(75.47%)과 클래스 3(62.49%)의 성능이 중간 단계인 클래스 1(35.88%)과 클래스 2(38.21%)보다 높았습니다.
   • 문헌에 보고된 랜덤 포레스트 벤치마크가 이 특정 지역에 대해 더 높은 정확도(>95%)를 보이는 것과 달리, MPS 결과는 임베딩으로부터 학습하는 능력과 내부 역학을 드러내는 모델의 능력을 보여주는 보완적인 시연으로 제시되었습니다.

2. 그로킹(Grokking) 역학:

   • 훈련 궤적은 특히 이진 분류 태스크에서 뚜렷한 **그로킹 전이(grokking transition)**를 나타냈습니다.
   • 초기에는 훈련 성능과 테스트 성능 사이의 격차가 존재했는데, 이는 표면적인 상관관계를 암기하고 있음을 시사합니다.
   • 400에서 600 사이의 훈련 스윕(sweep) 동안, 테스트 민감도와 정확도가 급격히 개선되며 훈련 지표와 일치하는 급격한 전이가 발생했습니다. 이는 모델의 내부 표현이 암기에서 분류 문제의 기저 구조를 포착하는 단계로 재편되었음을 의미합니다.
   • 다중 클래스 설정에서는 이 전이가 계층적이고 분산되어 나타났습니다: 모델은 먼저 지배적인 클래스 0을 나머지 클래스와 분리하는 법을 학습한 후, 나중에 소수 클래스(1, 2, 3)를 구분하는 능력을 정교화했습니다.

3. 자화 패턴(Magnetization Patterns):

   • 특징 사이트 전반에 걸쳐 파울리 $\sigma_Z$ 연산자의 기대값(자화)을 모니터링한 결과, 양자 마스크는 그로킹 전이와 동시에 일치하는 코히어런트한 패턴으로 안정화되었습니다.
   • 다중 클래스 설정에서의 클래스 0에 대한 자화 패턴은 이진 설정과 거의 동일했으며, 이는 이진 분리가 다중 클래스 구조의 거친 입자화된 투영(coarse-grained projection)임을 시사하는 안정적이고 계층적인 표현을 나타냅니다.

4. 양자 혼합도 및 클래스 구별 가능성:

   • 축약 밀도 행렬 분석을 통해 학습된 표현의 근본적인 기하학적 특성이 밝혀졌습니다: 인접하지 않은 클래스가 인접한 클래스보다 더 잘 구별됩니다.
   • 결맞음 계수: 인접한 클래스 쌍(예: 1-2, 2-3)은 더 높은 결맞음($\Gamma_{ij}$)을 유지하여 구분이 더 어려움을 나타냈습니다. 반면, 인접하지 않은 쌍(예: 0-2, 0-3)은 더 낮은 결맞음을 보여 더 잘 분리됨을 의미했습니다.
   • 삼중 행렬식: 인접하지 않은 클래스를 포함하는 삼중항(예: 0-1-3)은 인접한 클래스만 포함하는 경우(예: 1-2-3)보다 더 높은 값을 보이며 안정화되었습니다. 이는 환경이 먼 카테고리에 대해 더 독립적인 정보를 인코딩하고 있음을 확인시켜 줍니다.
   • 이러한 계층 구조는 관찰된 분류 오류가 극단적인 클래스보다는 인접한 취약성 수준 사이에서 주로 국지적으로 발생한다는 점을 설명합니다.

의의 및 주장
본 논문은 텐서 네트워크 모델이 경쟁력 있는 분류 정확도 이상의 것을 제공한다고 주장합니다. 즉, 복잡한 환경 데이터셋을 해석하기 위한 물리적으로 근거 있는 프레임워크를 제공한다는 것입니다.

• 해석 가능성: "블랙박스" 모델과 달리, MPS 접근 방식은 양자 역학적 관측량(자화, 혼합도)을 통해 클래스 분리 가능성과 결맞음을 직접 정량화할 수 있게 해줍니다.
• 계층적 학습: 결과는 모델이 클래스 구별 가능성의 계층 구조를 자연스럽게 인코딩함을 보여줍니다. 즉, 광범위한 구분(낮은 취약성 대 높은 취약성)이 미세한 구분(중간 단계 간의 구분)보다 먼저 학습됩니다.
• 환경 데이터에서의 그로킹: 본 연구는 "그로킹" 현상—지연되었지만 급격한 일반화—이 실제 지형 데이터에 적용된 MPS 분류기에서도 나타남을 확인하였으며, 이를 내부 양자 표현의 안정화와 연결 지었습니다.
• 확장성: AlphaEarth 임베딩을 활용함으로써, 이 접근 방식은 수동적인 예측 변수 공학 없이도 이질적이고 다중 소스로 구성된 EO 데이터를 처리할 수 있는 확장 가능한 대안을 제공합니다.

저자들은 MPS 분류기가 이 특정 작업에 대해 기존의 랜덤 포레스트 모델의 예측 정확도를 아직 능가하지는 못하더라도, 학습 과정과 산불 취약성 레이블의 내재적 구조에 대한 더 풍부하고 기하학적으로 해석 가능한 설명을 제공한다고 결론짓습니다.