`pandemonium`: High Dimensional Analysis in Linked Spaces

이 논문은 예측 변수와 반응 변수 간의 관계를 복잡한 데이터셋(예: 신경망 활성화 및 다변량 물리 모델)에서 탐색하기 위해 군집 분석과 비선형 차원 축소 및 애니메이션 투어와 같은 연결된 시각화를 결합하여 연결된 공간에서의 고차원 분석을 용이하게 하는 R 패키지인 `pandemonium`을 소개합니다.

핵심

거대하고 복잡한 퍼즐을 풀려고 한다고 상상해 보세요. 여기에는 두 가지 다른 종류의 단서 세트를 가지고 있습니다. 한 세트는 입력된 내용(요리법의 재료나 기계의 설정과 같은 것)을 설명하고, 다른 세트는 결과물(케이크의 맛이나 기계의 출력과 같은 것)을 설명합니다.

문제는 재료가 너무 많고 가능한 맛도 너무 많아 스프레드시트만 보고는 패턴을 파악하는 것이 불가능하다는 점입니다. 재료들이 함께 어떻게 특정 맛을 만들어내는지 볼 수 있는 방법이 필요합니다.

이것이 바로 pandemonium R 패키지가 수행하는 역할입니다. 이는 연구자들이 두 개의 고차원 세계 사이의 연결 고리를 찾아주는 디지털 "마법 창"과 같습니다.

간단한 비유를 사용하여 작동 원리를 설명해 보겠습니다:

1. 두 개의 방 (연결된 공간)

데이터를 두 개의 별도의 방으로 생각하세요:

• 방 A (클러스터링 공간): 이는 사물들을 유사성에 따라 그룹화하는 곳입니다. 색상과 무늬에 따라 뒤섞인 양말 더미를 분류한다고 상상해 보세요.
• 방 B (연결된 공간): 이는 원래 세부 사항을 살펴보는 곳입니다. 같은 양말을 보고 어떤 천으로 만들어졌는지 또는 어디서 구매했는지 살펴본다고 상상해 보세요.

일반적으로 연구자들은 방 A를 본 후 방 B로 이동하여 두 방이 어떻게 관련되는지 추측하려 합니다. **pandemonium**은 두 방 사이에 거대한 양방향 거울을 설치합니다. 방 A에서 양말 무리를 가리키면, 거울이 즉시 방 B에서 정확히 같은 양말들을 강조하여 그들의 천과 출처를 보여줍니다.

2. 마법 렌즈 (클러스터링)

이 도구는 방 A의 데이터를 정리하는 것부터 시작합니다. 이는 지도를 접는 것과 같은 계층적 클러스터링이라는 방법을 사용합니다. 대륙과 같은 몇몇 큰 지역을 보려면 확대하고, 거리와 같은 작은 동네를 보려면 축소할 수 있습니다.

• "3 개의 큰 그룹을 보여줘"라고 하거나 "10 개의 작은 그룹을 보여줘"라고 할 수 있습니다.
• 그룹 수를 변경하면 도구가 즉시 두 방의 뷰를 업데이트합니다.

3. 움직이는 카메라 (투어 및 투영)

데이터가 평평한 종이에 그리기에는 차원이 너무 많기 때문에, 이 도구는 3 차원 (또는 100 차원) 세계를 2 차원 화면으로 평평하게 만들기 위해 두 가지 특수한 카메라 트릭을 사용합니다:

• 비선형 렌즈 (UMAP/t-SNE): 이는 데이터가 원시 숫자에서는 멀리 떨어져 있더라도 서로 자연스럽게 가까운지 보여주기 위해 데이터를 찌그러뜨리고 늘리는 만화경 거울과 같습니다.
• 애니메이션 투어: 이는 데이터 포인트 구름을 비행하는 드론과 같습니다. 정적 사진 대신 구름을 천천히 회전시키는 비디오를 제공하여, 한 각도만 보면 놓칠 수 있는 숨겨진 형태와 간격을 볼 수 있게 합니다.

4. "브러시" (상호작용 선택)

이것이 가장 강력한 기능입니다. 페인트 브러시를 가지고 있다고 상상해 보세요.

• "드론 비디오"(방 A) 에서 특정 포인트 클러스터를 칠합니다.
• 즉시, 동일한 포인트들이 "정적 지도"(방 B) 에서 빛납니다.
• 이를 통해 다음과 같은 질문을 할 수 있습니다: "결과물 (방 A) 에서 비슷해 보이는 이 모든 포인트들이 왜 입력값 (방 B) 에서 그렇게 다른 온도와 습도 수치를 가지고 있을까?"

논문에서 나온 실제 사례

저자들은 이 도구가 어떻게 작동하는지 보여주기 위해 두 가지 매우 다른 문제에서 이 도구를 테스트했습니다:

사례 1: 자전거 대여 기계 (머신러닝)

• 설정: 날씨 (온도, 바람, 비) 를 기반으로 사람들이 대여할 자전거 수를 예측하는 컴퓨터 모델을 가지고 있었습니다.
• 문제: 어떤 날씨 조합이 모델을 이상하게 행동하게 하거나 잘 예측하게 만드는지 알고 싶었습니다.
• 해결책: 모델의 내부 "생각"(활성화) 을 클러스터로 그룹화했습니다. 그런 다음, 거울을 사용하여 해당 그룹들의 날씨 데이터를 살펴보았습니다. 그들은 온도와 습도의 특정 조합이 그룹을 분리하는 주요 동력임을 발견했습니다. 또한 모델이 만든 "실수"(잔차) 를 확인하여 모델이 어디에서도 잘 작동하고 있으며 이상한 맹점이 없음을 확인했습니다.

사례 2: 입자 물리학 퍼즐 (물리학)

• 설정: 물리학자들은 아원자 입자에 대한 실험 데이터와 일치시키기 위해 150 개의 노브 (매개변수) 를 가진 복잡한 모델을 가지고 있습니다.
• 문제: 150 개의 노브가 있으므로 실제로 어떤 것이 중요한지 알 수 없습니다.
• 해결책: 그들은 6 개의 노브와 16 개의 측정값으로 구성된 작은 세트를 가져왔습니다. 그들은 비슷해 보이는 측정값들을 그룹화했습니다. 그런 다음, 해당 그룹들의 "노브"를 살펴보았습니다. 이 도구는 여섯 개 중 두 개의 특정 노브만이 뚜렷한 그룹을 만드는 데 책임이 있음을 드러냈습니다. 나머지 네 개의 노브는 결과를 크게 바꾸지 않는 것으로 보였습니다.

이것이 중요한 이유

pandemonium과 같은 도구들 이전에는 이러한 연결 관계를 파악하는 것이 눈가리개를 하고 건초더미에서 바늘을 찾는 것과 같았습니다. 당신은 추측할 수는 있지만 패턴을 볼 수는 없었습니다.

이 패키지는 단순히 숫자를 계산하는 것이 아니라, 탐색할 수 있게 합니다. 이를 통해 다음을 수행할 수 있습니다:

1. 유사성에 따라 데이터를 그룹화합니다.
2. 해당 그룹들이 원래 데이터에서 어떻게 보이는지 즉시 확인합니다.
3. 숨겨진 구조를 찾기 위해 데이터를 회전하고 확대/축소합니다.

이 도구는 초보자도 마우스와 화면으로 쉽게 사용할 수 있도록 설계되었지만, 전문가가 자신만의 맞춤형 수학 공식을 연결할 수 있을 만큼 유연합니다. 이는 혼란스러운 고차원 데이터의 무리를 명확하고 상호작용적인 이야기로 바꿉니다.

기술 요약

기술 요약: pandemonium: 연결된 공간의 고차원 분석

문제 제기
데이터 분석은 종종 많은 수의 예측 변수와 응답 변수를 포함하는 상황을 마주치며, 이는 입력과 출력이라는 두 개의 본질적으로 연결된 고차원 공간을 생성합니다. 시각적 접근 방식은 저차원 데이터에 효과적이지만, 전통적인 기법들은 종종 두 영역을 동시에 spanning 하는 관계를 드러내지 못합니다. 기존 도구들은 일반적으로 단일 공간에 초점을 맞추거나 하나의 공간 내 군집화 결과의 상호작용적 탐색에 집중하므로, 예측 변수 공간의 구조가 응답 변수 공간의 패턴과 어떻게 관련되는지, 또는 그 반대의 경우를 추론하기 어렵습니다.

방법론
본 논문은 계층적 군집 분석과 상호작용적 연결 시각화를 결합하여 연결된 고차원 공간을 탐색하도록 설계된 R 패키지인 pandemonium을 소개합니다. 이 방법론은 두 공간에 분포된 $n$개의 관측치로 구성된 데이터셋을 기반으로 작동합니다: 군집화 공간(변수 $Y$)과 연결된 공간(변수 $X$), 그리고 선택적 추가 정보($Z$)가 포함됩니다.

핵심 워크플로우는 다음과 같습니다:

1. 좌표 변환: 원시 데이터는 사용자 정의 또는 사전 정의된 함수(예: 표준화, 또는 분산 - 공분산 행렬을 활용한 변환)를 사용하여 좌표 표현($\tilde{Y}, \tilde{X}$)으로 변환됩니다.
2. 계층적 군집화: 관측치들은 군집화 공간 내에서 계층적 군집화를 통해 군집화됩니다. 이 패키지는 중첩된 군집 선택을 통해 재현 가능한 결과를 지원하며, 사용자가 군집 수, 거리 척도, 그리고 연결 방법을 조정할 수 있게 합니다.
3. 연결된 시각화: 결과적으로 생성된 군집들은 군집화 공간과 연결된 공간 모두에서 동시에 시각화됩니다. 시각화 프레임워크는 다음을 활용합니다:
   • 비선형 차원 축소 (NLDR): 고차원 데이터를 2D 로 투영하기 위한 t-SNE 및 UMAP 과 같은 기법.
   • 애니메이션 투어: tourr 및 detourr 패키지를 통해 생성된 선형 투영 (예: 그랜드 투어, 가이드 투어, 슬라이스 투어).
   • 연결된 브러싱: crosstalk 패키지를 사용하여 구현되며, 한 뷰 (예: 군집화 공간의 UMAP 플롯) 에서의 선택 (브러싱) 이 모든 다른 뷰 (예: 연결된 공간의 투어) 에서 해당 점들을 즉시 강조하도록 합니다.
4. 통계적 지침: 패키지는 최적의 군집 수를 선택하는 데 도움이 되도록 군집 통계 (예: Calinski-Harabasz 지수, 군집 내/군집 간 비율, 군집 반경, 그리고 벤치마크 거리) 를 제공합니다.

주요 기여

• 연결된 공간을 위한 범용 프레임워크: 단일 도메인 내 군집화 정제에 초점을 맞춘 이전 도구들과 달리, pandemonium은 군집화 설정을 상호작용적으로 변경하면서 두 개의 연결된 공간을 탐색하기 위한 범용 프레임워크를 정의합니다.
• 모듈식 아키텍처: shiny를 기반으로 구축된 이 패키지는 좌표 변환, 점수 계산, 그리고 차원 축소 방법에 대한 사용자 정의 함수를 주입할 수 있게 하여, 기본 구현을 넘어 적용 범위를 확장합니다.
• 통합 시각 분석: 계층적 군집화, NLDR, 그리고 애니메이션 투어를 단일 인터페이스에 독창적으로 통합하여, 군집 구조를 연결된 공간의 기하학적 구조와 비교할 수 있게 합니다.
• 재현성: 패키지는 GUI 기반 분석을 재현하고 대화형 세션 외부에서 결과를 프로그래밍 방식으로 내보내기 위한 makePlots() 및 writeResults() 함수를 포함합니다.

결과 및 사례 연구
본 논문은 두 가지 명확한 사례 연구를 통해 패키지를 검증합니다:

1. 머신러닝 해석: 이 패키지는 자전거 대여 수를 예측하는 신경망 모델을 분석하는 데 사용되었습니다. 잠재 활성화 (군집화 공간) 를 군집화하고 이를 입력 변수 (연결된 공간) 에 매핑함으로써, 저자들은 특정 입력 조합 (온도와 습도) 이 독특한 활성화 패턴을 주도한다는 것을 확인했습니다. 연결된 뷰는 모델 잔차가 잘 분포되어 있음을 보여주었지만, 활성화 공간에는 입력 공간 단독으로는 즉시 명확하지 않았던 ReLU 활성화 함수에 해당하는 선형 구조가 포함되어 있음을 드러냈습니다.
2. 고차원 물리 모델링: 이 패키지는 150 개의 매개변수가 6 개의 예측 변수와 16 개의 응답 변수의 부분 집합으로 축소된 복잡한 입자 물리 모델을 분석했습니다. 실험적 공분산 행렬에 기반한 좌표 변환을 사용하여, 저자들은 응답 공간을 군집화했습니다. 연결된 시각화는 특정 예측 변수 ($X_1$ 및 $X_3$) 가 군집을 분리하는 책임을 지고 있는 반면, 다른 변수 ($X_6$) 는 의존성을 보이지 않았음을 성공적으로 식별했습니다. 이는 고차원 매개변수 공간에서 관련 예측 변수를 분리해내는 도구의 능력을 입증했습니다.

의의와 한계
본 논문은 pandemonium을 연결된 도메인에서 통계적 군집화와 시각 분석 간의 간극을 메우는 탐색 도구로 위치시킵니다. 그 의의는 한 공간의 구조 (예: 모델 예측 또는 잠재 변수) 가 다른 공간의 구조 (예: 원시 입력 또는 실험 관측치) 와 어떻게 관련되는지에 대한 직관적인 가설을 수립할 수 있게 한다는 데 있습니다.

저자들은 다음과 같은 modest 한계를 지적합니다:

• 확장성: 투어에 대한 계산 시간 제약과 고차원 데이터에 내재된 시각적 혼란으로 인해 이 도구는 중간 규모의 응용 프로그램으로 제한됩니다. 매우 큰 데이터셋의 경우, 탐색 전에 변수 선택 또는 선형 차원 축소를 권장합니다.
• 유연성 대 단순성: 패키지는 고급 사용자를 위한 모듈식 입력을 제공하지만, 초보 사용자를 위한 단순성을 유지하기 위해 일부 시각 옵션은 고정되어 있습니다.
• 향후 작업: 저자들은 더 광범위한 응용 테스트를 통해 한계를 식별하고 더 복잡한 사용 사례를 위해 모듈성을 확장하기 위해 추가 개발이 필요하다고 제안합니다.

본 논문은 pandemonium이 머신러닝부터 이론 물리학에 이르기까지 다양한 분야에 적용 가능한 고차원 공간의 상호의존성을 조사하기 위한 가치 있고 접근 가능한 인터페이스를 제공한다고 결론지었습니다.