The bixplot: A variation on the boxplot suited for bimodal data

기술 요약: Bixplot

문제 제기
저자들은 탐구적 데이터 분석 (EDA) 의 핵심 요소인 표준 상자 그림 (boxplot) 의 중요한 한계를 지적합니다. 이는 Tukey(1977) 가 도입한 것입니다. 상자 그림은 단봉 분포에는 효과적이지만, 이봉 또는 다봉 데이터를 시각적으로 표현할 수 없으며, 암묵적으로 단봉성을 가정합니다. Benjamini(1988) 의 vaseplot, Hintze 와 Nelson(1998) 의 violin plot, Kampstra(2008) 의 beanplot 과 같은 기존 확장 방법들은 밀도 곡선이나 개별 데이터 점을 표시함으로써 상자 그림을 개선했습니다. 그러나 이러한 방법들은 명확한 모드 (mode) 를 명시적으로 감지하거나 분리하지는 못합니다. 결과적으로, 데이터가 하위 집합의 혼합에서 비롯된 경우 이러한 플롯 내의 요약 통계량 (예: 중앙값과 사분위수) 은 오해의 소지가 있을 수 있으며, 시각적 표현은 중첩된 군집을 명확하게 구별하지 못할 수 있습니다.

방법론
본 논문은 단변량 데이터에서 단봉, 이봉, 다봉 구조를 감지하고 표시하도록 설계된 시각화 도구인 bixplot을 제안합니다. bixplot 의 구성은 다음과 같은 특정 알고리즘 파이프라인을 포함합니다:

1. 단봉성 검정:

   • 알고리즘은 먼저 결측값이 아닌 값의 개수 ($n$) 를 평가합니다. $n$이 작을 경우 (구체적으로 $n < 2 \times \text{minN}$이며, 여기서 $\text{minN}$은 기본값 15) 또는 사용자가 단일 군집을 강제하는 경우 ($k_{max}=1$), 데이터는 단봉으로 간주됩니다.
   • 더 큰 데이터셋의 경우, 단봉성에 대한 귀무가설을 검정하기 위해 Hartigan 의 dip test(Hartigan and Hartigan, 1985) 를 적용합니다. 이 검정은 경험적 분포 함수와 가장 가까운 단봉 분포 사이의 최대 수직 거리를 계산합니다. $p$-값이 유의수준 (기본값 0.01) 이하이면 단봉성은 기각됩니다.

2. 제약된 단변량 군집화:

   • 데이터가 단봉이 아닌 것으로 판단되면, 데이터를 연속적인 군집 (다른 군집 구성원이 내부에 중첩되지 않는 구간) 으로 분리하기 위해 특수한 군집화 알고리즘이 사용됩니다.
   • 이 방법은 실제 데이터 점을 군집 중심점으로 선택하기 위해 $k$-medoids 군집화(Partitioning Around Medoids, PAM) 를 활용합니다.
   • 핵심적으로, 저자들은 제약된 $k$-medoids 버전을 구현합니다. 군집이 의미 있고 밀도 추정을 지원하도록 하기 위해, 각 군집은 최소한의 고유 값 개수 ($\text{clusMinN}$, 기본값 3) 를 포함해야 한다는 제약을 알고리즘이 부과합니다. 이는 고립된 점이나 동점 값이 인위적인 군집을 형성하는 것을 방지합니다. 알고리즘은 제약을 만족하면서 총 편차를 최소화하기 위해 반복적으로 점을 재할당하는 수송 방법을 사용합니다.

3. 군집 선택:

   • 알고리즘은 2 에서 사용자 정의 최대값 ($k_{max}$, 기본값 7) 까지 군집 수 ($k$) 를 평가합니다.
   • 최적의 군집 수는 다른 군집에 비해 할당된 군집 내에서 점들이 얼마나 잘 적합하는지를 측정하는 가장 높은 실루엣 점수(Rousseeuw, 1987) 를 기준으로 선택됩니다.

4. 시각화 구성:

   • 단봉 데이터: 커널 밀도 추정 (violin plot 과 유사) 위에 표준 상자 그림을 겹쳐 표시하고, 개별 데이터 점을 보여주는 rug plot(beanplot 스타일) 을 포함합니다.
   • 다봉 데이터: 데이터는 식별된 군집으로 나뉩니다. 각 군집은 자체 밀도 곡선, 상자 그림, rug plot 을 가진 별도의 "몸체"로 표시됩니다.
   • 크기 옵션: 군집 몸체의 면적은 군집 크기에 비례하게 하거나, 군집 간에 균등하게 하거나, 일정한 너비로 설정할 수 있습니다.
   • 색상 지정: rug 선은 연속형 또는 범주형 외부 변수에 따라 색칠되어 관계를 드러낼 수 있습니다.

주요 기여

• Bixplot 시각화: 상자 그림, 밀도 추적 (violin), rug plot(bean) 을 결합한 새로운 그래픽 표시로, 단봉, 이봉, 다봉 데이터를 처리하기 위해 명확하고 연속적인 군집으로 분리하도록 특별히 적응되었습니다.
• 제약된 $k$-medoids 알고리즘: 각 군집당 최소 고유 값 개수를 강제하고 군집의 연속성을 보장하는 $k$-medoids 방법의 새로운 변형으로, 단변량 데이터에서 모드를 식별하기 위해 특별히 설계되었습니다.
• 소프트웨어 구현: 저자들은 Python(패키지 bixplot) 과 R(classmap 패키지의 함수 bixplot()) 모두에서 견고한 구현을 제공합니다. 이러한 구현은 짧은 함수 호출을 가능하게 하는 실용적인 기본값으로 설계되었으며, 색상, 선 너비, 크기 등에 대한 광범위한 사용자 지정 옵션을 제공합니다.

결과 및 적용
이 논문은 여러 실제 데이터셋을 통해 bixplot 의 유용성을 설명합니다:

• 물고기 행동: 실험 라운드 전반에 걸친 지연 시간에서 이봉성을 감지하여 모드 중심의 이동을 보여주었습니다.
• Palmer 펭귄: Dream Island 의 펭귄 부리 길이에서 이봉성을 드러냈으며 (표준 violin plot 에서 보이지 않는 하위 그룹을 구분), "반쪽" bixplot 을 사용하여 섬 내 성별을 직접 비교할 수 있게 했습니다.
• Iris 데이터: 꽃잎 길이와 너비가 꽃받침 치수보다 더 많은 구조 (이봉/다봉) 를 포함하여 클래스 레이블에 대한 사전 지식 없이 종을 분리하는 데 도움이 됨을 확인했습니다.
• Kingfisher 데이터: 복잡한 다봉 데이터 (날개 길이에서 7 개의 군집) 를 처리할 수 있는 능력을 입증했으나, 군집 수가 많을수록 시각적 구별이 어려워질 수 있음을 지적했습니다.
• 색상 매핑: rug plot 과 외부 변수 (예: 펭귄의 체중, iris 데이터의 종) 간의 관계를 성공적으로 시각화했습니다.

의의 및 주장
저자들은 bixplot 을 데이터 내 잠재적 하위 그룹을 드러내고 사용자 직관을 돕기 위한 탐구적 도구로 엄격히 위치시킵니다. 그들은 bixplot 이 확인적 방법이 아님을 명시적으로 밝힙니다. 군집의 식별 (예: 변수 내 세 개의 군집) 은 구조에 대한 지표일 뿐, 집단의 정확한 구성에 대한 통계적 확인이 아닙니다. 이 방법은 추론적 혼합 모델이 요구하는 확률적 가정 (예: 가우시안성) 을 피하여 더 넓은 범위의 데이터 분포에 적합합니다. 주요 의의는 표준 상자 그림이 실패하고 밀도 플롯이 명시적인 군집 분리가 부족한 기존 EDA 도구의 특정 격차를 해결하면서, 모달리티에 관해 데이터가 "말하게" 하는 능력에 있습니다.