Automatic Discovery of Intra-Class Sub-Structure for Supervised Tabular Classification: Offline Clustering vs. Joint Sub-Center Training

기술 요약: 지도 학습 기반 정형 데이터 분류를 위한 클래스 내 하위 구조의 자동 발견

문제 정의
지도 학습 기반 정형 데이터 분류(Supervised Tabular Classification)에서 클래스 레이블은 종종 기저의 데이터 생성 과정보다 더 거칠게(coarse) 설정됩니다. 단일 레이블(예: "의자" 또는 "유형 A 결함")은 여러 개의 뚜렷한 하위 유형이나 결함 모드를 포함할 수 있습니다. 본 연구의 핵심 질문은 복잡한 파운데이션 모델이나 비지도 사전 학습에 의존하지 않고도, 이러한 숨겨진 클래스 내 하위 구조(intra-class sub-structure)를 자동으로 발견하고 활용함으로써 분류 정확도를 향상시킬 수 있는가 하는 점입니다. 본 논문은 이 문제를 해결하기 위한 두 가지 주요 접근 방식인 '2단계 오프라인 클러스터링 파이프라인'과 '결합형 엔드투엔드 서브-센터(sub-center) 학습 메커즘'을 조사합니다.

방법론
본 연구는 확장된(overcomplete) 펜얼티메이트(penultimate) 층을 갖춘 표준 2-은닉층 다층 퍼셉트론(MLP)을 기본 분류기로 사용합니다. 저자들은 10개의 다양한 정형 데이터셋(Letter, MNIST, HAR, Yeast 포함)을 사용하여 클래스 내 이질성을 모델링하는 두 가지 전략을 엄격하게 비교하였으며, 5개의 독립적인 랜덤 시드와 대응 표본 유의성 검정을 적용했습니다.

1. 오프라인 클러스터링-재레이블링 파이프라인 (2단계):

   • 1단계: 거친 레이블을 사용하여 기본 네트워크를 학습합니다.
   • 2단계: 펜얼티메이트 특징을 추출하고 각 클래스 내에서 독립적으로 $k$-means 클러스터링을 적용하여 하위 레이블(sub-labels)을 생성합니다.
   • 3단계: 이 새로운 하위 레이블들을 사용하여 새로운 네트워크를 처음부터 다시 학습시킵니다.
   • 4단계: 추론 시, 하위 레이블을 예측한 후 이를 상위 클래스로 매핑합니다.
   • 저자들은 특정 하이퍼파라미터가 성공 또는 실패를 주도하는지 확인하기 위해 $k \in \{2, 3, 5, 10\}$에 대한 전체 탐색(sweep)을 수행합니다.

2. 결합형 서브-센터 헤드 (엔드투엔드):

   • 표준 출력층을 $C \times k$개의 로짓(logit)을 가진 서브-센터 층으로 교체합니다 (여기서 $C$는 클래스 수, $k$는 서브-센터 수).
   • 모델은 마진화된 소프트맥스 가능도(marginalized softmax likelihood)를 사용하여 엔드투엔드로 학습됩니다. 여기서 클래스의 확률은 해당 클래스의 $k$개 하위 구성 요소들의 확률 합입니다.
   • 별도의 클러스터링 단계나 재레이블링 과정이 없으며, 네트워크는 하위 구조를 암시적으로 학습합니다.

3. 휴리스틱 및 대조군:

   • RF-Gap 휴리스틱: 랜덤 포레스트(RF)와 기본 MLP 사이의 정확도 차이를 통해 하위 클래스 발견이 도움이 될지 예측하는 진단 도구입니다.
   • 파라미터 매칭 대조군: 혼합 모델 목적 함수(mixture-model objective)의 이점과 단순한 출력층 너비 확장의 이점을 구분하기 위해, 마진화되지 않은 변형(평균 풀링된 로짓)을 사용합니다.
   • 동결된 인코더 진단: 이득이 출력층의 유연성에서 오는지, 아니면 공유된 표현(representation)의 변화에서 오는지 결정하기 위해 사용됩니다.

주요 결과

• 오프라인 클러스터링은 신뢰할 수 없음: 2단계 오프라인 파이프라인은 경험적으로 불안정합니다. 10개의 데이터셋 중 단 2개에서만 (미미하게) 정확도가 개선되었고, 나머지 8개에서는 성능이 저하되었습니다. 6개의 데이터셋에서는 성능 저하가 통계적으로 유의미했습니다 (Yeast의 경우 최대 -2.83 퍼센트 포인트). $k$에 대한 탐색 결과, 8/10의 데이터셋에서 $k$가 증가함에 따라 성능 저하가 단조롭게 악화되었으며, 이는 해당 방법이 거친 레이블의 정확도를 해치는 가짜 분할(spurious partitions)을 생성하기 쉽다는 것을 시사합니다.
• 결합형 서브-센터 학습은 안전함: 오프라인 파이프라인을 결합형 서브-센터 헤드로 교체함으로써 실패 모드가 제거되었습니다. 관찰된 최악의 성능 저하는 -0.03 퍼센트 포인트로, 통계적으로 노이즈와 구별할 수 없는 수준이었습니다. 결합형 방법은 오프라인 방법이 실패했던 데이터셋(예: Yeast, Vowel)에서 정확도를 향상시켰습니다.
• 자기 제한 메커니즘 (Effective-$k$): $k=10$의 서브-센터 예산을 할당했음에도 불구하고, 결합형 헤드는 10개 중 9개의 데이터셋에서 클래스당 1~2개의 활성 구성 요소로 스스로를 제한했습니다. 이러한 "전문가 붕괴(expert collapse)" 현상은 실제 하위 구조가 없는 클래스에서 모델이 노이즈에 과적합되는 것을 방지하며, 일종의 암시적 규제(implicit regularization) 역할을 합니다.
• 마진화 vs. 용량의 역할: 파라미터 매칭 대조군(마진화 없이 평균 풀링된 로짓)은 10개 데이터셋 모두에서 마진화된 결합형 헤드와 통계적으로 구별할 수 없을 정도로 유사한 성능을 보였습니다. 이는 현재의 샘플 크기에서 안전 마진이 특정 마진 가능도 메커니즘보다는 증가된 출력층 너비에 기인함을 시사합니다. 다만, 결합형 헤드가 오프라인 방식보다는 엄격히 더 안전합니다.
• RF-Gap 휴리스틱: 휴리스틱(RF 정확도가 MLP보다 2pp 초과할 때 "분할"로 예측)은 17개 중 13개 데이터셋에서 개선 방향을 올바르게 예측했습니다 (76%). 그러나 이는 "항상 건너뛰기"라는 단순한 베이스라인(70.6%)보다 약간 나은 수준이며, 상관관계가 통계적으로 유의미하지는 않습니다 ($r=0.37, p=0.15$). 이는 견고한 예측기라기보다는 방향성만 제시하는 약한 규칙에 가깝습니다.
• 학습 예산 아티팩트(Training-Budget Artifact): 저자들은 엔드투엔드 네트워크에 풀 배치 경사 하강법(full-batch gradient descent)을 사용했을 때(선형 프로브의 잘 튜닝된 솔버와 대비하여) 펜얼티메이트 특징이 더 우수하다고 잘못 시사했던 구현상의 아티팩트를 식별했습니다. 동일한 미니 배치 예산으로 학습했을 때, 엔드투엔드 결과는 10개 중 8개 데이터셋에서 프로브의 성능을 능가하거나 대등하게 나타나, 이전의 오해를 바로잡았습니다.

의의 및 주장
저자들은 본 연구를 새로운 아키텍처의 제안이라기보다 엄격한 경험적 및 진단적 연구로 규정합니다. 본 연구의 기여는 다음과 같습니다:

1. 경험적 특성화: 오프라인 클러스터링 방식이 정형 데이터 분류에서 신뢰할 수 없는 반면, 결합형 서브-센터 접근 방식은 자기 규제를 통해 실패 모드를 피하는 안전한 대안임을 체계적이고 통계적으로 엄격하게 비교하여 보여주었습니다.
2. 진단적 통찰: "효과적인 $k$" 현상(자기 제한적 서브-센터)과 "학습 예산 아티팩트"를 밝혀냄으로써, 왜 문헌의 특정 비교들이 결함이 있을 수 있는지 명확히 했습니다.
3. 정직한 한계 인정: 저자들은 서브-센터 헤드가 기존의 메커니즘(ACOL 및 Sub-center ArcFace에서 채택됨)을 변형한 것이며, MLP 성능에 대한 트리 앙상블과의 아키텍처적 독창성을 주장하지 않음을 명시했습니다. 본 연구의 가치는 통계적 검증력에 대한 정직한 설명, (마진화된 헤드와 평균 풀링된 헤드의 구별 불가능함과 같은) 널 결과(null results)의 투명한 보고, 그리고 오프라인 클러스터링에 대한 경고적 발견에 있습니다.

본 연구는 결합형 학습을 통한 자동 하위 구조 발견이 성능을 저하시키지 않는 안전한 메커니즘이지만, 그 이득은 완만하며 종종 더 넓은 출력층의 유연성과 구별하기 어렵다는 결론을 내립니다. 반면, 오프라인 클러스터링 방식은 심각한 성능 저하를 초래할 위험이 높으므로 주의해서 다루어야 합니다.