기술 요약: 신경 분류 트리(NCT)를 통한 강건한 분류를 위한 잠재 그룹 발견

1. 문제 정의

심층 신경망은 종종 훈련 세트에서 레이블과 상관관계가 있지만 인과적 타당성은 없는 특징인 '가짜 상관관계(spurious correlations)'를 이용해 높은 평균 정확도를 달起来합니다. 이러한 동작은 테스트 시점에 이러한 상관관계가 변화할 때(예: 새의 특징이 아닌 배경을 바탕으로 새를 분류하는 경우) 소수 하위 그룹에 대한 성능 저하를 불균형하게 초래합니다.

Group DRO나 의사 그룹 추론 기법(예: JTT, GEORGE)과 같은 기존 방법들은 최악의 그룹 정확도(worst-group accuracy)를 개선하지만, 해석 가능성 결여라는 결정적인 한계를 가집니다. 이러한 방법들은 편향을 완화하기 위해 네트워크 파라미터를 조정하지만, 추론 시에는 오직 클래스 예측만을 생성합니다. 이들은 특정 샘플이 어떤 잠재적 하위 그룹에 속하는지 밝혀내지 못하며, 상충하는 특징들을 구조적으로 격리하지도 못합니다. 또한, 많은 강건성 방법론들은 정교한 그룹 주석이나 검증 그룹 레이블에 의존하는데, 이는 실제 환경에서는 가용하지 않은 경우가 많습니다.

2. 방법론: 신경 분류 트리 (NCT)

저자들은 **신경 분류 트리(Neural Classification Trees, NCT)**를 제안합니다. 이는 모델의 트리 형태 아키텍처 자체에 하위 그룹 구조를 인코딩하는 프레임워크입니다. NCT는 난이도 신호를 재가중치 부여를 위해 일시적으로 사용하는 대신, 데이터 분할을 추론 시점의 아키텍처 자체로 보존합니다.

핵심 메커니즘

이 방법은 **훈련 난이도가 의미론적 그룹 정체성의 신뢰할 수 있는 대리 지표(proxy)**라는 관찰에 기반합니다. 가짜 상관관계와 일치하는 샘플은 학습하기 "쉬운(easy)" 반면, 반례(소수 그룹)는 "어려운(hard)" 것으로 나타납니다.

1. 반복적 라우팅 (Iterative Routing):

   • 프로세스는 표준 분류 헤드로 시작됩니다.
   • 각 반복 $t$에서, 샘플은 할당된 노드에 대한 예측 정확도에 따라 자식 노드로 라우팅됩니다.
   • 쉬운 브랜치 (Easy Branch): 올바르게 분류된 샘플은 짝수 인덱스 자식($2j$)으로 진행합니다.
   • 어려운 브랜치 (Hard Branch): 잘못 분류된 샘플은 홀수 인덱스 자식($2j+1$)으로 진행합니다.
   • 이 라우팅은 결정론적이며 훈련 역학에 의해 구동됩니다. 라우팅 결정의 이진 문자열($d^{(1)}_i d^{(2)}_i \dots$)은 샘플의 훈련 난이도 이력을 인코딩합니다.

2. 계층적 특징 아키텍처 (Hierarchical Feature Architecture):

   • NCT는 공유 백본 $f_\theta$와 분류 헤드의 계층 구조를 활용합니다.
   • 특징 흐름 (Feature Flow): 이전 레이어를 버리는 일반적인 트리와 달리, NCT는 이전 반복의 모든 헤드를 유지합니다. $t$ 단계의 자식 헤드는 $t-1$ 단계 부모 노드의 표현으로부터 입력을 받으며, 이를 통해 특화된 헤드가 부모의 의미론적 조건이 반영된 특징 위에서 작동하도록 보장합니다.
   • 비대칭 용량 (Asymmetric Capacity): "어려운" 분할의 복잡성을 처리하기 위해, 어려운 자식 노드는 linear–ReLU–dropout 블록을 사용하는 반면, 쉬운 자식 노드는 더 단순한 linear layer를 사용합니다.

3. 최적화 및 안정성:

   • 보조 손실 (Auxiliary Loss): 자식 노드를 훈련할 때 부모 표현의 파괴적 망각(catastrophic forgetting)을 방지하기 위해, 부모 노드에 보조 손실을 적용합니다.
   • 2단계 훈련 (Two-Phase Training): 각 반복은 새로운 헤드를 적응시키기 위해 백본을 동결하는 과정과, 이전에 분리 불가능했던 어려운 노드들을 해결하기 위해 전체 네트워크를 미세 조정하는 과정으로 구성됩니다.

4. 깊이 제어 (Unsupervised Depth Control):

   • 그룹 레이블이 없으므로, NCT는 트리의 깊이를 언제 늘릴지 결정하기 위해 의사 최악의 그룹 정확도(pWGA) 기준을 사용합니다.
   • 검증 샘플들을 iteration-2 조상 노드별로 그룹화하고, 이 그룹들 간의 최소 정확도를 추적합니다.
   • Wilson-tolerance 조기 종료 경계(early-stopping bound)를 사용하여, pWGA가 더 이상 유의미하게 개선되지 않을 때 트리의 성장을 멈춤으로써 노이즈에 대한 과적합을 방지합니다.
   • 희소 노드 병합 (Sparse-Node Merging): 샘플 수가 매우 적은 어려운 자식 노드는 통계적 신뢰성을 유지하기 위해 쉬운 형제 노드로 병합됩니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 설명합니다:

1. 분할로서의 아키텍처 (Architecture as Partition): 재가중치를 위해 난이도 신호를 일시적으로 사용하는 기존 연구와 달리, NCT는 난이도 기반 분할을 추론 시점의 아키텍처로 보존합니다. 각 리프(leaf)는 예측된 클래스와 난이도 경로를 모두 인코딩하여, 아키텍처와 잠재 데이터 구조 사이의 투명한 매핑을 제공합니다.
2. 비지도 깊이 선택 (Unsupervised Depth Selection): 그룹 주석 없이도 모델이 자율적으로 최적의 트리 깊이를 결정할 수 있도록 Wilson-tolerance 경계가 포함된 pWGA 기준을 도입했습니다.
3. 이론적 동기:
   • 소수 그룹 회복 (Minority Recovery): 저자들은 "단순성 편향(simplicity bias assumption)"(신경망이 단순한 특징을 먼저 학습한다는 가정) 하에서, 첫 번째 반복의 오분류 샘플들이 소수 하위 그룹 샘플들로 풍부해짐을 증명합니다 (Theorem 4.2).
   • 구조적 분리 (Structural Separation): 특징 충돌이 존재할 때(쉬운 그룹과 어려운 그룹의 최적 가설이 다를 때), 별도의 분류기를 통한 구조적 분리가 단일 통합 분류기에 비해 양(+)의 minimax-risk 격차를 생성함을 입증합니다 (Theorem 4.4).
4. 실증적 증거: 5개의 벤치마크 실험을 통해 NCT가 소수 하위 그룹을 "어려운" 브랜치로 일관되게 격리하면서 최악의 그룹 정확도(WGA) 측면에서 최첨단(SOTA) 베이스라인들과 경쟁하거나 이를 능가함을 보여줍니다.

4. 실험 결과

저자들은 다섯 가지 벤치마크(Waterbirds (배경 편향), CelebA (인구통계적 편향), ISIC (획득 아티팩트), UMNIST (숫자 정체성 편향), CMNIST (색상 편향))에서 NCT를 평가했습니다.

• 강건성 (Robustness): NCT는 경쟁력 있거나 우수한 최악의 그룹 정확도(WGA)를 달성했습니다. 특히 ISIC 데이터셋에서 NCT는 그룹 레이블을 전혀 사용하지 않았음에도 불구하고 Group DRO를 포함한 모든 감독 수준에서 가장 높은 성능을 보였습니다. Waterbirds와 CelebA에서는 JTT 및 DFR과 같은 검증 감독 방식의 방법들과 대등하거나 근소하게 앞서는 성능을 보였습니다.
• 잠재 그룹 발견 (Latent Group Discovery): "iteration-2 포착율(capture rates)"에 대한 정량적 분석은 NCT가 소수 하위 그룹을 어려운 브랜치로 성공적으로 라우팅했음을 보여줍니다. 예:
  • Waterbirds: 소수 그룹인 "물 위의 육상 조류(landbird-on-water)" 하위 그룹의 82%가 어려운 브서로 라우팅되었습니다.
  • CelebA: "금발 남성(blond-male)" 하위 그룹의 73%가 어려운 브랜치로 라우팅되었습니다.
  • ISIC: "양성-패치 없음(benign-no-patch)" 하위 그룹의 47%가 어려운 브랜치에 격리되었습니다.
• 해석 가능성 (Interpretability): LayerGradCAM을 이용한 정성적 분석은 "쉬운" 리프 노드가 가짜 단서(예: 배경의 물, 색상 패치)에 의존하는 반면, "어려운" 리프 노드는 의미론적 특징(예: 새의 몸체, 병변 경계)으로 주의를 전환함을 확인시켜 줍니다.

5. 의의 및 주장

본 논문은 NCT를 **투명한 강건성(transparent robustness)**을 향한 중요한 진전으로 위치시킵니다. 핵심 주장은 데이터셋의 잠재적 그룹 구조가 감독 없이 발견되어 추론 시 가시화되는 모델 아키텍처 그 자체로서 회복될 수 있다는 것입니다.

• 해석 가능성: "블랙박스" 형태의 강건한 최적화 도구와 달리, NCT는 예측에 대한 구조적 설명을 제공합니다. 리프 노드로 향하는 경로는 샘 샘플이 "쉬운" 것인지(가짜 상관관계와 일치할 가능성이 높음) 또는 "어려운" 것인지(소수 그룹 또는 반례일 가능성이 높음)를 명시적으로 나타냅니다.
• 한계에 대한 겸허함: 저자들은 라우팅이 "단순성 편향" 가정에 의존한다는 점을 인정합니다. 만약 소수 특징 자체가 학습하기 쉽다면, 라우팅은 이들을 격리하는 데 실패할 수 있습니다. 또한, 깊이 선택 규칙은 실제 WGA를 추적하는 pWGA 프록시에 의존하며, 이는 심각한 클래스 불균형 상황에서 불완전할 수 있습니다.
• 향후 방향: 논문은 NCT를 언어 설정으로 확장하고, 단순한 정확도 이상의 더 풍부한 라우팅 신호(예: 그래디언트 기반 또는 어트리뷰션 기반 기준)를 탐색할 것을 제안합니다.

요약하자면, NCT는 단순히 가중치를 조정하는 것이 아니라 아키텍처를 통해 데이터를 하위 그룹으로 분해함으로써 강건성을 달성하며, 이를 통해 잠재적 편향에 대한 모델의 처리를 명시적이고 해석 가능하게 만듭니다.