기술적 요약: 일반화된 카테고리 발견을 위한 관계적 검색

문제 정의

본 논문은 전통적인 분류를 오픈 월드 시나리오로 확장한 작업인 **일반화된 카테고리 발견 (Generalized Category Discovery, GCD)**을 다룹니다. 목표는 레이블이 지정된 데이터 ($D_L$) 를 사용하여 알려진 클래스를 인식하고, 레이블이 없는 데이터 ($D_U$) 내에서 새로운 카테고리를 발견하는 것을 동시에 수행하는 것입니다. 기존 GCD 접근법의 중요한 과제는 레이블이 지정된 데이터와 레이블이 없는 데이터를 별도의 학습 스트림으로 취급한다는 점입니다. 레이블이 지정된 데이터는 지도 학습을 거치는 반면, 레이블이 없는 데이터는 자기지도 신호에 의존합니다. 이러한 분리는 저자들이 식별한 두 가지 주요 한계로 이어집니다:

1. 낭비되는 의미 지식: 알려진 클래스에 속하는 레이블이 없는 샘플은 동일한 클래스의 레이블이 지정된 샘플이 이미 포착한 매우 판별력 있는 특징을 무시한 채 오직 자기지도에만 의존합니다.
2. 비효율적인 발견: 카테고리 발견은 종종 관계적 패턴을 고려하지 않고 진행됩니다. 알려진 클래스와 구별되지만 동일한 새로운 카테고리에 속하는 샘플들은 알려진 클래스 프로토타입과 일관된 관계를 유지하는데, 이는 신뢰할 수 없는 의사 레이블링을 선호하는 경향 때문에 종종 간과되는 신호입니다.

방법론: 관계적 패턴 일관성 (RPC)

제안된 프레임워크인 **관계적 패턴 일관성 (Relational Pattern Consistency, RPC)**은 양방향 지식 전이를 통해 레이블이 지정된 데이터와 레이블이 없는 데이터를 명시적으로 결합합니다. 이 방법은 표현 학습을 위한 SimGCD 베이스라인을 기반으로 하며, 레이블이 없는 샘플이 알려진 클래스 (ID) 에 속하는지 새로운 클래스 (OOD) 에 속하는지 식별하기 위해 DebGCD 의 One-vs-All (OVA) 분해를 통합합니다.

RPC 의 핵심은 두 가지 메커니즘으로 구성됩니다:

1. 의미 전이를 통한 알려진 클래스 보존

레이블이 없는 알려진 클래스 샘플에서 의미 구조의 손실을 방지하기 위해, RPC 는 레이블이 지정된 데이터에서 레이블이 없는 데이터로 강력한 패턴을 전이합니다.

• 소프트 ID/OOD 분해: OVA 분류기는 샘플이 알려진 클래스 또는 새로운 클래스에 속할 가능성을 추정하기 위해 소프트 가중치 ($w_{old}$ 및 $w_{new}$) 를 생성합니다.
• 신뢰도 가중 임베딩 융합: 레이블이 지정된 샘플과 고신뢰도 레이블이 없는 (ID) 샘플이 모두 포함된 배치의 경우, 모델은 융합 행렬을 구성합니다. 이 행렬은 순환 시프트를 수행하여 레이블이 지정된 샘플의 정보를 해당 레이블이 없는 쌍에 주입합니다. 이 융합은 $w_{old}$로 가중치가 부여되어, 고신뢰도 ID 샘플만이 크게 영향을 받도록 보장합니다.
• 행동 정렬: 프레임워크는 레이블이 지정된 샘플의 증강 유도 행동 변화 ($\Delta$) 와 융합된 레이블이 없는 대응물 간의 일관성을 강제합니다. 이를 통해 레이블이 없는 알려진 클래스 샘플은 레이블이 지정된 데이터로부터 강력한 표현을 계승하게 됩니다.

2. 관계적 매칭을 통한 카테고리 발견

새로운 카테고리 발견을 위해 RPC 는 잘 정의되지 않은 클러스터링을 넘어 관계적 일관성을 활용합니다.

• 관계 서명: 이 방법은 동일한 새로운 카테고리에 속하는 샘플들이 알려진 클래스 프로토타입과 불변의 관계를 나타낸다고 가정합니다. 구체적으로, 동일한 새로운 클래스의 두 샘플은 모든 알려진 클래스 프로토타입과 유사한 거리 (유사성 패턴) 를 가져야 합니다.
• 패턴 매칭: 각 샘플은 알려진 클래스 프로토타입과의 유사성 벡터 ($r(x)$) 로 인코딩됩니다. 그런 다음 모델은 새로운 점수 ($w_{new}$) 로 가중치가 부여된 특징이 유사한 샘플들 간의 이러한 관계 서명 거리를 최소화합니다. 이는 발견 작업을 알려진 클래스 참조 프레임 내의 잘 정의된 패턴 매칭 문제로 변환합니다.

총 학습 목적 함수는 새로운 정렬 손실 ($L_{align}$) 과 새로운 발견 손실 ($L_{new}$) 과 함께 베이스라인 손실 (표현 및 분류기) 을 결합합니다.

주요 기여

저자들은 세 가지 주요 기여를 요약합니다:

1. 양방향 결합: RPC 는 레이블이 지정된 데이터와 레이블이 없는 데이터를 양방향 지식 전이를 통해 명시적으로 결합하는 최초의 GCD 프레임워크로, 분리된 학습 스트림을 유지하는 대신 표적 상호작용을 가능하게 하는 소프트 ID/OOD 분해를 활용합니다.
2. 새로운 메커니즘:
   • 알려진 클래스 의미를 보존하기 위해 행동 정렬을 갖춘 신뢰도 가중 임베딩 융합의 도입.
   • 신뢰할 수 없는 의사 레이블에 의존하지 않고 알려진 클래스 프로토타입과의 불변 관계를 기반으로 새로운 카테고리를 발견하는 관계적 일관성 학습의 개발.
3. 최첨단 성능: 광범위한 실험을 통해 RPC 는 일반 및 세밀한 벤치마크 모두에서 우수한 성능을 달성하며, 알려진 (Old) 및 새로운 (New) 클래스 정확도 모두에서 일관된 개선을 보임이 입증되었습니다.

실험 결과

이 방법은 세 개의 세밀한 데이터셋 (CUB, Stanford Cars, FGVC-Aircraft) 과 세 개의 일반 데이터셋 (CIFAR-10, CIFAR-100, ImageNet-100) 으로 구성된 여섯 개의 벤치마크에서 평가되었습니다.

• 성능: RPC 는 대부분의 벤치마크에서 최첨단 결과를 달성했습니다. 특히 CUB 데이터셋에서 "All" 정확도를 **67.1%**로 향상시켰으며 (이전 최강인 DebGCD 의 66.3% 대비), "Old" 정확도 (73.2% 대 71.8%) 와 "New" 정확도 (64.8% 대 63.5%) 에서도 상당한 개선을 보였습니다.
• 절차 제거 연구: CUB 에서 임베딩 융합이나 정렬 손실 ($L_{align}$) 을 제거하면 알려진 클래스 정확도가 약 3% 하락했습니다. 관계적 발견 손실 ($L_{new}$) 을 제거하면 새로운 클래스 정확도가 3.3% 하락하여 두 구성 요소의 필요성이 확인되었습니다.
• 효율성: 이 방법은 최소한의 계산 오버헤드를 도입하여 SimGCD 베이스라인 대비 파라미터 수를 1.40%, FLOPs 를 1.82% 만 증가시켰습니다.
• 시각화: t-SNE 시각화는 RPC 가 베이스라인 방법보다 더 구조화된 잠재 공간을 생성하여 클래스 내 그룹화가 더 밀집되고 클래스 간 경계가 더 명확함을 나타내며, 인접 카테고리 간의 의미적 얽힘을 효과적으로 줄임을 보여줍니다.

중요성 및 주장

본 논문은 RPC 가 병렬 학습 (레이블이 지정된 데이터와 레이블이 없는 데이터가 별도로 처리됨) 에서 상호 향상으로 GCD 패러다임을 근본적으로 전환한다고 주장합니다. 알려진 데이터와 새로운 데이터 간의 구조화된 상호작용을 활용함으로써, 이 프레임워크는 레이블이 지정된 데이터가 레이블이 없는 알려진 클래스의 표현 학습을 안내하는 동시에 레이블이 없는 데이터의 집단적 관계 서명을 사용하여 새로운 카테고리를 발견할 수 있게 합니다. 저자들은 이 접근법이 레이블이 지정된 데이터와 레이블이 없는 데이터가 구조화된 상호작용을 통해 서로를 상호 향상시킬 수 있다는 가설을 검증하며, 오픈 월드 환경에서 더 강력한 특징 표현과 더 정확한 카테고리 발견으로 이어진다고 단언합니다.