기술 요약: 지속적 소수 샷 학습에서 구성적 일반화 해금

문제 제기

본 논문은 모델이 제한된 예시로부터 새로운 개념을 순차적으로 습득하되, 이전에 학습된 지식을 저하시키지 않아야 하는 지속적 소수 샷 학습 (CFSL) 의 과제를 다룹니다. 이 체제에서 결정적인 병목 현상은 구성적 일반화입니다. 이는 알려진 부분들의 보지 못한 조합으로 형성된 새로운 개념을 인식하는 능력 (예: '빨간 셔츠'와 '초록색 잔디'만 보았을 때 '초록색 셔츠'를 인식하는 것) 을 의미합니다.

기존 접근법은 두 가지 얽힌 구조적 결함으로 인해 이를 달성하지 못합니다:

1. 표현 오염: 표준 슬롯 어텐션 메커니즘은 종종 슬롯 표현을 업데이트하기 위해 재귀적 GRU 상태를 의존합니다. 이러한 상태는 순수한 시각적 내용보다는 슬롯 간 경쟁을 억제하는 라우팅 역학을 인코딩하여, 백본이 제공하는 의미론적 기하학을 오염시킵니다.
2. 구성적 함정: 학습 단계에서 부분 수준 매칭 목적 함수 (예: Chamfer 거리) 로 학습하면 슬롯이 기존 개념의 특정 국소 패턴에 과도하게 특화되도록 강제합니다. 이는 슬롯별 기울기 방향을 생성하여 추론 시 진정한 새로운 개념 (보지 못한 조합) 으로 일반화하는 것을 방해합니다.

방법론: COMPOSE 프레임워크

저자들은 표현 학습과 구성적 추론을 엄격히 분리하는 COMPOSE라는 이중 단계 프레임워크를 제안합니다. 핵심 통찰은 학습과 추론이 근본적으로 다른 목적을 필요로 한다는 점입니다.

1. 구조적 기반: 자기지도 학습 기하학

이 프레임워크는 DINOv2 와 같은 자기지도 학습 비전 트랜스포머 (ViT) 의 고유한 패치 수준 의미론적 기하학에 의존합니다. 글로벌 클래스 구분을 학습하는 지도 학습 ViT 와 달리, 자기지도 학습 모델은 동일한 객체에서 온 패치들이 자연스럽게 군집화되는 국소 일관성을 학습합니다. 이 기하학은 신뢰할 수 있는 객체 분해에 대한 엄격한 전제 조건입니다.

2. 1 단계: 전체적 학습 (표현 학습)

• 슬롯 추출: 재귀적 GRU 은닉 상태 ($s_k$) 를 슬롯 표현으로 사용하는 대신, COMPOSE는 고정된 백본의 패치 특징으로부터 직접 어텐션 가중 집계 ($\tilde{\phi}_k$) 를 계산합니다. 이는 재귀적 병목 현상을 우회하여 백본의 순수한 의미론적 기하학을 보존하고 슬롯 순도를 크게 향상시킵니다.
• 목적 함수: 모델은 전체적 프로토타입 교차 엔트로피 손실을 사용하여 학습됩니다. 슬롯은 경량 가변 MLP 라우터를 통해 집계되어 단일 이미지 수준 임베딩을 형성하며, 이는 클래스 프로토타입과 일치하도록 최적화됩니다.
• 제약 조건: 슬롯 붕괴 (중복성) 를 방지하기 위해 원시 슬롯 투영에 상호 상관 패널티가 적용되지만, VICReg 와 같은 다른 정규화 방법에서 발견되는 상충되는 분산 제약은 부과하지 않습니다.
• 중요한 차이점: 학습 중에는 Chamfer 거리와 같은 부분 수준 매칭이 수행되지 않습니다. 이는 기울기가 슬롯을 특정 국소 부분에 특화되도록 강제하는 "구성적 함정"을 방지합니다.

3. 2 단계: 구성적 추론 (새로운 개념 매칭)

• 고정 구성 요소: 모든 백본 및 라우터 가중치는 고정됩니다. 기울기는 계산되지 않습니다.
• 매칭 전략: 새로운 장면은 중심을 맞춘 슬롯별 투영에 대한 양방향 Chamfer 거리를 사용하여 지원 클래스와 매칭됩니다.
• 혼합 점수: 최종 예측 점수는 1 단계 임베딩에서 나온 전체적 점수와 부분 수준 매칭에서 나온 구성적 점수의 가중치 혼합입니다. 이를 통해 모델은 학습 중에 습득한 견고한 클래스 정체성을 활용하면서도 새로운 개념 인식을 위해 구성적 구조를 활용할 수 있습니다.

주요 기여

1. 슬롯 표현에 대한 재고: 본 논문은 객체 중심 분해의 전제 조건으로 자기지도 학습 패치 기하학을 규명합니다. 재귀적 GRU 상태를 어텐션 가중 집계로 대체함으로써, 이 변경이 슬롯 순도를 크게 향상시키고 분포 외 전이에 필요한 기하학적 구조를 보존함을 입증했습니다.
2. 구성적 함정의 진단 및 탈출: 저자들은 부분 수준 매칭 목적 함수가 슬롯별 기울기 방향을 유도하여 과도한 특화를 유발함을 분석적으로 증명했습니다. 그들은 전체적 학습을 통해 일반화 가능한 객체 수준 기하학을 보존한 후, 새로운 장면을 매칭하기 위해 구성적 추론을 수행하는 엄격한 단계 분리를 제안합니다.
3. 새로운 개념 전이가 지속적 견고성을 주도함: 이 프레임워크는 CFST 벤치마크의 보지 못한 개념 분할 (noc) 에서 최첨단 성능을 달성하여 CGQA 에서 **94.14%**의 정확도를 기록했습니다. 이러한 새로운 개념에 대한 견고성은 MiniImageNet, ImageNet-R, CUB200, CIFAR100 과 같은 표준 지속적 학습 벤치마크에서 최소한의 파국적 망각으로 이어집니다.

실험 결과

• CFST 벤치마크 (CGQA): COMPOSE 는 noc(보지 못한 개념) 분할에서 **94.14%**를 달성하여 CoFiMA(91.97%) 및 RanPAC(88.60%) 와 같은 강력한 베이스라인을 능가했습니다. 또한 높은 조화 평균 ($H_a$) 인 **92.92%**를 달성했습니다.
• 절대 실험 (Ablation Studies):
  • 전체적 학습 목적 함수를 제거하고 (학습 중 Chamfer 사용, "COMPOSE-CT") noc 성능이 약 2.5% 포인트 하락하여 "구성적 함정"을 확인했습니다.
  • 어텐션 가중 집계를 표준 GRU 상태로 대체하면 noc가 약 3.6% 포인트 하락하여 백본 기하학 보존의 중요성을 검증했습니다.
  • 상호 상관 패널티를 제거하면 약 5.5% 포인트의 큰 하락이 발생하여 슬롯 중복성 방지에 대한 역할을 강조했습니다.
• 지속적 학습 벤치마크: 표준 FSCIL 및 CIL 작업에서 COMPOSE 는 Comp-FSCIL 대비 CIFAR-100 에서 FF 를 27.91% 에서 3.54% 로 크게 줄이는 등 망각을 현저히 감소시키면서 경쟁력 있는 평균 정확도를 유지했습니다.
• 효율성: 이 방법은 고정된 백본에서 경량 라우터를 학습하는 것으로, 데이터셋당 약 5 분의 학습만 필요하며, CoFiMA 와 같은 전체 백본 미세 조정 방법의 약 4 시간과 비교됩니다.

중요성 및 주장

본 논문은 이전 지속적 학습자들이 새로운 개념으로 일반화하지 못한 것이 단순히 데이터나 용량의 문제가 아니라, 표현이 추출되는 방식과 최적화되는 방식 사이의 구조적 충돌이라고 주장합니다.

학습 단계(일반화 가능한 기하학을 보존하기 위해 전체적 클래스 정체성에 초점) 와 추론 단계(구성적 매칭에 초점) 를 엄격히 분리함으로써, COMPOSE 는 망각 없이 보지 못한 개념을 인식할 만큼 충분히 일반적인 표현을 학습할 수 있음을 보여줍니다. 저자들은 이 접근법이 기반이 되는 자기지도 학습 백본 기하학의 품질에 의존한다고 강조합니다. 이 기하학이 약할 경우 (예: 지도 학습 ViT), 슬롯 분해가 저하되어 구성적 전이가 제한됩니다.

이 연구는 새로운 개념에 대한 견고성이 지속적 학습에서 파국적 망각을 최소화하는 핵심이라고 시사합니다. 보지 못한 조합을 처리할 만큼 충분히 일반적인 표현은 본질적으로 과도한 특화와 편향에 덜 취약하기 때문입니다.