🤖 AI

Identifying Latent Concepts and Structures for Generalized Category Discovery

이 논문은 이미지를 재사용 가능한 시각적 프리미티브와 그 공간적 배치로 분해하기 위해 저계수 구성 구조를 강제함으로써, 알려진 범주와 새로운 범주 모두를 더 효과적으로 식별할 수 있도록 하는 Compositional Primitive Fields (CPF-GCD)라는 플러그 앤 플레이 방식의 표현 학습 프레임워크를 소개하며, 이는 일반화된 범주 발견(Generalized Category Discovery)에서 표준 비전 백본의 한계를 해결한다.

원저자: Boyang Dai, Chaoqi Chen, Yizhou Yu

게시일 2026-07-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Boyang Dai, Chaoqi Chen, Yizhou Yu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

논문 설명: 일반화된 카테고리 발견(Generalized Category Discovery)을 위한 잠재적 개념 및 구조 식별

거대한 문제: "소음이 가득한 방"

당신이 로봇에게 동물을 인식하는 법을 가르치고 있다고 상상해 보세요. 당신은 로봇에게 개와 고양이(이미 알고 있는 클래스)의 사진을 보여줍니다. 하지만 그 다음에는 로봇이 한 번도 본 적 없는 동물인 오리너구리나 천갑산 같은 사진(알 수 없는 클래스)을 보여주며, 어떤 것들이 서로 같은 종류인지 찾아내라고 요청합니다.

이 논문은 현재의 AI 모델들이 마치 소음이 많고 북적거리는 방에서 공부하려는 학생과 같다고 주장합니다.

현재의 설정: 표준적인 AI가 사진을 볼 때, AI는 이미지를 수천 개의 아주 작은 퍼즐 조각(이를 "토큰"이라고 부릅니다)으로 나눕니다. 표준적인 AI에서 이 조각들은 매우 지저분합니다. 개의 귀를 보여주는 조각이 배경의 풀밭이나 그림자와 뒤섞일 수 있습니다. 이는 마치 퍼즐 조각들의 가장자리가 흐릿하고 색상이 서로 번져 있는 조각 더미를 가진 것과 같습니다.
병목 현상: 이 조각들이 너무 지저하고 "엉켜(entangled)" 있기 때문에, AI는 새로운 동물을 올바르게 그룹화하는 데 어려움을 겪습니다. 예를 들어, "부리" 조각이 "물" 조각과 섞여 있기 때문에 AI는 오리너구리를 그냥 이상한 오리라고 생각할 수도 있고, 혹은 조명 차이 때문에 하나의 종류인 개를 두 개의 서로 다른 그룹으로 나눌 수도 있습니다.

해결책: "레고 알파벳"

저자들은 CPF-GCD(Compositional Primitive Fields)라고 불리는 새로운 도구를 제안합니다. 이것은 AI의 눈과 뇌 사이에 위치하는 번역기 또는 재구성기라고 생각하면 됩니다.

AI가 지저한 퍼즐 조각들을 직접 다루게 하는 대신, CPF-GCD는 AI가 그 조각들을 작고 깨끗하며 재사용 가능한 레고 브릭(이를 "프리미티브(primitives)"라고 부릅니다)으로 번역하도록 강제합니다.

작동 방식은 다음과 같습니다:

레고 상자 (프리미티브 코드북): 오직 12개에서 16개의 특정 레고 브릭만 들어있는 상자를 상상해 보세요. 이것들은 완성된 동물이 아닙니다. "날개", "다리", "지느러미", "털", 또는 "매끄러운 피부"와 같은 기본적인 형태들입니다. AI는 이러한 기초적인 구성 요소들을 인식하는 법을 배웁니다.
번역 (이미지 재작성): AI가 새로운 사진을 볼 때, CPF-GCD는 가공되지 않은 픽셀을 그대로 보지 않습니다. 대신 다음과 같이 질문합니다: "이 이미지를 구성하는 레고 브로크는 무엇이며, 그것들이 어디에 배치되어 있는가?"
- AI는 배경의 풀밭이나 무작위한 그림자 같은 노이즈를 무시합니다. 왜냐하면 그런 것들은 레고 상자에 들어있지 않기 때문입니다.
- AI는 이미지를 이 16개의 깨끗한 브릭들의 배열으로 분해합니다.
새로운 지도 (프리미티브 필드): 이제 이미지는 지저분한 데이터 구름이 아니라, 정확히 어디에 "날개"가 있고, 어디에 "다리"가 있으며, 그것들이 어떻게 연결되어 있는지를 보여주는 깔-끔한 지도로 표현됩니다.

이것이 새로운 것을 발견하는 데 도움이 되는 이유

마법은 AI가 한 번도 본 적 없는 새로운 동물을 마주했을 때 일어납니다.

CPF-GCD가 없을 때: AI는 픽셀의 뒤섞임(jumble)을 보고 혼란에 빠집니다. 데이터가 너무 지저분하기 때문에 새로운 동물을 어떻게 그룹화해야 할지 알지 못합니다.
CPF-GCD가 있을 때: AI는 새로운 동물을 익숙한 레고 브릭들의 새로운 조합으로 인식합니다.
- 예시: AI는 "부리" 브릭, "날개" 브릭, 그리고 "꼬리" 브릭을 봅니다. 설령 "오리너구리"를 본 적이 없더라도, 이 특정한 브릭의 배치가 고유하다는 것을 인식할 수 있습니다. 그러면 AI는 이렇게 말할 수 있습니다. "좋아, 이 새로운 동물 그룹은 모두 이 특정한 패턴의 브릭들을 사용하고 있어."

논문은 AI가 이러한 재사용 가능한 부분들(저차원 구성, low-rank composition)의 관점에서 생각하도록 강제함으로써, 이미 알려진 동물을 알 수 없는 동물과 분리하는 것이 훨씬 쉬워진다고 주장합니다. 알 수 없는 동물들은 그들만의 고유한 "레고 패턴"을 가지고 있기 때문에 자연스럽게 자신들만의 그룹을 형성하게 됩니다.

논문의 핵심 요약

플러그 앤 플레이 도구: 저자들은 전체 AI를 다시 만들 필요가 없었습니다. 그들은 중간에 이 "레고 번역기" 모듈을 추가했을 뿐입니다. 이 모델은 이 작업을 위해 설계된 거의 모든 기존 AI 시스템과 함께 작동합니다.
노이즈 제거: 필수적인 "브릭"에 집중하고 지저분한 배경 세부 사항을 무시함으로써, AI는 실수를 줄입니다.
어디서나 작동: 논문은 미세한 조류 종부터 자동차나 비행기와 같은 일반적인 사물에 이르기까지 다양한 데이터셋에서 이 모델을 테스트했습니다. 모든 경우에서, 이 모듈을 추가하는 것이 AI가 새로운 카테고리를 더 정확하게 찾는 데 도움이 되었습니다.
효율성: 이 번역기를 추가하는 것은 컴퓨터 메모리와 시간을 아주 조금만 더 사용합니다(학습 시간의 약 8% 증가). 따라서 매우 실용적인 솔루션입니다.

결론

이 논문은 AI가 현실 세계에서 새로운 것을 발견하도록 돕기 위해서는 단순히 분류 규칙을 더 잘 주는 것이 아니라, 세상을 재사용 가능한 부분들의 집합으로 단순화하도록 가르쳐야 한다고 제안합니다. 아이가 똑같은 레고 브릭을 사용하여 성, 자동차, 또는 우주선을 만들 수 있는 것처럼, 이 AI는 사물이 기본적인 시각적 "브릭"들로부터 어떻게 만들어졌는지를 봄으로써 새로운 동물을 인식할 수 있습니다.

기술 요약: 일반화된 범주 발견을 위한 잠재적 개념 및 구조 식별

1. 문제 정의

본 논문은 모델이 알려진 클래스를 인식하는 동시에, 레이블이 없는 데이터로부터 새로운 미지의 클래스를 자율적으로 발견해야 하는 일반화된 범주 발견(Generalized Category Discovery, GCD) 문제를 다룹니다. 저자들은 현재의 GCD 접근 방식에서 중요한 병목 현상을 식별했습니다. 즉, 기존 연구들이 더 나은 클러스터링 목적 함수나 발견 헤드(discovery heads)를 설계하는 데 집중해 온 반면, 이러한 방법들은 표준 비전 백본(특히 Vision Transformer)으로부터 유래된 **고차원적이고 얽혀 있는 토큰 표현(high-rank, entangled token representations)**을 그대로 물려받는다는 점입니다.

이러한 표준 표현에서 패치 토큰들은 전경(foreground) 부분, 배경 질감, 그리고 부수적인 상관관계가 인접한 방향을 차지하며 "노이즈가 섞인 고차원 구름(noisy high-dimensional cloud)"을 형성합니다. 이러한 기하학적 구조는 비지도 발견(unsupervised discovery)에 적합하지 않으며, 이로 인해 단일 범주가 여러 클러스터로 파편화되거나 공유된 컨텍스트로 인해 서로 다른 범주가 병합되는 오류가 발생합니다. 핵심 문제는 사용된 손실 함수가 아니라, 그 손실 함수에 노출되는 **비구조적 기하학(unstructured geometry)**입니다.

2. 방법론: 구성적 프리미티브 필드 (Compositional Primitive Fields, CPF-GCD)

저자들은 비전 백본과 GCD 헤드 사이에 삽립되는 가볍고 플러그 앤 플레이(plug-and-play)가 가능한 모듈인 **구성적 프리미티브 필드(Compositional Primitive Fields, CPF-GCD)**를 제안합니다. 핵심 가설은 모든 범주(알려진 범주 또는 새로운 범주)가 유한한 학습 가능한 **시각적 프리미티브(visual primitives)**들의 구성 및 공간적 배치로 표현될 수 있다는 것입니다.

CPF-GCD는 다음 세 단계를 통해 저차원 구성적 조직화(low-rank compositional organization)를 강제함으로써 특징 공간을 재형성합니다:

이미지 조건부 프리미티브 코드북 구축:
- 데이터셋 전체에서 공유되는 학습 가능한 기본 코드북 $P_{base}$ (재사용 가능한 프리미티브 벡터의 집합)를 사용합니다.
- 포즈와 스케일의 변화를 처리하기 위해, 입력 토큰으로부터 이미지 조건부 오프셋 $\Delta P$ 를 계산하여 기본 코드북에 더함으로써 적응형 코드북 $P$ 를 생성합니다.
- 패치 토큰과 적응형 프리미티브 간의 호환성을 점수화하여 초기 토큰-프리미티브 할당( $A_{prior}$ )을 계산합니다.
프리미티브 증거 정제 (Primitive Evidence Refinement):
- 토큰 증거 풀링 (Token Evidence Pooling): 초기 할당을 기반으로 토큰 증거를 프리미티브 상태로 집계합니다.
- 토큰 조건부 업데이트 (Token-Conditioned Update): 프리미티브 상태가 어텐션 메커니즘을 통해 원래의 토큰을 다시 쿼리하여, 초기에 가중치가 낮게 책정되었을 수 있는 증거를 회복합니다.
- 프리미티브 상태 통합 (Primitive-State Consolidation): 프리미티브들이 서로 상호작용(프리미티브 간 어텐션)하여 중복성을 제거하고 일관된 코드북 상태를 보장합니다. 이를 통해 정제된 프리미티브 상태 $P_2$ 가 도출됩니다.
할당 융합 및 토큰 재작성 (Assignment Fusion and Token Rewriting):
- 정제 역학(상호작용 가중치)으로부터 두 번째 할당 행렬( $A_{data}$ )을 도출하여, 정제 과정 동안 토큰이 실제로 프리미티브에 어떻게 기여하는지를 포착합니다.
- 신뢰도 가중 융합 (Confidence-Weighted Fusion): 초기 할당( $A_{prior}$ )과 데이터 기반 할당( $A_{data}$ )을 학습 가능한 가중치를 사용하여 로그-포텐셜 공간(log-potential space)에서 융합하여 최종 할당 행렬 $A$ 를 생성합니다.
- 토큰 재작성 (Token Rewriting): 융합된 할당을 사용하여 정제된 프리미티브를 다시 패치-토큰 공간으로 디코딩합니다. 출력값은 원래 토큰에 대한 잔차 업데이트입니다: $X_{refined} = X + \text{MLP}(A \cdot P_{refined})$ .

결과물인 $X_{refined}$ 는 원래의 차원을 유지하므로, 구조적 변경 없이 기존의 모든 GCD 헤드(프로토타입 기반, 클러스터링 기반, 또는 대조 학습 기반)에 원활하게 전달될 수 있습니다.

3. 주요 기여

표현 측면의 관점: 본 논문은 GCD 설계의 초점을 출력 헤드에서 표현 인터페이스로 전환하며, 발견 목적 함수를 적용하기 전에 토큰 기하학이 (저차원 구성을 통해) 구조화되어야 한다고 주장합니다.
프리미티브 기반 토큰 조직자: CPF를 다운스트림 손실을 수정하지 않고도 학습 가능한 프리미티브와 적응형 할당 융합을 통해 패치 표현을 재작성하는 드롭인(drop-in) 모듈로 소개합니다.
교차 프레임워크 검증: 이 방법은 다양한 GCD 베이스라인(SimGCD, LegoGCD, CMS, SelEx 포함)과 다양한 데이터셋(CUB-200과 같은 미세 조정 데이터셋 및 ImageNet-100과 같은 조립 데이터셋)을 통해 검증되었으며, 일관된 성능 향상을 입증했습니다.

4. 실험 결과

성능 향상: CPF-GCD는 발견 성능을 일관되게 개선합니다. 미세 조정 벤치마크에서 Stanford-Cars의 평균 정확도를 4.75% 높였으며, CUB-200에서 SelEx 베이스라인 기준 최고 정확도 **79.8%**를 달alog했습니다. 조립 데이터셋에서는 ImageNet-100에서 새로운 범주 발견 성능을 평균 2.03% 향상시켰습니다.
절제 연구 (Ablation Studies): 데이터 기반 할당( $A_{data}$ )을 제거했을 때 성능 저하가 가장 컸으며, 이는 동적 정제의 중요성을 강조합니다. 이 방법은 프리미티브의 수( $M$ )에 대해 견고하며, $M \in [12, 16]$ 범위에서 안정적인 성능을 보입니다.
기하학적 및 의미론적 분석:
- 엔트로피 감소: CPF는 폰 노이만 엔트로피(Von Neumann Entropy)와 유효 랭크(effective rank)를 감소시켜, 중복된 차원을 필터링하는 "스펙트럼 정화(spectral purification)"를 수행함을 보여줍니다.
- 카디널리티 추정: 이 방법은 미지의 범주 수를 추정하는 능력을 크게 개선하여, CIFAR-100에서 베이스라인 대비 오차 범위를 거의 절반으로 줄였습니다.
- 어텐션 이동: 시각화를 통해 CPF가 확산된 픽셀 상관관계에서 재사용 가능한 객체 수준 구조(예: 동체, 날개)에 대한 집중된 상호작용으로 어텐션을 이동시켜 신호 대 잡음비를 개선함을 보여줍니다.
효율성: 이 모듈은 약 7.5M개의 파라미터를 추가하며, 훈련 시간은 약 8%, 추론 시간은 약 **6%**만 증가시켜 가벼운 프로필을 유지합니다.

5. 의의 및 주장

본 논문은 **저차원 구성적 구조(low-rank compositional structure)**를 식별하고 활용하는 것이 오픈 월드 인식을 위한 중요한 귀납적 편향(inductive bias)이라고 주장합니다. 프리미티브의 공간적 분포를 명시적으로 모델링함으로써, CPF는 새로운 범주가 완전히 새로운 특징 축을 요구하는 대신 공유된 어휘 집합 위에서 새로운 활성화 패턴으로서 자연스럽게 출현할 수 있도록 합니다.

저자들은 CPF-GCD를 기존의 발견 헤드를 대체하는 것이 아니라, 사전 학습된 시각적 특징이 범주 형성에 더 적합하도록 만드는 근본적인 특징 공간의 재구조화 도구로 정의합니다. 이 연구는 구조적 구성성을 강제하는 것이 오픈 월드 인식의 "결정적인 누락된 연결 고리(critical missing link)"임을 시사하며, 얽힌 토큰 표현의 병목 현상을 해결하는 단순하고 일반적인 방법을 제시합니다.