💻 computer science

SECOS: Semantic Capture for Rigorous Classification in Open-World Semi-Supervised Learning

본 논문은 외부 지식을 활용하여 의미 표현을 추출하고 정렬함으로써 기존 및 새로운 클래스에 대한 의미적으로 관련된 텍스트 라벨을 후처리 없이 직접 예측할 수 있게 하여 기존 방법들을 능가하는 오픈 월드 반지도 학습을 위한 새로운 접근법인 SECOS를 소개합니다.

원저자: Hezhao Liu, Jiacheng Yang, Junlong Gao, Mengke Li, Yiqun Zhang, Shreyank N Gowda, Yang Lu

게시일 2026-05-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hezhao Liu, Jiacheng Yang, Junlong Gao, Mengke Li, Yiqun Zhang, Shreyank N Gowda, Yang Lu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

새로운 동물 분류 방식을 가르치는 학교를 운영한다고 상상해 보세요. 여러분은 이미 알고 있는 동물들 (예: 개와 고양이) 의 사진과 이름이 실린 교과서를 가지고 있습니다. 하지만 사파리에서 찍은 미스터리한 사진들이 거대한 더미로 쌓여 있기도 합니다. 이 사진들 중에는 알고 있는 동물들이 있지만, 교과서에 실리지 않은 새롭고 알려지지 않은 동물들 (예: 해파리나 캥거루) 도 많습니다.

여러분의 목표는 학생 (AI 모델) 이 어떤 사진이든 보고 즉시 "그건 개입니다", "그건 캥거루입니다", 또는 "그건 해파리입니다"라고 말하며 마스터 목록의 올바른 이름을 사용하도록 가르치는 것입니다.

문제: 구식 방법들의 "추측 게임"

이전 방법들은 이를 해결하려 했지만, 조작된 게임을 플레이했습니다.

학습: 그들은 알고 있는 동물들 (교과서) 의 시각적 세부 사항에 너무 집중하여 미스터리 동물들을 무시했습니다.
테스트: 학생이 캥거루 사진을 받았을 때 "동물 #3"이라고 추측할 수 있습니다. 교사가 "동물 #3"이 무엇을 의미하는지 알지 못하기 때문에, 헝가리안 매칭 (Hungarian Matching) 이라는 트릭을 사용했습니다. 이는 시험 후 점수가 완벽해 보이도록 답을 재배열하는 "의자 게임 (Musical Chairs)"과 같은 것입니다.
- 예시: 학생이 캥거루에 대해 "동물 #3"이라고 추측했습니다. 교사는 "좋습니다, '동물 #3'이 실제로는 '캥거루'를 의미한다고 가정해 봅시다"라고 말합니다.
- 결함: 현실 세계에서는 사후에 답을 재배열할 수 없습니다. 학생이 즉시 실제 이름 ("캥거루") 을 알아야 합니다. 구식 방법들은 본질적으로 그룹의 이름을 알지 못한 채 동물을 그룹으로 클러스터링하는 것이었습니다.

해결책: SECOS ("의미 번역기")

저자들은 SECOS(Semantic Capture for Open-World Semi-Supervised Learning, 개방형 세계 반지도 학습을 위한 의미 포착) 라는 새로운 시스템을 개발했습니다. SECOS는 단순히 숫자를 추측하는 대신, 사진을 직접 단어와 연결하는 번역기처럼 작동합니다.

다음은 SECOS 가 세 가지 간단한 단계를 사용하여 작동하는 방식입니다:

1. "신중한 추측" (Novel Class Semantic Compensation, 새로운 클래스 의미 보상)

학생이 새로운 동물들을 위한 교과서가 없기 때문에, SECOS 는 세상을 이미 알고 있는 거대한 AI 인 초지능 사전 훈련 교사를 사용하여 미스터리 사진을 빠르게 살펴보게 합니다.

교사는 "이건 캥거루처럼 보일 확률이 90% 입니다"라고 말합니다.
SECOS 는 교사가 매우 확신하는 사진들만 골라 새로운 동물들을 위한 미니 교과서를 만듭니다. 이는 학생이 새로운 동물들을 무시하지 않도록 학습을 균형 있게 조정합니다.

2. "이중 확인" (Batch-Wise Semantic Recapture, 배치 단위 의미 재포착)

때로는 사진이 까다로울 수 있습니다. 개인지 늑대인지요?

SECOS 는 한 번에 전체 사진 배치를 살펴봅니다. 두 가지를 확인합니다:
1. 이 사진이 특정 동물처럼 보이나요? (개체에서 클래스로)
2. 이 배치의 다른 사진들도 이 동물처럼 보이나요? (클래스에서 개체로)
한 사진이 두 가지 확인을 모두 통과하면 (예: 캥거루처럼 보이고, 그룹 내 다른 사진들도 캥거루처럼 보임), SECOS 는 그 사진에 "금별"을 주고 확실한 라벨을 부여합니다. 이는 혼란스럽고 흐릿한 추측들을 걸러내고 명확하며 고품질인 예시들만 남깁니다.

3. "다리" (Adapter for Semantic Feature Alignment, 의미 특징 정렬을 위한 어댑터)

이제 학생은 사진 더미와 이름 더미를 가지고 있지만, 서로 다른 언어 (픽셀 대 단어) 를 사용합니다.

SECOS 는 뇌의 이미지 부분과 단어 부분 사이에 특별한 다리 (어댑터) 를 건설합니다.
이 다리는 "이 특정 픽셀 패턴을 볼 때, 이는 '캥거루'라는 단어를 의미한다"라고 학습합니다.
결정적으로, 이 다리는 모델이 "클래스 5"와 같은 무작위 숫자 대신 "캥거루"라는 단어를 직접 출력할 수 있게 합니다.

왜 이것이 중요한가

이 논문은 SECOS 가 진정으로 "엄격한 분류 (Rigorous Classification)" 문제를 해결한 첫 번째 방법이라고 주장합니다.

재배열 없음: 높은 점수를 얻기 위해 시험 후 답을 뒤섞을 필요가 없습니다. 첫 시도에서 올바른 이름을 얻습니다.
더 나은 결과: "의자 게임" 트릭 (헝가리안 매칭) 을 사용하여 점수를 높일 수 있도록 허용된 구식 방법들과 비교해도, SECOS 는 여전히 상당한 차이 (최대 5.4% 향상) 로 그들을 능가했습니다.
현실 세계 준비 완료: 실제 이름을 예측하기 때문에, 나중에 라벨을 수정할 수 없는 실제 시나리오에서 작동합니다.

결론

구식 방법들을 뒤죽박죽 섞인 장난감들을 깔끔한 더미로 분류할 수는 있지만 장난감의 이름을 알려줄 수 없는 학생이라고 생각하세요. SECOS는 장난감을 분류할 뿐만 아니라, 치트 시트나 두 번째 추측 없이 즉시 올바른 이름 ("공!", "테디 베어!", "로봇!") 을 외쳐대는 학생입니다. SECOS 는 빈칸을 채워주는 지능적인 교사와 사진을 단어와 연결하는 특별한 다리를 사용하여 이를 달성합니다.

다음은 "SECOS: Open-World Semi-Supervised Learning 에서 엄격한 분류를 위한 의미적 포착" 논문에 대한 상세한 기술 요약입니다.

1. 문제 정의: Open-World Semi-Supervised Learning (OWSSL) 의 간극

배경:
Open-World Semi-Supervised Learning (OWSSL), 즉 Generalized Class Discovery (GCD) 는 '알려진' 클래스의 레이블이 있는 데이터와 '알려진' 및 '새로운' (이전에 보지 못한) 클래스를 모두 포함하는 레이블이 없는 데이터로 모델을 학습시키는 것을 의미합니다.

핵심 한계:
기존 OWSSL 방법론들은 **엄격한 분류 (Rigorous Classification, RC-OWSSL)**를 수행하지 못합니다.

의미적 기반의 부재: 현재 방법론들은 시각적 특징 클러스터링에 집중하지만, 시각적 특징과 언어적 의미를 연결하는 잠재적 의미 정보를 간과합니다.
사후 매칭 의존성: 평가 과정에서 기존 방법론들은 예측된 클러스터 ID 와 실제 클래스 이름을 정렬하기 위해 **헝가리안 매칭 (Hungarian matching)**에 의존합니다. 이는 레이블을 재할당하여 겹침을 최대화함으로써 정확도를 인위적으로 높이는 사후 처리 단계로, 모델이 실제로 올바른 의미적 대응을 학습했는지 여부와 관계없이 작동합니다.
실현 불가능성: 실제 배포 환경에서는 헝가리안 매칭을 위한 레이블이 있는 테스트 세트를 사용할 수 없습니다. 따라서 기존 방법론들은 새로운 샘플에 대해 올바른 텍스트 레이블 (예: "Dog" 또는 "Cat") 을 직접 예측할 수 없으며, 오직 클러스터 인덱스만 출력합니다.

목표:
본 논문은 사후 레이블 재할당 없이 후보 세트 (알려진 + 새로운 클래스) 에서 가장 의미적으로 관련 있는 텍스트 레이블을 직접 예측해야 하는 RC-OWSSL 작업을 정의합니다.

2. 방법론: SECOS 프레임워크

저자들은 외부 지식 (CLIP) 을 활용하여 시각적 특징과 텍스트 의미 간의 간극을 메우도록 설계된 SECOS(SEmantic Capture for Open-world Semi-supervised learning) 프레임워크를 제안합니다. SECOS 는 세 가지 핵심 모듈로 구성됩니다:

A. 새로운 클래스 의미적 보상 (글로벌 레벨)

문제: 심각한 감독 불균형; 알려진 클래스는 레이블이 있지만 새로운 클래스는 레이블이 없어 알려진 클래스에 대한 강한 편향이 발생합니다.
해결책: **글로벌 의사 레이블이 지정된 새로운 데이터셋 ( $D_N$ $D_{N}$ )**을 구축합니다.
1. 고정된 'Teacher' CLIP 모델이 레이블이 없는 데이터에 하드 의사 레이블을 할당합니다.
2. 샘플은 이러한 의사 레이블로 그룹화됩니다.
3. 각 새로운 클래스에 대해 상위 $\phi\%$ 의 가장 높은 신뢰도를 가진 샘플이 선택되어 $D_N$ 을 형성합니다.
4. 의미적 강화: 대형 언어 모델 (LLM) 이 클래스 이름에 대한 설명적 프롬프트를 생성하여 더 풍부한 의미 표현을 만들고, 이를 의사 레이블 지정 과정을 정제하는 데 사용합니다.
결과: 이는 전역적으로 알려진 클래스와 새로운 클래스 간의 감독 강도를 균형 있게 만듭니다.

B. 배치 단위 의미 재포착 (로컬/인스턴스 레벨)

문제: 글로벌 보상은 거시적 수준으로, 특정 배치와 알려진 클래스 내의 미세한 의미 뉘앙스를 놓칩니다.
해결책: 레이블이 없는 데이터 배치 ( $B$ $B$ ) 에 적용되는 이중 관점 신뢰도 필터링 메커니즘입니다.
1. 인스턴스 내 (Intra-instance): 특정 샘플에 대해 임계값 ( $\tau$ ) 에 도달할 때까지 클래스 간 신뢰도 점수를 누적합니다.
2. 인스턴스 간 (Inter-instance): 특정 클래스에 대해 배치 내 모든 샘플의 신뢰도 분포를 기반으로 임계값 ( $\theta$ ) 을 결정합니다.
3. 선택: 후보 레이블의 교집합이 정확히 하나의 레이블로 귀결되고 두 기준을 모두 만족할 때만 샘플이 고품질 의사 레이블 인스턴스로 선택됩니다.
결과: 이는 모호한 샘플을 필터링하고 미세한 의미 정보를 포착하여 고정밀 감독 신호를 제공합니다.

C. 의미적 특징 정렬을 위한 어댑터

문제: 의사 레이블이 있더라도 모델은 직접 분류를 수행하기 위해 시각적 특징 공간과 텍스트 레이블의 의미 공간 정렬이 필요합니다.
해결책: 고정된 CLIP 시각 인코더에 삽입된 경량 어댑터 (Adapter) 메커니즘입니다.
1. 아키텍처: 병렬 어댑터가 시각 인코더의 어텐션 블록 뒤에 삽입됩니다. 텍스트 인코더는 고정된 상태로 유지됩니다.
2. 정렬: 모델은 (어댑터로 처리된) 시각적 특징과 클래스 설명에서 생성된 후보 텍스트 레이블의 의미적 특징 간의 유사도를 계산합니다.
3. 학습: 어댑터와 프로젝터 파라미터만 업데이트됩니다. 손실 함수는 예측된 로짓과 의사 레이블 (또는 실제 레이블) 간의 표준 교차 엔트로피 (Cross-Entropy) 손실입니다.
결과: 모델은 시각적 입력을 텍스트 레이블로 직접 매핑하는 방법을 학습하여, 헝가리안 매칭 없이 엄격한 분류를 가능하게 합니다.

3. 주요 기여

RC-OWSSL 정의: 본 논문은 기존 OWSSL(클러스터링) 과 실용적인 요구사항인 엄격한 분류(직접 텍스트 예측) 사이의 내재적 편차를 공식적으로 규명하고, 현재 방법론들이 의미적 기반을 달성하지 못함을 강조합니다.
SECOS 프레임워크: 외부 지식 (CLIP + LLM) 을 활용하여 의미 표현을 추출하고 정렬하는 새로운 프레임워크를 제안합니다. 이는 글로벌 보상과 배치 단위 재포착을 통해 새로운 클래스에 대한 감독 부재를 독창적으로 해결합니다.
우월한 성능: SECOS 는 헝가리안 매칭을 사용하지 않음에도 불구하고, 기존 최첨단 (SOTA) 방법론들이 관대한 '사후 매칭' 설정에서 평가될 때보다 더 엄격한 '직접 분류' 설정 하에서 SOTA 방법론들 (TextGCD, TP-OWSSL, SimGCD 등) 보다 뛰어난 성능을 입증합니다.

4. 실험 결과

데이터셋:
7 개의 데이터셋에서 평가: 3 개의 일반 데이터셋 (CIFAR-10, CIFAR-100, ImageNet-100) 과 4 개의 세밀한 데이터셋 (CUB, Stanford Cars, Oxford Flowers, Oxford Pets).

성능 하이라이트:

직접 비교: SECOS 는 헝가리안 매칭을 사용하지 않음에도 불구하고 SOTA 방법론들보다 상당한 개선을 달성합니다.
정량적 향상:
- 일반 데이터셋에서 SECOS 는 기존 최선 방법론 대비 새로운 (Novel) 클래스 정확도를 최대 7.37% 향상시키고, 전체 (All) 정확도를 5.35% 향상시켰습니다.
- 세밀한 데이터셋에서는 TP-OWSSL 대비 1.78% (새로운) 및 1.95% (전체) 의 개선을 보였습니다.
- 전반적으로 SECOS 는 엄격한 분류 지표에서 기존 방법론을 최대 5.4% 상회합니다.
Ablation 연구:
- 글로벌 보상 또는 배치 단위 재포착 모듈 중 하나를 제거하면 새로운 클래스 정확도가 급격히 하락합니다 (예: 의미적 포착이 없는 CIFAR-100 에서 82.6% 에서 14.4% 로 하락).
- 이 방법은 배치 크기 변화와 어댑터 다운샘플링 차원에 대해 강건합니다.
자기 학습: SECOS 는 별도의 'Teacher' 모델 없이도 (EMA 업데이트된 Student 사용) 효과적으로 작동하며, 약 0.83% 의 작은 성능 하락만 보이며 여전히 Teacher 의존적 베이스라인을 능가합니다.

5. 중요성과 영향

패러다임 전환: 본 논문은 커뮤니티가 '클러스터링 기반' 평가 (헝가리안 매칭) 에서 '분류 기반' 평가로 전환할 것을 요구합니다. 이는 새로운 클래스에 대한 실제 레이블이 알려지지 않은 실세계 배포에 있어 유일한 실현 가능한 접근법입니다.
의미적 기반: 성공적인 OWSSL 은 단순한 시각적 특징 클러스터링이 아니라, 시각적 구조와 언어적 의미 간의 명시적 정렬이 필요함을 확립합니다.
실용적 적용 가능성: 직접 텍스트 예측을 가능하게 함으로써 SECOS 는 모델을 테스트 세트를 다시 레이블링하지 않고도 실시간으로 새로운 카테고리를 식별하고 명명해야 하는 자율 주행, 의료 진단과 같은 실세계 시나리오에 적용 가능하게 합니다.
효율성: 경량 어댑터의 사용은 모델이 전체 미세 조정의 계산 비용 없이 강력한 사전 학습된 CLIP 지식을 활용할 수 있게 합니다.

요약하자면, SECOS는 잠재된 의미를 '포착'하는 메커니즘을 도입하여 실세계 학습의 중요한 병목 현상을 해결함으로써, 모델이 새로운 객체를 올바른 텍스트 범주로 직접 엄격하게 분류할 수 있게 합니다.