💻 computer science

FOCUS: Bridging Fine-Grained Recognition and Open-World Discovery across Domains

이 논문은 도메인 편향과 미세한 클래스 간 차이로 인한 어려움을 해결하기 위해, 새로운 벤치마크와 함께 알려진 클래스 인식과 미지 클래스 발견을 동시에 수행하는 단일 단계 프레임워크 'FoCUS'를 제안합니다.

원저자: Vaibhav Rathore, Divyam Gupta, Moloud Abdar, Subhasis Chaudhuri, Biplab Banerjee

게시일 2026-03-17

📖 3 분 읽기☕ 가벼운 읽기

원저자: Vaibhav Rathore, Divyam Gupta, Moloud Abdar, Subhasis Chaudhuri, Biplab Banerjee

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"FOCUS"**라는 이름의 새로운 인공지능 시스템을 소개합니다. 이 시스템은 우리가 일상에서 마주치는 복잡한 시각적 문제를 해결하기 위해 고안되었습니다.

한마디로 설명하면, **"새로운 환경에서도 세밀한 차이를 구별하고, 아예 처음 보는 물건도 알아맞힐 수 있는 똑똑한 눈"**을 만드는 기술입니다.

이 내용을 일반인이 이해하기 쉽게 비유와 함께 설명해 드릴겠습니다.

1. 왜 이 연구가 필요한가요? (현실의 문제)

지금까지의 인공지능 (AI) 은 주로 **"교실"**에서 공부했습니다.

교실 (기존 AI): 선생님이 "이건 참새, 이건 비둘기"라고 가르쳐 주고, 시험도 똑같은 교실 환경에서 봅니다.
현실 (이 논문이 해결하려는 문제): AI 가 실제 세상으로 나가면 상황이 완전히 달라집니다.
- 환경 변화 (도메인 시프트): 비가 오거나, 그림처럼 변하거나, 스케치북에 그려진 것처럼 변할 수 있습니다.
- 세밀한 차이 (Fine-Grained): 참새와 멧새는 아주 비슷해 보이지만, 부리 모양 하나만 다릅니다.
- 새로운 친구 (Open-World Discovery): AI 가 배운 적 없는 새로운 새 (예: 펭귄) 가 나타났을 때, "이건 내가 모르는 새야!"라고 알아차리고 분류해야 합니다.

기존 AI 는 이런 상황에서 "그림처럼 변했으니 참새가 아니야!"라고 오해하거나, "새로운 새를 참새라고 착각"하는 실수를 많이 저지릅니다.

2. FOCUS 가 해결하는 방법 (두 가지 핵심 전략)

이 논문은 FOCUS라는 시스템을 만들어 이 문제를 해결했습니다. 두 가지 핵심 장비를 장착했습니다.

① DCPD: "변하지 않는 뼈대를 보는 안경"

비유: 사람이 옷을 갈아입거나, 화장을 하거나, 그림으로 그려져도 **얼굴의 뼈대 (눈, 코, 입의 위치)**는 변하지 않습니다.
기존 방식: AI 가 "색깔"이나 "질감" 같은 겉모습에 너무 집착했습니다. 그림으로 바뀌면 색깔이 달라져서 AI 가 당황하는 것입니다.
FOCUS 의 DCPD: AI 가 **물체의 구조 (뼈대)**에 집중하도록 훈련시킵니다.
- "색깔은 변할 수 있지만, 부리 모양이나 날개 구조는 변하지 않아. 이걸로 판단하자!"
- 이렇게 하면 비가 오든, 그림이든, 스케치든 본질적인 특징을 놓치지 않고 알아볼 수 있습니다.

② UFA: "모르는 것에 대한 겸손한 태도"

비유: 우리가 모르는 사람을 봤을 때, "아, 이 사람은 내 친구야!"라고 무조건 확신하는 것은 위험합니다. "아, 이건 내가 모르는 사람일 수도 있겠다"라고 **의심 (불확실성)**을 가져야 합니다.
기존 방식: AI 는 모르는 물건을 봐도 "아마도 참새겠지?"라고 너무 자신 있게 (과신) 예측해서 틀리는 경우가 많았습니다.
FOCUS 의 UFA: AI 가 자신이 모르는 영역을 미리 경험하게 합니다.
- AI 훈련 중에는 "이건 참새도 비둘기도 아닌 이상한 데이터"를 인위적으로 만들어서 보여줍니다.
- "이런 이상한 건 '참새'라고 단정 짓지 말고, '모르는 것'으로 처리해라"라고 가르칩니다.
- 결과적으로 AI 는 새로운 물건을 만나면 "이건 내가 배운 게 아니야"라고 정직하게 반응하고, 새로운 카테고리로 분류할 수 있게 됩니다.

3. 실험 결과: 얼마나 잘하나요?

연구진은 새 (CUB-200), 자동차 (Stanford Cars), 비행기 (Aircraft) 데이터를 이용해 실험했습니다.

데이터 변형: 실제 사진뿐만 아니라, 이를 **유화 (Painting)**와 **스케치 (Sketch)**로 변환한 새로운 데이터를 만들어 AI 를 시험했습니다.
결과:
- 기존 AI 들은 그림이나 스케치로 바뀌면 성능이 뚝 떨어졌거나, 새로운 물건을 못 알아봤습니다.
- FOCUS는 3~10% 이상 더 높은 정확도를 보였습니다.
- 특히 계산 효율성 면에서도 기존 최고 기술보다 3 배 이상 빠르고 가볍습니다. (무거운 장비를 쓸 필요 없이 가볍게 작동함)

4. 요약: 이 기술이 가져올 변화

이 연구는 **"세상 모든 환경에서, 아주 미세한 차이도 구별하고, 아예 새로운 것도 찾아내는 AI"**를 만드는 첫걸음입니다.

생물 다양성 모니터링: 숲속에서 새로운 희귀 조류를 발견하고 분류할 때.
산업 검사: 공장에서 낯선 형태의 불량품을 찾아낼 때.
교통/감시: 다양한 날씨나 그림자 속에서 차량이나 물체를 식별할 때.

이처럼 FOCUS는 AI 가 더 이상 "교실"에만 갇히지 않고, 실제 세상의 복잡하고 변화무쌍한 환경에서도 똑똑하게 일할 수 있게 해주는 핵심 기술입니다.

한 줄 요약:

"옷차림이나 그림 스타일이 바뀌어도 본질을 꿰뚫어 보고, 아예 처음 보는 물건도 당황하지 않고 찾아내는, 가장 똑똑하고 겸손한 AI 눈 (FOCUS) 을 만들었습니다."

1. 문제 정의 (Problem Definition)

이 논문은 세밀한 영역 (Fine-Grained) 인식, 도메인 일반화 (Domain Generalization, DG), 그리고 개방형 카테고리 발견 (Generalized Category Discovery, GCD) 을 통합한 새로운 과제를 제안합니다. 이를 FG-DG-GCD (Fine-Grained Domain-Generalized Generalized Category Discovery) 라고 명명했습니다.

핵심 문제: 기존 GCD 는 학습 데이터 (Source) 와 테스트 데이터 (Target) 가 동일한 분포를 따른다고 가정합니다. 반면, DG-GCD 는 학습 시 라벨이 있는 소스 도메인만 사용하고, 테스트 시 분포가 다른 (Shift 된) 라벨 없는 타겟 도메인에서 알려진 클래스를 인식하고 새로운 클래스를 발견해야 합니다.
세밀한 인식의 난이도: 기존 DG-GCD 연구는 주로 객체 전체의 의미론적 차이를 다루는 'Coarse-grained' (예: 개 vs 고양이) 에 집중했습니다. 하지만 FG-DG-GCD 는 '세밀한' 차이를 다룹니다 (예: 참새의 부리 모양, 자동차 그릴의 미세한 차이).
- 도메인 시프트의 영향: 세밀한 인식은 질감, 색상, 조명, 추상화 정도 등의 변화에 매우 민감합니다. 소스 도메인 (실제 사진) 에서 학습된 모델이 타겟 도메인 (스케치, 그림) 으로 넘어가면, 미세한 특징이 왜곡되거나 사라져 성능이 급격히 저하됩니다.
- 이중적 과제: 모델은 도메인 불변성 (Domain Invariance) 을 유지하면서도, 미세한 클래스 간 차이를 구분할 수 있어야 하고, 동시에 새로운 클래스가 기존 클래스 군집에 흡수되지 않도록 (Collapse 방지) 개방형 공간 (Open-space) 에서의 불확실성을 관리해야 합니다.

2. 제안 방법론: FOCUS

저자들은 FOCUS (Fine-grained Open-world Category discovery with Uncertainty and partS) 라는 단일 단계 (Single-stage) 프레임워크를 제안했습니다. 이 프레임워크는 합성 데이터 생성 (Synthetic-free) 이나 에피소드 학습 (Episodic-free) 없이 오직 라벨이 있는 소스 데이터만으로 학습됩니다.

2.1 핵심 모듈

FOCUS 는 두 가지 상호 보완적인 모듈로 구성됩니다.

A. 도메인 일관성 부분 발견 (Domain-Consistent Parts Discovery, DCPD)

목적: 도메인 변화 (실제 사진 $\to$ 스케치/그림) 에 강인한 기하학적 구조 기반의 부분 (Part) 특징을 학습합니다.
기존 방법의 한계: 기존 부분 기반 방법 (예: APL) 은 전역적으로 공유되는 학습 가능한 쿼리 (Query) 를 사용하여 소스 도메인의 질감 (Texture) 편향에 쉽게 빠집니다.
DCPD 의 혁신:
1. 이미지 조건부 쿼리 (Image-Conditioned Queries): ViT 의 셀프 어텐션 (Self-Attention) 에서 추출한 기하학적 구조 정보 (Line-art, Contour) 를 기반으로 동적으로 쿼리를 생성합니다. 이는 이미지 고유의 구조에 기반하므로 도메인 변화에 덜 민감합니다.
2. 구조적 배타성 (Structural Exclusivity): Gumbel-Softmax 를 사용하여 패치를 특정 부분으로 엄격하게 할당하여, 특징이 여러 부분으로 번지는 (Feature bleeding) 현상을 방지합니다.
3. 부분 - 전역 융합 (Part-Global Fusion): 부분 특징뿐만 아니라 전역적인 [CLS] 토큰 특징도 유지하여 융합합니다. 이는 부분 정보가 왜곡되었을 때 전체적인 객체 맥락을 보존하여 강인성을 높입니다.

B. 불확실성 인지 특징 증강 (Uncertainty-Aware Feature Augmentation, UFA)

목적: 개방형 공간 (Open-space) 에서 새로운 클래스가 기존 알려진 클래스 군집에 과신 (Overconfidence) 으로 흡수되는 것을 방지하고, 분류기의 보정 (Calibration) 을 수행합니다.
기존 방법의 한계: 이미지 수준의 증강 (Style transfer 등) 은 의미론적 구조를 왜곡할 수 있으며, 불확실성 모델링이 부족합니다.
UFA 의 혁신:
1. 특징 공간 내 OOD 샘플링: 이미지 생성 없이 DCPD 임베딩 공간 내에서 3 가지 전략으로 합성 아웃라이어 (Synthetic Outliers) 를 생성합니다.
  - Tail-Variation: 알려진 클래스의 분산 (Covariance) 을 확장하여 클래스 경계 근처의 희귀 사례를 시뮬레이션.
  - Between-Class Mixing: 클래스 centroid 간의 혼합을 통해 모호한 영역을 생성.
  - Far-Away Unknown: 단위 초구 (Hypersphere) 상의 먼 지점을 샘플링하여 완전히 새로운 영역을 생성.
2. 정규화 (Regularization): 생성된 아웃라이어에 대해 에너지 기반 아웃라이어 노출 (Energy-based Outlier Exposure) 과 엔트로피 최대화 (Entropy Maximization) 를 적용합니다. 이는 알려진 클래스는 밀집되게 유지하면서, 새로운 클래스는 높은 에너지와 엔트로피를 갖도록 하여 결정 경계를 명확하게 만듭니다.

3. 주요 기여 (Key Contributions)

FG-DG-GCD 과제의 공식화: 세밀한 인식, 도메인 일반화, 개방형 카테고리 발견을 통합한 새로운 과제를 정의하고, 이를 해결하기 위한 첫 번째 통일된 프레임워크 (FOCUS) 를 제안했습니다.
최초의 FG-DG-GCD 벤치마크 구축: CUB-200-2011 (새), Stanford Cars (자동차), FGVC-Aircraft (비행기) 데이터셋을 기반으로, SDXL-Adapter를 활용한 제어된 스타일 변환 (Painting, Sketch) 을 통해 정체성 (Identity) 을 보존하는 다중 도메인 벤치마크를 구축했습니다. 이는 기존 단순한 스타일 변환이 세밀한 특징을 왜곡하는 문제를 해결했습니다.
성능 및 효율성:
- 제안된 벤치마크에서 기존 GCD, FG-GCD, DG-GCD 베이스라인을 모두 압도하는 성능을 달성했습니다.
- 합성 데이터 없이 학습하여, 기존 방법들 (Diffusion 기반 도메인 합성 등) 에 비해 3 배 (HIDISC 대비) 에서 300 배 (DG2CD-NET 대비) 더 높은 계산 효율성을 보였습니다.

4. 실험 결과 (Results)

세밀한 벤치마크 (Fine-Grained):
- CUB-200-2011-MD, Stanford Cars-MD, FGVC-Aircraft-MD 에서 **평균 All Accuracy 38.01%**를 기록하여 기존 최상위 방법 (HIDISC, 35.94%) 보다 2.07%p 향상되었습니다.
- 특히 새로운 클래스 발견 (New Accuracy) 에서 **40.63%**를 기록하여 기존 방법 대비 1.95%p 향상되었습니다.
- t-SNE 시각화 결과, FOCUS 는 기존 방법들보다 군집이 더 밀집되어 있고 명확하게 분리된 것을 확인했습니다.
대조적 벤치마크 (Coarse-Grained):
- PACS, Office-Home, DomainNet 과 같은 기존 DG-GCD 벤치마크에서도 합성 데이터를 거의 사용하지 않음 (0~2 개) 에 불구하고, 9 개의 합성 도메인을 사용하는 DG2CD-Net 이나 2 개를 사용하는 HIDISC 와 경쟁하거나 상회하는 성능을 보여주었습니다. 이는 FOCUS 의 기하학적 불변성 학습이 세밀한 인식뿐만 아니라 일반적 도메인 일반화에도 효과적임을 시사합니다.
계산 효율성:
- FOCUS 는 5.51e15 FLOPs로, HIDISC (16.53e15) 보다 3 배, DG2CD-Net (1586e15) 보다 약 300 배 가볍습니다.

5. 의의 및 결론 (Significance)

이 논문은 실제 세계 배포 (Real-world deployment) 에 매우 중요한 통찰을 제공합니다. 실제 환경에서는 학습 데이터와 테스트 데이터의 분포가 다르고 (도메인 시프트), 이전에 보지 못한 새로운 세밀한 카테고리 (예: 새로운 조류 종, 새로운 차량 모델) 가 계속 등장할 수 있습니다.

이론적 의의: 세밀한 인식에서 '질감'보다는 '기하학적 구조'가 도메인 불변성을 확보하는 핵심 요소임을 입증했습니다. 또한, 특징 공간 내에서 불확실성을 명시적으로 모델링함으로써 개방형 환경에서의 과신 (Overconfidence) 문제를 해결했습니다.
실용적 의의: 고비용의 합성 데이터 생성이나 복잡한 에피소드 학습 없이도, 단일 단계 학습으로 강력한 일반화 성능을 달성하여 실제 산업 응용 (생물다양성 모니터링, 산업 검사, 감시 등) 에 적용 가능한 경량화된 솔루션을 제시했습니다.

결론적으로, FOCUS 는 세밀한 객체 인식과 개방형 세계 학습의 간극을 메우며, 도메인 변화에 강인하고 새로운 클래스를 효과적으로 발견할 수 있는 새로운 표준 (Baseline) 을 제시했습니다.