🤖 machine learning

Know Yourself Better: Diverse Object-Related Features Improve Open Set Recognition

이 논문은 오픈 세트 인식에서 특징 다양성의 역할을 분석하여 성능과의 강력한 상관관계를 밝히고, 다양한 판별적 특징을 활용하여 기존의 최첨단 방식들을 크게 능가하는 새로운 방법을 제안한다.

원저자: Jiawen Xu, Margret Keuper

게시일 2026-06-05

📖 4 분 읽기☕ 가벼운 읽기

원저자: Jiawen Xu, Margret Keuper

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

큰 문제: "과도한 자신감의 추측"

당신이 클럽의 보안 요원이라고 상상해 보세요. 당신은 훈련을 통해 VIP(알려진 클래스)인 앨리스, 밥, 찰리를 구별할 수 있습니다.

어느 날 밤, 앨리스와 조금 닮은 낯선 사람이 들어옵니다. 당신의 훈련은 오직 앨리스, 밥, 찰리만을 다루었기 때문에, 당신의 뇌는 어떻게든 매칭을 시키려 합니다. 당신은 비록 그가 낯선 사람일지라도 "저 사람은 앨리스입니다!"라고 자신 있게 말합니다. AI의 세계에서는 이를 **오픈 세트 인식(Open Set Recognition, OSR)**이라고 부릅니다. 문제는 표준 AI 모델들이 "이 사람이 누구인지 모르겠다"라고 말하는 데 매우 서투르다는 점입니다. 그들은 자신이 아는 가장 가까운 것을 그냥 추측해 버리며, 종종 100%의 확신을 가지고 말하곤 하는데, 이는 실생활에서 매우 위험합니다.

핵심 아이디어: 한 가지만 보지 마라

이 논문의 저자들은 단순한 질문을 던졌습니다. 왜 이 모델들은 낯선 사람을 찾아내는 데 실패하는가?

그들은 모델들이 너무 게으르다는 사실을 발견했습니다. 모델들은 단 하나의 명확한 특징만을 사용하여 사물을 인식하도록 학습합니다.

비유: 아이에게 고양이를 인식하는 법을 가르친다고 상상해 보세요. 만약 아이에게 주황색 털을 가진 고양이 사진만 보여준다면, 아이는 "주황색 = 고양이"라고 배울 수도 있습니다.
실패 사례: 만약 표범(낯선 존재)이 주황색 코트를 입고 나타난다면, 아이는 색깔만 보고 "고양이다!"라고 외칠 것입니다. 아이는 귀, 꼬리, 그리고 점무늬를 무시했기 때문입니다.

이 논문은 낯선 것(이상치)을 찾아내기 위해서 모델이 단순히 쉬운 특징 하나가 아니라, 여러 가지 다양한 특징(색상, 모양, 질감, 크기 등)을 동시에 학습해야 한다고 주장합니다. 이를 **특징 다양성(Feature Diversity)**이라고 부릅니다.

실험: "모양 vs 색상" 테스트

이를 증명하기 위해 연구진은 컴퓨터를 이용한 간단한 게임을 진행했습니다.

시나리오 A: 컴퓨터에게 파란색 원과 빨간색 사각형을 보여주었습니다. 컴퓨터는 색상(파랑 대 빨강)만 보고도 둘을 쉽게 구분하는 법을 배웠습니다.
시나리오 B: 여기에 빨간색 원을 추가했습니다. 이제 색상만으로는 충분하지 않았습니다. 빨간색 원과 빨간색 사각형을 구분하려면, 컴퓨터는 반드시 모양에 대해서도 배워야만 했습니다.

결과: 시나리오 B(색상과 모양을 모두 배운 경우)의 컴퓨터는 시나리오 A(색상만 안 경우)의 컴퓨터보다 "낯선 존재"(파란색 사각형)를 훨씬 더 잘 찾아냈습니다.

교훈: 모델이 자신의 일을 수행하기 위해 더 다양한 특징을 배우도록 강제될 때, 모델은 자신이 모르는 것을 더 잘 포착하게 됩니다.

비밀 레시피: "온도(Temperature)" 조절 노브

연구진은 그다음, **지도 학습 기반 대조 학습(Supervised Contrastive Learning, SupCon)**이라는 AI 훈련 도구를 살펴보았습니다. 이 도구는 AI가 유사한 것들은 서로 묶고, 다른 것들은 서로 밀어내도록 돕습니다.

이 도구 안에는 **온도(Temperature)**라는 설정값이 있습니다 (마치 볼륨 조절기나 매운맛 단계와 같습니다).

낮은 온도: AI가 매우 엄격해집니다. 아주 미세하게 구별하기 어려운 쌍들을 집중적으로 파고듭니다. "나는 이 두 개 사이의 아주 작은 차이점까지 찾아내야 해!"라고 말하는 식입니다.
높고 높은 온도: AI가 더 느긋해집니다. 쉬운 차이점에 집중합니다.

발견: 연구진은 서로 다른 "온도" 설정이 AI가 데이터를 바라보는 방식을 완전히 다르게 만든다는 것을 발견했습니다.

어떤 모델은 고양이 털의 질감에 집중할 수 있습니다.
또 다른 모델(다른 온도로 훈련된 모델)은 귀의 모양에 집중할 수 있습니다.

이들은 마치 같은 범죄 현장을 조사하는 두 명의 형사와 같습니다. 형사 A는 발자국을 보고, 형사 B는 지문을 봅니다. 혼자서는 전체 그림을 다 볼 수 없지만, 함께라면 사건을 해결할 수 있습니다.

해결책: "팀워크" 접근법

하나의 온도 설정으로 훈련된 모델은 전체 그림의 일부만 볼 수 있기 때문에, 저자들은 간단한 해결책인 **앙상블(Ensemble)**을 제안했습니다.

단 하나의 AI 모델을 훈련시키는 대신, 각기 다른 "온도" 설정을 가진 세 개의 모델을 훈련시킵니다.

모델 1 (낮은 온도)은 미세한 디테일을 봅니다.
모델 2 (중간 온도)는 중간 정도의 디테일을 봅니다.
모델 3 (높은 온도)은 전체적인 큰 그림을 봅니다.

새로운 이미지가 들어오면, 세 모델 모두에게 의견을 묻고 그 답변들을 결합합니다. 각 모델이 서로 다른 각도에서(다양한 특징을 사용하여) 사물을 바라보고 있기 때문에, 단일 모델이 놓칠 수 있는 "낯선 존재"를 훨씬 더 잘 잡아낼 수 있습니다.

결과

연구팀은 표준 이미지 데이터셋(CIFAR-100 및 TinyImageNet 등)을 통해 테스트를 진행했습니다.

결과: 이들의 "팀워크" 접근 방식은 다른 최상위 방법들을 일관되게 앞질렀습니다.
이유는 무엇인가? 더 화려한 알고리즘을 사용했기 때문이 아닙니다. 단순히 서로 다른 온도를 사용하여 모델이 더 넓은 범위의 특징을 배우도록 강제함으로써, 최종 결정이 훨씬 더 견고해졌기 때문입니다.

요약

이 논문은 AI를 더 안전하고 미지의 존재를 더 잘 인식하게 만들려면, 단순히 한 가지 기술의 달인이 되도록 훈련시켜서는 안 된다는 것을 가르쳐 줍니다. 대신, 다양한 세부 사항을 포착하는 일반론자가 되도록 훈련시켜야 합니다. 서로 다른 설정을 가진 모델들의 "의견"을 결합함으로써, 우리는 자신의 한계를 알고 훨씬 덜 확신에 찬 오답을 내놓는 시스템을 얻을 수 있습니다.

기술 요약: 자신을 더 잘 알기: 다양한 객체 관련 특징이 오픈 세트 인식 성능을 향상시킨다

문제 정의

전통적인 신경망 분류기는 "클로즈 세트(close-set)" 가정을 기반으로 작동합니다. 즉, 고정된 카테고리 집합에 대해 학습하며, 이로 인해 이전에 본 적 없는 클래스의 샘플을 식별하는 데 어려움을 겪습니다. 실제 배포 시나리오에서 이는 "오픈 세트(open set)" 샘플(이상치)에 대해 과도하게 확신에 찬 예측을 내놓아, 이를 알려진 "인라이어(inlier)" 클래스로 오분류하는 결과를 초래합니다. 오픈 세트 인식(OSR)은 추론 시점에 새로운 클래스를 탐지할 수 있도록 함으로써 이 문제를 해결하고자 합니다. 다양한 방법론이 존재하지만, 성공적인 OSR을 이끄는 근본적인 표현 학습(representation-learning) 메커니즘은 여전히 충분히 이해되지 않았습니다. 특히, 특징 다양성(feature diversity)—즉, 표현이 제한된 부분적 변별 기호에 의존하는 대신 얼마나 많은 의미 있는 객체 속성을 포착하는지의 정도—의 역할은 그동안 주목을 받지 못했습니다.

방법론

1. 특징 다양성 조사

저자들은 통제된 실험을 통해 특징 다양성과 OSR 성능 사이의 연결 고리를 먼저 확립했습니다:

합성 실험: 원과 사각형 데이터셋을 사용하여, 색상만을 구분해야 하는 시나리오(E1)와 색상 및 모양을 모두 구분해야 하는 시나리오(E2)를 대상으로 모델을 학습시켰습니다. 더 복잡한 E2 시나리오(모양 특징을 요구함)에서 학습된 모델은, 인라이어와 색상 단서는 공유하지만 모양이 다른 이상치(파란색 사각형)에 대해 더 우수한 OSR 성능을 보였습니다.
CIFAR-100 실험: 분류기를 점진적으로 증가하는 수의 클래스(거친 매크로 클래스에서 미세한 클래스로)에 대해 학습시킴으로써, 저자들은 더 미세한 클래스를 구별해야 하는 모델이 더 다양한 특징을 학습한다는 것을 관찰했습니다. 이러한 모델들은 적은 수의 클래스로 학습된 모델에 비해 일관되게 더 높은 OSR 성능(AUROC로 측정)과 더 나은 이상치 클래스 일반화 능력을 보여주었습니다.

2. 지도 대조 학습(Supervised Contrastive Learning, SupCon) 분석

본 논문은 지도 대조 학습에서의 **온도 파라미터( $\tau$ )**를 조사합니다.

그래디언트 분석: 저자들은 양성 쌍(positive pair)과 음성 쌍(negative pair)의 유사도에 대한 SupCon 손실의 그래디언트를 분석합니다. 이들은 온도 파라미터가 최적화 역학에 유의미한 영향을 미친다는 것을 입증했습니다:
- 낮은 온도는 양성 쌍에 더 강한 인력을 가하고, "하드" 음성 쌍(유사도는 높지만 레이블이 다른 샘플)에 더 큰 그래디언트를 할당합니다. 이는 모델이 더 불변적이고 변별적인 특성을 학습하도록 강제합니다.
- 높은 온도는 상대적으로 더 쉽거나 중간 정도 난이도의 음성 샘사에 더 큰 그래디언트를 할당합니다.
상보적 표현: 경험적 분석 결과, 서로 다른 온도로 학습된 모델들은 표현 간의 정렬도가 낮으며(예측 일치도가 낮음), 데이터의 상보적인 측면을 포착한다는 것을 보여줍니다. 서로 다른 온도로 학습된 모델들의 표현을 결합하면 단일 모델을 사용하는 것보다 인-디스트리뷰션(in-distribution) 데이터에 대해 더 높은 분류 정확도를 얻을 수 있습니다.

3. 제안된 접근 방식: 온도 기반 앙상블

서로 다른 온도가 상보적인 특징 학습을 유도한다는 발견에 착안하여, 저자들은 다음과 같은 간단한 앙상블 프레임워크를 제안합니다:

학습: 여러 개의 SupCon 모델을 서로 다른 온도 값(로그 분포 $\{1, 0.5, 0.1, 0.05, 0.01, 0.005\}$ 에서 샘플링)을 사용하여 독립적으로 학습시킵니다.
추론: OSR 추론 시, 모델들은 점수(예: 특징 노름 또는 거리)를 생성합니다. 이 점수들은 최종 이상치 탐지 점수를 생성하기 위해 결합됩니다(구체적으로, 결합(concatenation), 합산(summation), 점수 합산(score summation) 중 **점수 합산(Score Summation)**이 가장 효과적인 전략으로 밝혀졌습니다).
구조: 이 방법은 사전 학습이나 파운데이션 모델 없이 순수하게 온도 하이퍼파라미터에 의해 유도된 다양성에 의존하며, 표준 ResNet-18 백본을 사용합니다.

주요 결과

6개의 표준 OSR 벤치마크(MNIST, SVHN, CIFAR-10, CIFAR+10, CIFAR+50, TinyImageNet)에 대해 광범-한 실험이 수행되었습니다.

성능: 제안된 방법은 OpenMax, C2AE, APRL, GeoEnsemble을 포함한 강력한 베이스라인들을 일관되게 능가했습니다.
최첨단 성능(SOTA): 이 접근 방식은 대부분의 프로토콜에서 최고 수준 혹은 그에 준하는 결과를 달랐습니다. 특히, 복잡한 TinyImageNet 데이터셋에서 **81.0%**의 AUROC를 달성하여 기존의 SupCon-ST(80.9%) 및 MEDAF(80.0%)와 같은 방법들을 넘어섰습니다.
절제 연구(Ablation Studies):
- 서로 다른 온도의 세 가지 표현을 결합했을 때 가장 좋은 성능(예: CIFAR-10에서 93.12%)을 보였으며, 이는 단일 또는 두 개의 표현을 사용하는 것보다 우수했습니다.
- 온도 조합의 선택이 성능에 상당한 영향을 미쳤으며, 이는 서로 다른 온도가 구별되는 특징 부분 집합을 포착함을 확인시켜 줍니다.
- 점수 합산(SocSum)이 표현 결합(concatenation)이나 단순 합산(summation)보다 약간 더 견고한 것으로 증명되었습니다.

의의 및 주장

본 논문은 주요 기여가 특정 이상치 탐지 전략에서 표현 학습 과정 자체로 관점을 전환한 것이라고 주장합니다.

특징 다양성 가설: 본 연구는 더 넓은 범위의 객체 관련 특징(다양성)을 인코딩하는 것이 개선된 OSR 성능과 양의 상관관계가 있다는 실증적 근거를 제공합니다.
제어 도구로서의 온도: 저자들은 SupCon에서의 온도 파라미터가 단순히 수렴을 위한 하이퍼파라미터가 아니라, 하드 샘플 쌍과 이지 샘플 쌍에 대한 강조를 조절하여 학습된 표현의 다양성을 형성하는 메커니즘임을 입증했습니다.
단순성과 효과성: 제안된 솔루션은 다양한 온도를 가진 기존 SupCon 모델들의 간단한 앙상블입니다. 이는 표준 프레임워크를 최소한으로 수정하면서도 경쟁력 있거나 우수한 성능을 달성하며, 이는 표현 다양성을 활용하는 것이 OSR을 위한 매우 효과적이고 아직 충분히 활용되지 않은 전략임을 시사합니다.
광범위한 시사점: OSR에 집중되어 있지만, 저자들은 다양하고 상보적인 특징을 포착하기 위해 표현 학습을 유도하는 원칙이 전이 학습, 모델 강건성, 도메인 적응과 같은 다른 작업에도 도움이 될 수 있다고 언급합니다.

결론적으로, 파운데이션 모델이 광범위한 능력을 제공하더라도, 신뢰할 수 있는 불확실성 정량화 및 이상치 탐지를 위해 다양하고 상보적인 특징을 포착하도록 표현 학습을 형성하는 구체적인 원칙은 여전히 중요하고 보완적인 연구 방향으로 남아 있습니다.