🤖 machine learning

GEODE: Angle-Adaptive OOD Detection with Universal Scorer Compatibility

GEODE 는 각도 적응형 노름 손실 함수를 사용하여 아웃라이어 노출의 경계 보정 이점을 인위적으로 재현하는 기하학적 성질을 보존하는 OOD 탐지 방법으로, 정제된 보조 데이터 없이도 모든 일곱 가지 표준 스코어에서 견고한 성능을 달성합니다.

원저자: Bruno Abrahao

게시일 2026-05-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bruno Abrahao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 매우 똑똑한 보안 요원 (컴퓨터 프로그램) 이 특정 사람들, 예를 들어 친구나 가족 (이를 '분포 내 (In-Distribution)' 또는 ID 데이터라고 합니다) 을 인식하도록 훈련되었다고 가정해 봅시다. 문제는 낯선 사람들이 게이트로 다가올 때 발생합니다. 어떤 이들은 명백히 다른 나라에서 온 낯선 사람들 (Far-OOD) 이지만, 다른 이들은 친구들처럼 의심스럽게 보입니다. 아마도 비슷한 옷을 입었거나 비슷한 머리를 했을 수도 있습니다 (Near-OOD).

OOD (분포 외, Out-of-Distribution) 탐지의 목표는 그들이 어떻게 생겼든 간에 승인된 목록에 없는 누구라도 보안 요원이 찾아낼 수 있도록 하는 것입니다.

문제: "일률적 적용"의 실패

오랫동안 연구자들은 두 가지 주요 트릭을 사용하여 보안 요원들이 낯선 사람들을 찾아내도록 훈련시켰습니다:

"로그이트 (Logit)" 요원: 보안 요원의 내부 신뢰도 점수를 봅니다. "이 사람이 내 친구라고 얼마나 확신할까?"
"특징 (Feature)" 요원: 특징 지도상의 물리적 거리를 봅니다. "이 사람은 내 친구 그룹으로부터 얼마나 멀리 떨어져 있을까?"

이 논문은 좌절스러운 트레이드오프를 지적합니다. 보안 요원을 신뢰도 점수 확인에 뛰어나게 훈련시키면, 종종 물리적 거리 확인에는 매우 서툴러지고 그 반대도 마찬가지입니다. 이는 보안 요원을 신분증 판독 전문가로 훈련시키되 얼굴 특징은 전혀 보지 못하게 만드는 것과 같습니다.

이전의 해결책: "이상치 노출 (Outlier Exposure, OE)"

이전까지의 최선책은 이상치 노출 (OE) 이라고 불렸습니다. 보안 요원에게 낯선 사람들 (다른 도시의 사람들 같은) 의 사진을 보여 주어 "내 친구가 아닌 것"이 어떤 모습인지 배우게 하는 트레이너를 고용한다고 상상해 보세요.

문제점: 이러한 "낯선 사람" 사진으로 엄선된 거대한 앨범이 필요합니다. 보안 요원에게 보여 준 낯선 사람들이 실제로 게이트에 나타나는 낯선 사람들과 일치하지 않으면 훈련은 실패합니다.
비밀: 저자들은 OE 가 작동하는 이유를 발견했습니다. 보안 요원이 모든 낯선 사람을 외웠기 때문이 아닙니다. 훈련 과정에서 실수로 "낯선 사람" 사진들이 "친구"와 "낯선 사람" 사이의 경계선 바로 위에 위치하도록 밀어 넣었기 때문입니다. 이는 친구 구역의 가장자리에 "통과 금지" 선을 그리는 것과 같습니다.

새로운 해결책: GEODE

저자들은 GEODE(기하학적 구조 보존 탐지, GEOmetry-preserving DEtection) 를 개발했습니다. 실제 낯선 사람들의 앨범이 필요 없이, GEODE 는 즉석에서 가짜 낯선 사람들을 생성하고 보안 요원을 훈련시키기 위해 교묘하고 적응적인 규칙을 사용합니다.

GEODE 가 작동하는 방식에 대한 비유는 다음과 같습니다:

1. "변신하는" 낯선 사람

보안 요원에게 단순히 무작위 사진을 보여주는 대신, GEODE 는 친구들의 특징을 뒤섞습니다 (얼굴의 픽셀을 뒤섞는 것처럼). 이는 실제 사람이 아니지만 기이하게 보이는 "가짜 낯선 사람"을 생성합니다.

2. "똑자 ruler" (각도 적응적 노름, Angle-Adaptive Norm)

이것이 핵심 혁신입니다. 보안 요원이 친구 그룹의 중심으로부터 사람이 얼마나 "멀리 떨어져 있는지"를 측정할 자를 가지고 있다고 상상해 보세요.

이전 방법: "모든 낯선 사람을 우주의 가장자리까지 밀어내라!" (이는 신뢰도 기반 탐지로 쉽게 찾을 수 있게 하지만, 거리 기반 검사를 위한 지도를 파괴합니다).
GEODE 방법: "똑똑한 자"를 사용하라.
- 가짜 낯선 사람이 특정 친구 그룹에 가깝게 서 있을 때 (높은 유사도), 자는 이렇게 말합니다: "조금만 떨어져 있으되, 너무 멀리 가지 마라." 이는 거리 기반 탐지기 (예: KNN) 가 여전히 작동하도록 지도의 국소적 형태를 보존합니다.
- 가짜 낯선 사람이 어떤 친구 그룹으로부터도 멀리 서 있을 때 (낮은 유사도), 자는 이렇게 말합니다: "중앙까지 달려가라!" 이는 신뢰도 기반 탐지기에게 매우 쉽게 찾아낼 수 있게 만듭니다.

이 "똑똑한 자"는 각 가짜 낯선 사람들이 서 있는 위치에 따라 각각의 훈련 목표를 조정합니다. 이는 마치 댄스 강사가 중앙 근처에 있는 댄서들에게는 그룹에 가까이 있으라고 말하지만, 뒤에 있는 댄서들에게는 앞으로 오라고 말하여 모든 각도에서 모니터링하기 쉬운 포메이션을 유지하도록 하는 것과 같습니다.

왜 이것이 중요한가

보편적 호환성: 대부분의 방법은 한 가지 유형의 탐지기를 고치기 위해 다른 유형을 파괴합니다. GEODE 는 "신뢰도 점수 읽기와 물리적 거리 확인 모두에서 보안 요원을 훌륭하게 만들 수 있다"고 말하는 첫 번째 방법입니다. 이는 다른 어떤 것도 충돌시키지 않고 낯선 사람을 확인하는 7 가지 표준 방식 모두와 작동합니다.
추가 데이터 불필요: 훈련할 "낯선 사람" 데이터셋을 찾아갈 필요가 없습니다. GEODE 는 이미 가지고 있는 데이터를 뒤섞어 훈련 신호 자체를 생성합니다.
"널 공간 (Null Space)" 함정: 이 논문은 보안 요원이 볼 수 없는 "맹점 (널 공간)"으로 낯선 사람들을 밀어 넣으려는 다른 방법들 (예: PFS) 을 경계합니다. 이는 보안 요원을 신뢰도 점수 확인에 뛰어나게 만들지만, 거리 기반 검사 (신분증은 읽을 수 있지만 눈가리개를 한 보안 요원 같은) 에는 완전히 맹목이 되게 만듭니다. GEODE 는 "낯선 사람들"을 올바른 위치에 가시적으로 유지함으로써 이 함정을 피합니다.

결론

GEODE 는 즉석에서 지능적이고 적응적인 가짜 낯선 사람들을 생성함으로써 컴퓨터 모델이 낯선 사람을 찾아내도록 가르치는 새로운 훈련 기술입니다. 모든 낯선 사람들을 단일 "나쁜" 구역으로 밀어 넣는 대신, 모든 유형의 탐지 방법에 대해 "친구"와 "낯선 사람"의 경계를 명확하게 유지하는 기하학적 패턴으로 그들을 배치합니다.

이는 추가 데이터 없이 달성되며, 한 문제를 해결하는 동안 다른 문제를 파괴하는 일반적인 함정을 피합니다. 간단히 말해, 이는 보안 요원을 견고하고 다재다능하게 만들어 어떤 유형의 낯선 사람이 나타나도 준비되게 합니다.

기술 요약: GEODE - 범용 스코어 호환성을 갖춘 각도 적응형 OOD 탐지

1. 문제 제기

비분포 (Out-of-Distribution, OOD) 탐지는 배포된 분류기가 학습하지 않은 입력을 식별하는 것을 목표로 합니다. 현재의 접근법은 사후 점수 매기기 (post-hoc scoring, 고정된 모델에 적용) 와 학습 기반 방법 (특징 또는 로그이트를 재구성) 사이에 근본적인 긴장 관계에 직면해 있습니다.

트레이드오프: 로그이트 기반 스코어 (예: MSP, Energy) 를 개선하는 학습 방법은 종종 특징 공간 스코어 (예: KNN) 를 저하시키고, 그 반대의 경우도 마찬가지입니다. 기존 어떤 방법도 모든 표준 스코어에 걸쳐 강력한 탐지 성능을 달성하면서 동시에 근접 OOD(near-OOD) 와 원거리 OOD(far-OOD) 영역 모두에서 우수한 성능을 보이지는 못합니다.
아웃라이어 노출 (Outlier Exposure, OE) 의 한계: OE 는 실제 보조 OOD 데이터를 사용하는 지배적인 학습 기반 접근법이지만, 두 가지 문제점을 겪습니다:
1. 스코어 의존성: 일부 스코어에서는 강력하지만 다른 스코어에서는 약한 트레이드오프를 보입니다.
2. 데이터 의존성: 실제 테스트 시간 OOD 분포와 일치하도록 정제된 보조 데이터가 필요하며, 이는 노동 집약적이고 취약한 요구사항입니다.
영공 (Null-Space) 실패: PFS 와 같은 최근 방법들은 OOD 특징을 분류기의 영공 (null space) 으로 밀어넣어 로그이트 점수를 높이는 시도를 합니다. 그러나 이는 특징 공간 기하학을 파괴하여 KNN 기반 탐지가 실패하게 만듭니다 (무작위보다 더 나쁜 성능).

해결하려는 핵심 질문은 다음과 같습니다: 어떤 기하학적 속성이 OE 를 효과적으로 만드는 것이며, 이를 실제 OOD 데이터 없이 합성하여 범용 스코어 호환성을 달성할 수 있는가?

2. 방법론: GEODE

저자들은 GEODE(GEOmetry-preserving DEtection) 를 제안합니다. 이는 결정 경계를 보정하면서도 특징 기하학을 보존하도록 OOD 신호를 합성하는 학습 기반 방법입니다.

2.1 OE 의 기하학적 분석

학습된 백본 (ResNet-18) 의 penultimate(마지막 전) 층에서 수행된 기하학적 분석을 통해 저자들은 다음과 같은 사실을 발견했습니다:

OE 는 커버리지가 아닌 경계 보정입니다: OE 특징은 실제 근접 OOD 데이터와 기하학적으로 구별할 수 없습니다. 구체적으로, 노름 비율, 클래스 평균에 대한 최대 코사인 유사도, 그리고 부분 공간 투영이 일치합니다.
사분위수 효과 (The Quartile Effect): OE 데이터 중 "경계 인접 사분위수" (ID 클래스 평균에 대한 코사인 유사도가 높은 샘플, $>0.85$ ) 가 OE 성능 향상의 거의 전부를 주도합니다. 경계에서 멀리 떨어진 예시들은 거의 기여하지 않습니다.
결론: 효과적인 메커니즘은 전체 OOD 공간을 커버하는 것이 아니라 경계 영역을 보정하는 것입니다.

2.2 GEODE 메커니즘

GEODE 는 특징 셔플링 (배치 전체에서 차원을 순열) 과 각도 적응형 노름 손실 (angle-adaptive norm loss) 을 사용하여 이 보정을 합성적으로 복제합니다.

합성 OOD 생성: 보조 데이터를 사용하는 대신, GEODE 는 ID 특징 배치를 가로질러 특징 차원을 독립적으로 순열하여 합성 OOD 특징 ( $h_{ood}$ ) 을 생성합니다. 이는 차원 간 상관관계를 깨뜨리면서 주변 통계는 보존합니다.
각도 적응형 타겟: 핵심 혁신은 합성 특징이 가장 가까운 클래스 평균 ( $\mu_c$ $μ_{c}$ ) 에 대한 코사인 유사도 ( $s$ $s$ ) 에 따라 샘플별로 스케일링되는 타겟 노름 $t$ $t$ 입니다:
$s = \max_c \cos(h_{ood}, \mu_c)$
$t = s^2 \cdot \alpha \cdot r_{id}$
여기서 $r_{id}$ $r_{i d}$ 는 평균 ID 특징 노름이고 $\alpha$ $α$ 는 완화 파라미터입니다.
- 클래스 평균 근처 ( $s \approx 1$ ): 타겟 노름은 큽니다 ( $t \approx \alpha \cdot r_{id}$ ). 이는 KNN 과 같은 거리 기반 스코어에 필요한 국소 특징 기하학을 보존합니다.
- 클래스에서 멀리 ( $s \approx 0$ ): 타겟 노름은 작습니다 ( $t \approx 0$ ). 이는 특징을 원점으로 밀어내어 MSP 및 Energy 와 같은 로그이트 기반 스코어를 위한 분리를 날카롭게 만듭니다.
대조적 ID 마진: 양쪽에서 마진을 넓히기 위해, 대조적 항은 ID 특징이 $r_{id}$ 보다 약간 큰 노름을 갖도록 장려합니다 ( $\|h\| < r_{id}$ 일 때만 ID 특징을 패널티).
손실 함수: 총 손실은 교차 엔트로피, 적응형 OOD 노름 패널티, 그리고 대조적 ID 마진을 결합합니다.

2.3 이론적 정당화

이 설계는 클래스 평균이 심플렉스 등각 빽빽 프레임 (Simplex Equiangular Tight Frame, ETF) 으로 수렴하는 뉴럴 콜랩스 (Neural Collapse, NC) 이론에 기반합니다.

정리 1: 셔플된 특징은 전역 평균에 집중되므로, 개별 샘플 각도에 기반한 적응형 타겟팅이 필요함을 정당화합니다.
정리 2 및 3: 적응형 타겟은 균일한 노름 패널티보다 클래스 경계 근처의 국소 쌍별 거리를 더 잘 보존합니다 (KNN 에 필수적).
정리 4: OOD 특징을 영공으로 밀어넣는 것 (PFS 가 수행함) 은 조건부 거리 변이를 제거하여 KNN 실패를 초래합니다. GEODE 는 OOD 특징을 분류기 부분 공간 내에 유지함으로써 이를 회피합니다.

3. 주요 기여

기하학적 프레임워크: 이 논문은 OE 가 작동하는 이유 (경계 보정) 에 대한 최초의 기하학적 특성을 제공하고, KNN 에 대한 영공 방법 (PFS) 의 치명적 실패를 진단합니다.
방법론 설계: GEODE 는 보조 데이터 없이 OOD 신호를 합성하는 각도 적응형 노름 손실을 도입하여 로그이트 기반 및 특징 공간 스코어 모두에 필요한 기하학을 보존합니다.
실증적 보편성: GEODE 는 CIFAR-10 과 CIFAR-100 에서 일곱 가지 표준 스코어 (MSP, Energy, ODIN, ReAct, Scale, ASH, KNN) 에 걸쳐 경쟁력 있는 AUROC 를 달성하며, 단일 스코어에서 치명적인 실패를 보이지 않습니다.
조립성: GEODE 는 OE 와 직교합니다. 이를 결합하면 최첨단 결과를 달성합니다 (예: CIFAR-10 에서 95.0 MSP / 94.8 KNN). 이는 모든 스코어에서 OE 단독보다 우월합니다.

4. 실험 결과

ResNet-18 과 WRN-28-10 을 사용하여 OpenOOD v1.5 벤치마크 (CIFAR-10, CIFAR-100, ImageNet-200) 에서 평가되었습니다:

CIFAR-10 (근접 OOD): GEODE 는 92.30 AUROC(EBO) 를 달성하며, 일곱 가지 스코어 전반에 걸쳐 89.0 에서 92.3의 범위를 보입니다. 다른 방법들에서 관찰되는 "치명적 실패"를 피합니다 (예: PFS 는 KNN 을 14.38 로 떨어뜨리는 반면, GEODE 는 89.04 를 유지하며 이는 막대한 로그이트 향상을 위한 의도적인 1.6 포인트 트레이드오프입니다).
CIFAR-100: GEODE 는 일치된 에포크 수에서 일반 CE 를 능가하며, 결합 시 세 가지 스코어 (MSP, Energy, KNN) 에서 OE 를 능가합니다.
ImageNet-200: GEODE 는 스코어 전반에 걸쳐 치명적 실패가 없습니다 (범위 77.93–83.48). 반면 LogitNorm 은 Energy(29.67) 와 ReAct(26.53) 에서 치명적으로 실패합니다.
학습 역학: GEODE 는 학습이 진행됨에 따라 (최대 400 에포크) 일반 CE 를 능가하며, 뉴럴 콜랩스 수렴의 혜택을 받습니다. 반면 LogitNorm 은 NC 수렴을 방해하기 때문에 더 긴 학습 기간에 따라 성능이 저하됩니다.

5. 중요성과 주장

이 논문은 GEODE 가 로그이트 기반과 특징 공간 OOD 탐지 사이의 오랜 트레이드오프를 해결한다고 주장합니다. 효과적인 OOD 탐지는 전체 OOD 커버리지가 아닌 경계 보정에 의존한다는 점을 인식함으로써, GEODE 는 결정 경계의 기하학적 궤적을 존중하는 학습 신호를 합성합니다.

범용 호환성: 특정 스코어 계열을 최적화하여 다른 계열을 희생하는 이전 방법들과 달리, GEODE 는 치명적 실패 없이 모든 표준 스코어에서 작동합니다.
데이터 효율성: 정제된 보조 OOD 데이터셋을 요구하지 않고, 대신 합성 특징 셔플링에 의존하여 이러한 결과를 달성합니다.
이론적 정합성: 이 방법은 이러한 수렴을 방해하는 로그이트 수정 방법과 달리 뉴럴 콜랩스의 자연스러운 수렴과 호환되도록 설계되었습니다.

저자들은 겸손하게 한계를 지적합니다: 대조적 마진 구성 요소는 100 클래스 ETF 기하학의 취약성으로 인해 CIFAR-100 에 잘 일반화되지 않으며, GEODE 는 작은 데이터셋에서 일반 ViT-B/16 을 개선하지 못합니다 (LayerNorm 이 노름 변이를 지우고 모델이 NC 영역에 도달하지 못하기 때문일 것입니다). 향후 작업으로 트랜스포머 친화적 변형과 대규모 벤치마크에 대한 제안이 있습니다.