🤖 AI

Architecture-agnostic Lipschitz-constant Bayesian header and its application to resolve semantically proximal classification errors with vision transformers

본 논문은 비전 트랜스포머에서 구조화된 의미적 근접 라벨 노이즈를 효과적으로 탐지하고 완화하기 위해 변분 가중치에 이-리프시츠 제약을 부과하는 아키텍처 무관한 베이지안 헤더인 LipB-ViT 를 소개하며, 이는 최첨단 방법보다 우수한 재현율과 강건성을 달성합니다.

원저자: Frederik Schäfer, Luis Mandl, Lars Kälber, Tim Ricken

게시일 2026-05-08

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Frederik Schäfer, Luis Mandl, Lars Kälber, Tim Ricken

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 다양한 과일을 인식하도록 가르친다고 상상해 보세요. 수천 장의 사진을 보여주지만, 일부 라벨은 잘못되어 있습니다. 때로는 실수로 바나나를 사과로 라벨링하기도 합니다. 머신러닝 세계에서는 이를'라벨 노이즈'label noise'라고 부릅니다.

대부분의 경우, 무작위 실수 (예: 바나나를 사과라고 부르는 것) 를 범하더라도 로봇은 수많은 다른 바나나를 보기 때문에 그 실수를 파악할 수 있습니다. 하지만 실수가 교묘하다면 어떨까요? 바나나를 바나나 (plantain) 로 라벨링한다면 어떨까요? 둘은 거의 동일하게 보입니다. 이것이 저자들이 **의미론적 근접 분류 오류 (Semantically Proximal Classification Errors, SPCE)**라고 부르는 것입니다. 이는 쌍둥이를 혼동하는 것과 같습니다. 로봇은 훨씬 더 빠르게 혼란에 빠지고 올바르게 학습하는 능력을 상실합니다.

이 논문은 이러한 교묘한 실수를 처리하고, 데이터가 엉망이거나 나중에 나쁜 입력으로 로봇이 속임수를 당하더라도 로봇이 신뢰할 수 있도록 유지하도록 설계된 LipB-ViT(Lipschitz-constant Bayesian Vision Transformer)라는 새로운 도구를 소개합니다.

간단한 비유를 사용하여 작동 방식을 설명하면 다음과 같습니다.

1. 문제: "혼란스러운 학생"

기존 AI 모델은 정답을 외우는 학생과 같습니다. 교사 (데이터셋) 가 잘못된 정답지를 주면, 학생은 잘못된 정답을 외웁니다. 잘못된 정답이 명백하다면 (무작위 노이즈), 학생은 여전히 통과할 수 있습니다. 하지만 잘못된 정답이 미묘하다면 (바나나와 바나나를 혼동하는 것처럼), 학생은 완전히 길을 잃고 낙제합니다.

2. 해결책: "이중 확인" 헤더

저자들은 강력한 사전 훈련된 AI 모델 (비전 트랜스포머, ViT) 을 가져와 최종'의사결정'부분을 **베이지안 헤더 (Bayesian Header)**라는 특수한 새로운 층으로 대체했습니다.

베이지안 부분 ("아마도"기계): 단순히"이것은 바나나다"라고 말하는 대신, 이 새로운 층은"90% 는 바나나라고 확신하지만 10% 는 틀릴 수도 있다"고 말합니다. 단순히 추측하는 것이 아니라, 자신이 얼마나 확신하는지 계산합니다.
립시츠 부분 (속도 제한): AI 의 뇌를 자동차라고 상상해 보세요. "립시츠 상수 (Lipschitz constant)"는 속도 제한입니다. 저자들은 입력이 약간 변할 때 AI 의 확신이 얼마나 빠르게 변할 수 있는지에 대한 엄격한 속도 제한을 두었습니다.
- 이것이 중요한 이유: AI 에게 바나나 사진을 보여준 다음 약간 흐리게 하면, 일반 AI 는 갑자기"100% 확신"에서"0% 확신"으로 극단적으로 뒤집힐 수 있습니다. LipB-ViT 는 엔진의 가버너 (governor) 와 같이 작동하여 이러한 극단적인 변동을 방지합니다. 이는 AI 가 천천히 마음을 바꾸도록 강제하여 작은 오류가 큰 실수로 증폭되는 것을 막습니다.

3. 초능력:"나쁜 사과"찾기

이 논문의 가장 큰 성과 중 하나는 학습 데이터의 잘못된 라벨을 찾는 새로운 방법입니다.

구식 방법 (kNN): 바구니에서 나쁜 사과를 찾을 때 이웃을 살펴보는 것을 상상해 보세요. 사과가 오렌지로 둘러싸여 있다면, 그것은 아마도 잘못 라벨링된 것입니다. 이를"k-최근접 이웃 (k-Nearest Neighbor)"방법이라고 합니다. 이는 어느 정도 작동하지만 완벽하지는 않습니다.
신식 방법 (적응형 퓨전): 저자들은"이웃 확인"을 AI 의 자체"확신 확인"과 결합했습니다.
- 그들은 이렇게 물었습니다:"AI 는 이것이 바나나라고 생각하지만, 이웃은 사과처럼 보이나요? AND AI 는 이 특정 사진에 대해 확신이 없나요?"
- 이 두 가지 신호를 혼합하여"의심 점수 (Suspicion Score)"를 만들었습니다.
- 결과: 이 새로운 방법은 기존 방법보다 7% 더 잘 잘못된 라벨을 찾았습니다. 전체 데이터셋의 15% 가 엉망이 되었음에도 불구하고 나쁜 라벨의 93% 이상을 성공적으로 식별했습니다.

4. "데이터 품질"계기

이 논문은'품질 관리 게이지'와 같은 새로운 지표 (측정 도구) 도 소개합니다.

데이터셋에 얼마나 많은 노이즈가 있는지 단순히 추측하는 대신, 이 도구는 AI 의 불확실성을 사용하여 데이터의 정확한'쓰레기'양을 추정합니다.
이는 단순히 경보음을 울리는 연기 감지기 대신, 연기가 미묘하더라도 방이 얼마나 연기 냄새가 나는지 정확히 알려주는 것과 같습니다.

5. 화염 속 테스트

저자들은 이를 깨끗한 데이터에서만 테스트하지 않았습니다. 그들은 두 가지 어려운 시나리오에서 테스트했습니다.

노이즈가 있는 입력: 이미지에는 정적, 흐림, 밝기 변화를 추가했습니다 (비 속에서 사진을 찍는 것과 같습니다).
적대적 공격: AI 를 속이도록 특별히 설계된 보이지 않는 픽셀 변경으로 AI 를 속이려고 시도했습니다 (마술사의 손재주와 같습니다).

결과: LipB-ViT 는 기존 모델보다 훨씬 안정적이었습니다. 다른 모델들이 이미지가 엉망이 되자 당황하고 확신을 잃는 동안, LipB-ViT 는 침착함을 유지했습니다. 그것은 단순히 정확성을 유지한 것이 아니라, 자신의 불확실성에 대해 정직하게 유지했습니다.

요약

LipB-ViT를 다음과 같은 고도로 훈련된 전문가라고 생각하세요.

감정에 속도 제한이 있음 (판단에서의 극단적인 변동을 방지).
언제 확신이 없는지 항상 인정함 (보정된 불확실성 제공).
군중 속에서 거짓말쟁이를 찾아냄 (학습 데이터의 잘못된 라벨을 그 어떤 사람보다 잘 식별).
환경이 혼란스러워질 때 차분함을 유지함 (노이즈와 공격에 강건함).

이 논문은 이것이"플러그 앤 플레이 (plug-and-play)"해결책이라고 주장합니다. 즉, 이 특수한'헤더'를 가져와 다양한 기존 AI 모델 위에 올려놓아, 특히 데이터가 불완전할 수 있는 고위험 상황에서 더 신뢰할 수 있도록 만들 수 있다는 것입니다.

기술 요약: 비아키텍처 종속적 리프시츠 상수 베이지안 헤더를 활용한 비전 트랜스포머

문제 제기

레이블 노이즈는 지도 학습 딥러닝 모델의 일반화 능력을 저해하는 치명적인 병목 현상으로 남아 있습니다. 표준 강건한 훈련 방법들 (예: 손실 보정, 노이즈 적응 계층, 코-티칭) 은 종종 무작위적이고 대칭적인 레이블 노이즈를 효과적으로 견디지만, **의미론적으로 근접한 분류 오류 (SPCE)**가 발생했을 때는 실패합니다. SPCE 는 클래스 의존적 노이즈나 결정 경계 근처에 집중된 오류와 같이 레이블이 구조화된 방식으로 손상될 때 발생합니다. 이러한 시나리오에서 기존 완화 방법들은 거의 보호 기능을 제공하지 못해 모델 성능의 심각한 저하와 최적화 불안정을 초래합니다. 또한, 현재 베이지안 접근법들은 종종 모든 가중치의 완전한 베이지안 처리를 요구하는데, 이는 비전 트랜스포머 (ViT) 와 같은 대규모 사전 훈련된 백본에는 계산적으로 불가능하며, 또는 무제한 가중치 분포를 통해 노이즈가 증폭되는 것을 방지할 메커니즘이 부족합니다.

방법론

저자들은 사전 훈련된 ViT 백본 (특히 ViT-small-16) 에 비아키텍처 종속적 리프시츠 상수 베이지안 헤더를 통합한 LipB-ViT(이중 리프시츠 제약 베이지안 비전 트랜스포머) 을 제안합니다.

핵심 아키텍처

베이지안 헤더: 사전 훈련된 ViT 의 분류 헤더는 ReLU 활성화 함수로 분리된 두 개의 적층된 베이지안 선형 계층으로 대체됩니다. 가중치는 완전 인수분해된 가우시안 변분 사후분포 $q_\phi(W)$ 를 따르는 확률 변수로 취급됩니다.
하드 스펙트럴 정규화: 표준 베이지안 계층이나 소프트 정규화 접근법과 달리, 이 방법은 전체 변분 분포에 **스펙트럴 정규화 (SN)**를 강제합니다. 가중치의 평균 ( $\mu$ ) 과 로그 분산 ( $\rho$ ) 모두 거듭제곱 반복법에서 유도된 동일한 인자로 재조정됩니다. 이는 몬테카를로 (MC) 샘플링 중 노이즈를 증폭시킬 수 있는 고 Norm 가중치 실현을 방지하여 헤더의 리프시츠 상수에 대한 전역 상한을 보장합니다.
이중 리프시츠 제약: 헤더가 엄격하게 상한 리프시츠 경계를 강제하는 동안, 하한은 사전 훈련된 ViT 백본 (비붕괴로 가정됨) 과 은닉층 구조에 의해 암묵적으로 제공됩니다. 이는 MC 분산이 임의로 증폭되는 대신 훈련 데이터 매니폴드와의 거리를 추적하도록 하는 거리 보존 매핑을 촉진합니다.
훈련 목적 함수: 모델은 교차 엔트로피 데이터 항과 클루백 - 라이블러 (KL) 발산 정규화 항을 결합한 음수 증거 하한 (ELBO) 을 최소화함으로써 훈련됩니다.

노이즈 처리 및 탐지 전략

적응형 코-티칭: 저자들은 두 네트워크가 "클린" 샘플을 교환하는 적응형 코-티칭 전략을 구현합니다. 고정된 노이즈율을 사용하는 표준 코-티칭과 달리, 이 접근법은 두 피어 네트워크 간의 불일치에 기반하여 미니배치별로 결정되는 적응형 포기율을 사용합니다.
의심 점수 융합: 잘못된 레이블을 식별하기 위해 이 방법은 두 가지 신호를 융합합니다:
1. 특징 공간 근접성: 사전 훈련된 ResNet-50 특징 추출기에 기반한 k-최근접 이웃 (kNN) 의심 점수.
2. 예측 불확실성: LipB-ViT 의 50 개 MC 샘플에서 유도된 분산 기반의 불확실성 점수.
  이 점수들은 기대 오분류율과 Sarle 의 이모달성 계수를 사용하여 최적 임계값을 결정하는 적응형 산술 평균 융합 방식을 통해 결합됩니다.

새로운 지표

오분류 심각도 지표: 레이블 노이즈로 인해 훈련 데이터셋에 유발된 불확실성을 정량화하는 새로운 지표입니다. 이 지표는 반복 측정에 가우시안 응답 모델을 적합시켜 "소프트 정확도"와 "소프트 신뢰도"를 추정하며, 데이터셋 간 레이블 노이즈 수준을 추정합니다.
데이터셋 품질 분석: 안정화된 신뢰도 추정은 데이터셋 품질과 레이블 노이즈를 공동으로 평가하는 파이프라인의 기초 역할을 합니다.

주요 기여

LipB-헤더: 변분 가중치의 평균과 로그 분산 모두에 하드 스펙트럴 정규화를 적용하여 전역 리프시츠 경계를 강제하는 비아키텍처 종속적 헤더의 도입.
새로운 데이터 품질 지표: 레이블 노이즈로 유발된 불확실성을 정량화하여 다양한 데이터셋 간 레이블 노이즈 양을 추정할 수 있는 지표.
향상된 레이블 식별: 기존 최첨단 kNN 기반 식별 방법보다 7% 이상 우수한 성능을 보이며, 15% 의미론적 오분류 레이블에서 재현율 (recall) >0.93 을 달성하는 잘못된 레이블 식별 방법.
포괄적 평가: 구조화 (적대적) 및 비구조화 노이즈 하에서 네 가지 오픈 소스 데이터셋 (의료 MRI, 조직병리학, 산업 결함 탐지) 에 대한 LipB-ViT 의 철저한 실증 분석.

결과

SPCE 에 대한 강건성: 15% 의미론적으로 근접한 분류 오류 하에서 표준 ViT 는 평균 정확도가 약 8.1% 하락했습니다. 적응형 코-티칭을 적용한 LipB-ViT 는 이 하락을 약 3.8% 로 줄여 최종 정확도를 91.1% 로 달성했으며, 이는 표준 ViT 의 90.5% 보다 높습니다. 반면, 무작위 노이즈는 모든 모델에서 약 1.5% 의 하락만 초래했습니다.
불확실성 보정: LipB-ViT 는 불확실성 추정에서 우수한 안정성을 보여주었습니다. 정확도 하락은 베이지안 변형 간에 비슷했으나, 리프시츠 정규화는 손상 하에서 불확실성의 시드 간 및 데이터셋 간 표준 편차를 크게 감소시켰습니다.
레이블 탐지: 적응형 산술 평균 융합 방법은 독립적인 kNN 및 불확실성 방법보다 일관되게 우수한 성능을 발휘했습니다. SPCE 의 경우, 융합 방법은 AUC-ROC 0.94 및 AUC-PR 0.55 를 달성하여 독립적인 kNN(AUC-PR 0.51) 과 불확실성(AUC-PR 0.28) 접근법보다 현저히 우수한 성과를 보였습니다.
추론 강건성: 비구조화 노이즈 (가우시안, 샷, 블러 등) 와 적대적 공격 (FGSM, PGD) 하에서 LipB-ViT 는 표준 ViT 와 비교 가능한 정확도를 유지하면서도 신뢰도 및 불확실성 추정의 분산이 현저히 낮았습니다.

중요성 및 주장

이 논문은 LipB-ViT 가 레이블 신뢰도가 가변적인 고위험 응용 분야에서 사전 훈련된 비전 트랜스포머의 신뢰성을 향상시키기 위한 플러그 앤 플레이 솔루션을 제공한다고 주장합니다. 변분 가중치에 스펙트럴 경계를 강제함으로써, 이 방법은 노이즈 증폭을 완화하고 전체 백본의 계산 비용이 많이 드는 재훈련 없이 보정된 예측 불확실성을 생성합니다.

저자들은 몬테카를로 샘플링과 거듭제곱 반복으로 인해 계산 비용이 발생하지만, 이 방법은 의료 및 산업 등 다양한 도메인에서 일관된 하이퍼파라미터를 제공한다고 강조합니다. 안정화된 신뢰도 추정은 데이터셋 품질을 정량화하고 잘못 레이블링된 데이터를 탐지하는 새로운 파이프라인을 가능하게 하여 "쓰레기 들어오면 쓰레기 나옴 (garbage-in, garbage-out)" 실패 모드를 해결합니다. 이 연구는 단일 벡터를 위한 메모리 풋프린트로 인한 대규모 데이터셋 확장성 및 실제 세계의 다중 모달 레이블링 오류의 복잡성과 같은 현재 한계가 존재하지만, 이 접근법이 구조화된 레이블 노이즈를 처리할 수 있는 강건하고 불확실성을 인식하는 비전 시스템으로 나아가는 중요한 단계임을 시사합니다.