🤖 AI

Triple Expert Learning from Noisy Labels for Semi-Supervised Vision Foundation Model Adaptation

이 논문은 비전 파운데이션 모델을 위한 준지도 학습 적응 프레임워크인 TriNoL을 제안하며, 이는 레이블이 없는 샘플을 세 가지 신뢰도 기반 영역으로 라우팅하고 백본은 동결된 상태로 유지하면서 양성, 정렬 및 음성 신호를 위한 특화된 LoRA 전문가를 훈련함으로써 노이즈가 있는 의사 레이블에 대한 강건성을 향상시킨다.

원저자: Xuanyu Liu, Zheng Fang, Hongyang He, Yundi Hong, Daizong Liu

게시일 2026-08-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xuanyu Liu, Zheng Fang, Hongyang He, Yundi Hong, Daizong Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 초지능 로봇에게 동물을 인식하는 법을 가르치려 한다고 상상해 보세요. 당신은 완벽한 이름이 적힌 몇 장의 사진을 가지고 있지만, 이름이 전혀 적혀 있지 않은 엄청난 양의 사진 뭉치도 가지고 있습니다. 로봇을 가르치기 위해, 당신은 로봇에게 이름이 없는 사진들의 이름을 추측해 보라고 요청합니다. 만약 로봇이 확신을 가지고 추측한다면, 당신은 그 추측을 기록하여 다음 라운드를 위한 '선생님'으로 사용합니다. 이것이 바로 컴퓨터 과학의 영리한 기술인 **준지도 학습(Semi-Supervised Learning)**의 세계입니다. 이는 라벨이 없는 방대한 양의 데이터로부터 학습할 수 있게 해줍니다.

하지만 여기 함정이 있습니다. 로봇은 완벽하지 않습니다. 때때로 로봇은 확신을 가지고 추측하지만 완전히 틀리기도 합니다. 이러한 잘못된 추측을 "노이즈가 섞인 라벨(noisy labels)"이라고 부릅니다. 만약 당신이 로봇의 모든 추측으로부터 배우도록 내버려 둔다면, 로봇은 자신의 실수에 대한 믿음을 갖게 되어 혼란에 빠지고 잘못된 것을 배우게 될 것입니다. 이는 특히 **비전 파운데이션 모델(Vision Foundation Models)**을 사용할 때 매우 까다로운 문제입니다. 이 모델들은 이미 세상에 대해 많은 것을 알고 있는 거대하고 사전 학습된 AI 두뇌입니다. 우리는 이 거대한 두뇌 전체를 다시 학습시키고 싶지는 않습니다(그것은 너무 무겁고 비용이 많이 듭니다). 대신, 우리의 특정 과업을 돕기 위해 아주 작고 가벼운 "어댑터(adapter)"를 추가하고 싶을 뿐입니다. 문제는, 선생님들(로봇의 추측들)이 천재와 혼란에 빠진 학생, 그리고 완전한 거짓말쟁이가 뒤섞여 있을 때, 이 어댑터를 어떻게 가르칠 것인가 하는 점입니다.

이것이 바로 TriNoL(Noisy Labels로부터의 삼중 전문가 학습)이라 불리는 새로운 방법이 해결하고자 하는 문제입니다. 연구자들은 모든 라벨 없는 사진을 똑같이 취급하는 것이 실수라는 점을 깨달았습니다. 단 하나의 작은 어댑터가 완벽한 추측, 흔들리는 추측, 그리고 터무니없는 추측이 뒤섞인 것을 배우려고 하면 혼란에 빠지게 됩니다. 이는 마치 한 명의 학생에게 수학 천재, 창의적인 작가, 그리고 안전 검사관이 되는 법을 동시에 가르치기 위해 뒤섞인 지시 사항들을 주는 것과 같습니다. 수학을 위한 지시 사항이 안전을 위한 지시 사항과 충돌하면, 학생은 결국 아무것도 제대로 배우지 못하게 됩니다.

이를 해결하기 위해 저자들은 학습 작업을 각자의 작은 어댑터를 가진 세 가지 전문화된 "전문가"로 나누는 것을 제안합니다. 그들은 로봇이 자신의 추측에 대해 얼마나 확신하는지에 따라 라벨 없는 사진들을 세 그룹으로 분류합니다:

긍정적 전문가 (고확신 천재들): 이 전문가는 로봇이 매우 확신할 때(예: 95% 확신)의 사진만을 살펴봅니다. 이러한 추측은 대개 옳기 때문에, 이 전문가는 강력하고 빠르게 학습하여 고양이와 개를 구별하는 로봇의 능력을 날카롭게 다듬습니다.
정렬 전문가 (혼란스러운 중간 지대): 이 전문가는 로봇이 "그저 그런" 상태일 때(예: 50~70% 확신)의 사진을 다룹니다. 이들은 범주 사이의 경계에 있는 까다로운 것들입니다. 대신 강제로 결론을 내리게 하는 대신, 이 전문가는 로봇이 일관성을 유지하도록 부드럽게 유도하여, 실수를 강요하지 않으면서도 범주 간의 모호한 경계를 이해하도록 돕습니다.
부정적 전문가 (거짓말쟁이를 위한 안전망): 이 전문가는 로봇이 거의 추측하지 못할 때(낮은 확신도)를 다룹니다. 이 전문가는 이를 무시하거나 맞다고 강요하는 대신, 잘못된 답을 피하는 법을 배웁니다. 이는 필터처럼 작동하여 로봇이 자신의 터무니없는 추측에 속아 넘어가지 않도록 보호합니다.

연구진은 이 세 그룹을 세 가지 서로 다른 "학습 경로"로 분리함으로써 시스템이 훨씬 더 견고해진다고 제안합니다. "긍정적" 경로는 노이즈가 섞인 추측에 의해 오염되지 않고 깨끗하고 강력하게 유지됩니다. "정렬" 경로는 로봇이 회색 지대를 이해하도록 돕고, "부정적" 경로는 시스템이 잘못된 정보에 의해 유도되는 것을 방지합니다.

연구진은 음식, 새, 일반 사물 등의 데이터셋을 포함한 여러 데이터셋에서 이 아이디어를 테스트했습니다. 그들은 TriNoL이 라벨링된 예시가 매우 적고 라벨 없는 데이터가 엉망인 상황에서 특히 잘 작동한다는 것을 발견했습니다. 예를 들어, 라벨링된 이미지가 몇 장뿐인 음식 데이터셋에서 TriNoL은 정확도를 약 87.58%에서 88.42%로 향상시켜 다른 방법들을 앞질렀습니다. 또한 그들은 이 향상이 단순히 시스템을 크게 만들었기 때문이 아님을 보여주었습니다. 동일한 계산 능력을 가진 훨씬 더 큰 단일 어댑터와 비교했을 때도 TriNoL은 승리했습니다. 이는 비결이 단순히 더 큰 두뇌를 갖는 것이 아니라, 올바른 종류의 조직화에 있다는 것을 시사합니다.

하지만 저자들은 이것이 모든 상황에 적용되는 마법의 탄환은 아니라는 점을 주의 깊게 언급합니다. 라벨링된 이미지가 충분히 많거나 데이터가 이미 매우 깨끗한 경우에는 세 명의 전문가를 두는 이점이 줄어듭니다. 또한 로봇의 초기 확신 점수가 완전히 틀렸을 경우(미교정된 경우), 분류 시스템이 혼란을 겪을 수 있다는 점도 인정합니다. 하지만 강력한 AI 모델을 제한된 데이터와 노이즈가 섞인 추측을 통해 적응시켜야 하는 특정한 과제에 있어서, 이 "삼중 전문가" 접근 방식은 학습이 궤도를 벗어나지 않도록 유지하는 매우 유망하고 구조적인 방법을 제시합니다.

기술 요약: TriNoL – 노이즈가 있는 레이블로부터의 트리플 전문가 학습을 통한 준지도 학습 기반 VFM 적응

1. 문제 정의

본 논문은 레이블이 된 데이터는 부족하고 레이블이 되지 않은 데이터는 의사 레이블(pseudo-labels)에 의존하는 준지도 학습(SSL) 환경에서, CLIP이나 DINO 시리즈 인코더와 같은 시각 파운데이션 모델(VFM)을 적응시키는 과제를 다룹로다. VFM은 강력한 사전 학습된 표현을 제공하지만, 이들의 적응은 일반적으로 백본을 동결하고 LoRA(Low-Rank Adaptation)와 같은 경량화된 매개변수 효율적 미세 조정(PEFT) 모듈을 업데이트하는 방식을 취한다.

본 논문에서 식별한 핵심 문제는 단일 어댑터 LoRA가 노이즈가 있는 의사 레이블에 민감하다는 점이다. 표준적인 SSL에서 의사 레이블은 혼합된 신뢰도를 보인다: 높은 신뢰도의 레이블은 대개 정확하지만, 중간 신뢰도의 레이벨은 모호하며(결정 경계 근처), 낮은 신뢰도의 레이블은 빈번하게 노이즈를 포함한다. 기존 방법들은 일반적으로 의사 레이블의 신뢰도를 스칼라 가중치로 처리하거나 이진 필터(높은 신뢰도의 샘플만 선택하고 나머지는 버리는 방식)로 처리한다. 그러나 저자들은 이 세 가지 서로 다른 신뢰도 영역의 그래디언트를 단일 저차원 업데이트 공간으로 압축하는 것이 그래디언트 간섭을 유발한다고 주장한다. 신뢰할 수 있는 그래디언트, 모호한 그래디언트, 그리고 노이즈가 섞인 그래디언트가 동일한 어댑터 내에서 경쟁하며, 이는 적응 방향을 왜곡하고 잘못된 결정 경계를 강화(확증 편향)할 가능성이 있다.

2. 방법론: TriNoL

저자들은 의사 레이블 감독(supervision)을 세 가지 신뢰도 기반 영역으로 분해하고, 각 영역을 전문화된 LoRA 전문가가 처리하도록 하는 TriNoL(Triple-expert learning from Noisy Labels) 프레임워크를 제안한다.

2.1 아키텍처

동결된 백본 (Frozen Backbone): 사전 학습된 VFM 백본( $\psi$ )은 동결된 상태를 유지한다.
트리플 LoRA 전문가 (Triple LoRA Experts): 단일 어댑터 대신, TriNoL은 동결된 선형 투영(linear projections)에 삽입되는 세 개의 독립적인 LoRA 브랜치( $\theta^+$ $θ^{+}$ , $\theta^a$ $θ^{a}$ , $\theta^-$ $θ^{-}$ )를 사용한다:
1. Positive Expert ( $e^+$ ): 높은 신뢰도의 의사 레이블을 처리한다.
2. Alignment Expert ( $e^a$ ): 중간 신뢰도(모호한) 의사 레이블을 처리한다.
3. Negative Expert ( $e^-$ ): 낮은 신뢰도(노이즈가 있는) 의사 레이블을 처리한다.
분류 헤드 (Classifier Head): 전문가들과 함께 공유된 분류 헤드( $C_\omega$ )가 업데이트된다.

2.2 신뢰도 기반 라우팅 (Confidence-Based Routing)

학습 중에 unlabeled 샘플은 약한 증강(weakly augmented) 뷰를 통해 처리되어 의사 레이블과 신뢰도 점수( $q_i$ )를 생성한다. 두 개의 임계값 $\tau^-$ 와 $\tau^+$ 가 unlabeled 배치 $B_u$ 를 세 가지 집합으로 분할한다:

고신뢰도 ( $B_u^+$ ): $q_i \ge \tau^+$ . Positive Expert로 라우팅된다.
중간 신뢰도 ( $B_u^a$ ): $\tau^- \le q_i < \tau^+$ . Alignment Expert로 라우팅된다.
저신뢰도 ( $B_u^-$ ): $q_i < \tau^-$ . Negative Expert로 라우팅된다.

2.3 전문가별 학습 목적 함수

각 전문가는 할당된 샘플의 신뢰도에 맞춤화된 별도의 손실 함수를 통해 최적화된다:

Positive Loss ( $L_{pos}$ ): 고신뢰도 샘플에 대해 하드 의사 레이블 감독(Cross-Entropy)을 사용하여 판별적 적응을 강화한다.
Alignment Loss ( $L_{align}$ ): 중간 신뢰도 샘플에 대해 소프트 정렬(Kullback-Leibler divergence)을 사용한다. 이는 Alignment Expert의 강한 뷰(strong-view) 예측을 분리된 약한 뷰 확률( $sg(p_i^w)$ )에 일치시킨다. 이를 통해 모호한 샘플에 대해 강제적인 결정을 내리지 않으면서도 경계 정보를 보존한다.
Negative Loss ( $L_{neg}$ ): 신뢰할 수 없는 레이블에 과도하게 몰입하는 것을 억제하도록 설계되었다. 저신뢰도 의사 레이블을 타겟으로 취급하는 대신, 이 손실은 Negative Expert가 현재의 상위 의사 레이블에 높은 확률을 할당하는 것에 대해 패널티를 부여한다. 이는 모든 저신뢰도 샘플이 엄격하게 틀렸다고 가정하지 않으면서도 노이즈 신호가 업데이트를 지배하는 것을 방지한다.

전체 목적 함수는 가중 합계이다: $L = L_{sup} + \lambda_{pos}L_{pos} + \lambda_{align}L_{align} + \lambda_{neg}L_{neg}$ .

2.4 추론 (Inference)

추론 시에는 ground-truth 레이블과 신뢰할 수 있는 의사 레이블로 학습된 Positive Expert만을 사용한다. 나머지 전문가들은 학습 과정을 정규화하는 역할을 수행한다.

3. 이론적 분석

본 논문은 접근 방식에 대한 이론적 정당성을 제공한다:

그래디언트 간섭 (Gradient Interference): 단일 어댑터는 혼합된 그래디언트 $G_{single} = G^+ + G^a + G^-$ 를 기반으로 업데이트된다. 이상적인 신뢰 업데이트( $G^+$ )로부터의 편차는 모호한 그래디언트와 노이즈 그래디언트의 크기에 비례한다.
오염 감소 (Contamination Reduction): 라우팅을 통해 TriNoL은 Positive Expert가 $G^a$ 및 $G^-$ 로부터의 오염이 현저히 적은 그래디 even $G^+$ 를 받도록 보장하며, 이는 신뢰할 수 있는 타겟으로부터의 편차를 줄여준다.
서브스페이스 안정성 (Subspace Stability): 저차원 근사 맥락에서, 깨끗한 신호( $S$ )를 노이즈( $E$ ) 및 모호성( $A$ )으로부터 분리함으로써, Positive Expert는 오염된 행렬로 학습된 단일 어댑터보다 실제 최적 방향에 더 가까운 깨끗한 타겟 행렬을 근사할 수 있게 한다.
최적화 안정성 (Optimization Stability): Positive Expert의 그래디언트 편향을 줄임으로써 로컬 최적화에서의 정상 상태 편향 반경(steady-state bias radius)을 줄이고 수렴 안정성을 향상시킨다.

4. 실험 결과

TriNoL은 다양한 준지도 학습 설정(레이블 비율 및 노이즈 수준 변화) 하에서 CIFAR-100, FOOD-101, Semi-Aves, ImageNet에 대해 평가되었다.

성능: TriNoL은 저레이블 및 노이즈 환경에서 최첨단(SOTA) 결과를 달ates한다. 주목할 만한 개선 사항은 다음과 같다:
- FOOD-101 (N2): 88.42% (V-PET는 87.58%, FineSSL은 87.27%).
- Semi-Aves (Mixed OOD): 61.82% (FineSSL은 61.30%).
- CIFAR-100 (N4): 80.92% (FineSSL은 80.66%).
효율성: TriNoL은 세 개의 rank-8 LoRA 전문가(총 ~0.96M 매개변수)를 사용하며, 이는 단일 rank-24 LoRA 어댑터와 유사하다. 유사한 매개변수 수와 계산 비용에도 불구하고, TriNoL은 rank-매칭된 단일 어댑터(FOOD-101 N2에서 88.42% vs 87.73%)보다 우수한 성능을 보여, 이 이득이 증가된 용량이 아닌 **전문가 특화(expert specialization)**에서 기인함을 입증한다.
절제 연구 (Ablation Studies):
- 세 전문가 중 하나라도 제거하면 성능이 저하되어, 이들의 상호 보완적인 역할을 확인하였다.
- 신뢰도 기반 라우팅을 무작위 라우팅이나 공유 손실 함수로 대체하면 성능이 떨어졌으며, 이는 라우팅과 특화된 목적 함수의 필요성을 검증한다.
- 민감도 분석 결과, 임계값 $(\tau^-, \tau^+) = (0.3, 0.7)$ 과 특정 손실 가중치에서 최적의 성능을 보였다.

5. 의의 및 주장

본 논문은 TriNoL이 준지도 학습 기반 VFM 적응이 의사 레이블 노이즈를 다루는 방식에 있어 중요한 변화를 제공한다고 주장한다. 주요 기여는 다음과 같다:

한계점 식별: 혼합된 신뢰도의 의사 레이블 그래디언트를 단일 저차원 공간으로 압축하는 것이 현재 PEFT 기반 SSL의 근본적인 약점임을 강조한다.
신뢰도 인식 라우팅: 의사 레이블의 신뢰도가 단순히 손실 가중치가 아니라 **적응 경로(adaptation pathway)**를 제어해야 한다고 제안한다. 신뢰할 수 있는, 모호한, 그리고 신뢰할 수 없는 샘플을 전문화된 전문가에게 할당함으로써 그래디언트 간섭을 줄인다.
저비용의 견고성: TriNoL은 동결된 백본 적응의 효율성을 유지하면서 노이즈가 있는 감독에 대한 견고성을 개선하여, 레이블이 제한된 자원 제약적 시나리오에 적합하게 만든다.

저자들은 이 방법이 신뢰도 기반 라우팅(미교정 또는 도메인 변화의 영향을 받을 수 있음)에 의존하며, 현재 이미지 분류에 집중되어 있다는 점을 언급하며 한계를 인정하였다. 향후 연구는 밀집 예측(dense prediction) 및 멀티모달 작업으로 확장될 수 있음을 시사하였다.