🤖 AI

Generalizable Vision-Language Few-Shot Adaptation with Predictive Prompts and Negative Learning

본 논문은 쿼리별 클래스 혼란과 분포 변화를 효과적으로 해결하기 위해 쿼리별 부정적 라우팅, LLM 생성 대비 프롬프트, 적응형 융합 가중치를 활용하여 성능을 향상시키는 파라미터 없는 비전-언어 퓨샷 적응 프레임워크인 SCAN 을 소개합니다.

원저자: Sriram Mandalika

게시일 2026-05-26

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sriram Mandalika

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매우 똑똑하지만 약간 경직된 로봇에게 다양한 종류의 새를 인식하는 법을 가르치려 한다고 상상해 보세요. 각 새에 대해 보여줄 수 있는 사진은 몇 장뿐입니다 (이를 '소량 학습 (few-shot learning)'이라고 합니다). 로봇은 인터넷 전체를 읽었기 때문에 세계에 대해 이미 많은 것을 알고 있지만, 붉은꼬리매와 붉은어깨매처럼 두 새가 매우 비슷해 보일 때 여전히 혼란을 겪습니다.

이 논문은 이러한 혼란을 해결하기 위해 SCAN(Selective Confusion-Aware Negatives, 선택적 혼란 인지 부정)이라는 새로운 방법을 소개합니다. 작동 원리는 세 가지 간단한 아이디어로 나뉩니다:

1. "똑똑한 경비원" (쿼리 적응형 라우팅)

기존 방식: 박물관 경비원이 방문객이 들어올 때마다 박물관에 있는 모든 물건에게 "너는 그림이 아니야, 너는 동상이 아니야, 너는 꽃병이 아니야..."라고 외치는 상황을 상상해 보세요. 방문객이 실제로 무엇을 보고 있는지 파악하는 데 도움이 되지 않는 시끄럽고 messy 한 소음입니다. 로봇도 똑같이 합니다: 로봇은 그 이미지가 혼동될 수 없는 것들조차 포함해 모든 이미지가 무엇이 아닌지를 말하려 합니다.

SCAN 방식: SCAN 은 먼저 방문객을 살펴보는 똑똑한 경비원처럼 행동합니다. 방문자가 매처럼 보이면, 경비원은 "너는 확실히 붉은어깨매가 아니야"라고 속삭입니다. 왜냐하면 그것이 혼동될 수 있는 유일한 것이기 때문입니다. 경비원은 다른 새들 (펭귄이나 불새 등) 은 무시합니다. 방문객이 명백히 그들과 다르기 때문입니다.

도움이 되는 이유: 이미지가 혼동될 가능성이 있는 특정 것들에만 집중함으로써 로봇은 관련 없는 소음에 방해받지 않고 훨씬 더 날카로운 결정을 내립니다. 이는 추가 메모리나 학습 없이도 가능합니다.

2. "전문 미술 비평가" (LLM 부트스트랩 프롬프트)

기존 방식: 로봇에게 새를 설명할 때, 기존 방법들은 단순히 "이것은 붉은꼬리매 사진입니다"라고 말할 뿐입니다. 로봇이 비슷한 새를 보면 "글쎄, 그것도 새 사진이니까 아마 같은 것일지도 몰라"라고 생각할 수 있습니다. 너무 모호합니다.

SCAN 방식: SCAN 은 훨씬 더 나은 설명을 작성하도록 AI 미술 비평가(대규모 언어 모델)를 고용합니다. 비평가는 새의 이름만 부르는 대신 이렇게 말합니다: "이것은 붉은꼬리매입니다. 붉은꼬리매는 붉은어깨매와 구별할 수 있는데, 붉은꼬리매는 녹슨 꼬리와 흰 배를 가지고 있는 반면, 다른 하나는 가로무늬 꼬리를 가지고 있기 때문입니다."

도움이 되는 이유: 이는 유사한 항목들을 구별할 수 있는 구체적인 "단서"를 로봇에게 제공합니다. "저것은 먹지 마라"라고 말하는 것과 "저 버섯은 먹지 마라. 먹을 수 있는 것처럼 보이지만 붉은 반점이 있다"라고 말하는 것의 차이와 같습니다.

3. "직관적인 저울" (적응형 퓨전)

기존 방식: 로봇은 두 가지 사고 방식을 가지고 있습니다: 사진 보기 (시각) 와 설명 읽기 (텍스트) 입니다. 보통 인간은 사진과 텍스트 중 어느 쪽을 얼마나 신뢰할지 수동으로 결정해야 합니다. 마치 각 쪽의 무게를 추측하여 저울을 맞추려는 것과 같습니다. 추측을 잘못하면 로봇이 혼란을 겪습니다.

SCAN 방식: SCAN 은 자동으로 균형을 찾는 마법의 저울을 가지고 있습니다. 사진이 매우 선명하고 뚜렷하면 저울은 사진을 더 신뢰하도록 기울어집니다. 사진이 흐릿하지만 이름이 매우 다르다면 저울은 텍스트를 더 신뢰하도록 기울어집니다. 이는 제공된 몇 가지 예를 보고 실시간으로 최상의 조합을 결정함으로써 인간이 추측하지 않고도 수행합니다.

결과: 얼마나 잘 작동했나요?

저자들은 이 "똑똑한 경비원" 시스템을 꽃 인식부터 자동차와 질감 발견에 이르기까지 11 가지 다른 과제에서 테스트했습니다.

점수: 평균적으로 SCAN 은 16 개의 예시를 제공받았을 때 이전 최선 방법보다 4.6% 더 정확했습니다.
큰 승리: 가장 어려운 과제 (매우 유사한 새나 자동차를 구별하는 등) 에서 가장 빛을 발했는데, 정확도가 최대 **7.7%**까지 향상되었습니다.
어려운 상황: 데이터가 혼란스러울 때 (예: 라벨의 50% 가 틀린 경우, 시험에서 교수가 잘못된 답을 표시한 것과 같음) 에도 SCAN 은 경쟁사보다 더 잘 수행했습니다. 또한 약간 다른 조명이나 스타일 (사진 대신 스케치된 고양이 등) 에서 본 적이 없는 것을 인식하는 데도 매우 뛰어났습니다.

요약

간단히 말해, SCAN 은 로봇에게 모든 것에 "아니오!"라고 외치는 것을 멈추고 중요한 것들에만 "아니오!"라고 속삭이도록 가르칩니다. 이는 사물이 왜 다른지 설명하는 똑똑한 비평가를 사용하며, 눈이나 뇌 중 무엇을 신뢰할지 자동으로 파악합니다. 이로 인해 로봇은 몇 가지 예시만으로 새로운 것을 배우는 데 훨씬 더 능숙해집니다.

기술 요약: SCAN – 소수 샷 비전-언어 모델을 위한 선택적 혼동 인식 부정 샘플

문제 제기

CLIP 과 같은 비전 - 언어 모델 (VLM) 의 소수 샷 적응은 추론 중 부정 클래스 신호가 어떻게 처리되는지에 의해 근본적으로 제한받습니다. 기존 방법들은 각 쿼리의 특정 혼동 패턴과 관계없이 모든 쿼리에 대해 모든 클래스에 걸쳐 균일한 부정 억제를 적용합니다. 이 접근법은 가장 해로운 혼동이 쿼리별이며 지원 집합의 기하학에 따라 변한다는 현실을 무시합니다. 결과적으로 부정 신호는 특정 이미지가 가장 혼동될 가능성이 높은 클래스에 집중되는 대신 관련 없는 클래스들에 희석되는 경우가 많습니다. furthermore, 현재 방법들은 범용 부정 텍스트 템플릿에 의존하며 시각 및 텍스트 모달리티 간의 균형을 조정하기 위해 수동 튜닝이 필요하여 세밀한 작업과 분포 변화에 대한 적응력을 제한합니다.

방법론: SCAN 프레임워크

저자들은 소수 샷 VLM 적응을 세 가지 표적 메커니즘을 통해 정제하도록 설계된 파라미터 없는 프레임워크인 **SCAN(선택적 혼동 인식 부정 샘플)**을 제안합니다.

1. 쿼리 적응형 부정 라우팅

모든 클래스에 고정된 부정 패널티를 적용하는 대신, SCAN 은 추론 시점에 동적으로 부정 억제를 라우팅합니다.

메커니즘: 각 쿼리 이미지에 대해 시스템은 양의 점수를 기반으로 가장 혼동하기 쉬운 상위 $K$ 개의 클래스를 식별합니다.
라우팅: 부정 억제는 이 혼동 집합 $N(q)$ 로만 제한됩니다. 혼동 가능한 클래스들의 양의 점수에 대한 소프트맥스를 사용하여 쿼리별 혼동 가중치 $\beta_c(q)$ 가 계산됩니다.
이점: 이는 추가적인 파라미터나 학습 오버헤드를 도입하지 않고도 가장 중요한 곳에 패널티를 집중시켜 쿼리별 결정 경계를 선명하게 합니다.

2. LLM 부트스트랩 쌍대 대비 프롬프트

SCAN 은 범용 부정 템플릿 (예: "{CLASS}가 아님") 을 대체하는 차별적인 텍스트 감독을 도입합니다.

생성: 각 클래스에 대해 시스템은 CLIP 임베딩 공간에서 시각적으로 가장 혼동하기 쉬운 상위 $k$ 개의 이웃을 식별합니다. 오프라인에서 LLM 에게 이러한 특정 이웃에 대비하여 대상 클래스를 특징짓는 설명을 생성하도록 프롬프트합니다 (예: " $c'$ 와 [시각적 속성] 으로 구별 가능한 $c$ 의 사진").
통합: 이러한 쌍대 대비 설명은 부정 텍스트 가중치 ( $w^-_c$ ) 로서 작용하여 클래스 이름의 단순한 부정을 넘어선 근거 있는 차별적 언어를 제공합니다.

3. 파라미터 없는 적응형 모달리티 융합

이 프레임워크는 시각 및 텍스트 브랜치 간의 균형에 관한 수동 하이퍼파라미터 튜닝의 필요성을 제거합니다.

추정: 융합 가중치 $\lambda$ 는 지원 집합의 기하학에서 직접 추정됩니다.
논리: 시각 피셔 판별력 ( $\sigma_v$ , 클래스 간 분산과 클래스 내 분산의 비율) 과 텍스트 판별력 ( $\sigma_t$ , 텍스트 가중치의 쌍대 코사인 유사도에서 유도됨) 을 계산합니다.
적응: 가중치는 $\lambda = \text{clip}(\frac{\sigma_v}{\sigma_v + \sigma_t})$ 로 계산됩니다. 이는 특징이 판별력이 있을 때 시각 브랜치를, 클래스 이름이 의미적으로 가까울 때 텍스트 브랜치를 자연스럽게 선호합니다.

주요 기여

이 논문은 세 가지 주요 기여를 요약합니다:

쿼리 조건부 부정 라우팅: 균일한 패널티를 적용하는 대신, 각 테스트 이미지가 가장 혼동할 가능성이 높은 클래스에 부정 억제를 집중시키는 메커니즘.
LLM 부트스트랩 쌍대 대비 프롬프트: 범용 부정 템플릿을 대체하여 가장 가까운 의미적 이웃에 대비하여 클래스를 특징짓는 오프라인 생성된 쌍대 대비 설명의 도입.
적응형 모달리티 융합: 수동 튜닝 요구 사항을 제거하고 지원 집합 기하학만으로 최적의 시각 - 텍스트 가중치를 추론하는 파라미터 없는 방법.

실험 결과

SCAN 은 11 개의 표준 벤치마크(ImageNet, Caltech101, Flowers102 포함 및 Stanford Cars 와 FGVC Aircraft 와 같은 세밀한 데이터셋) 와 ImageNet 의 4 가지 분포 외 (OOD) 변형에 대해 평가되었습니다.

소수 샷 성능: SCAN 은 일관되게 이전 프롬프트 기반 (CoOp, CoCoOp) 및 어댑터 기반 (CLIP-Adapter, Tip-Adapter-F, TaskRes) 방법들을 능가합니다.
- 16 샷에서 SCAN 은 가장 강력한 베이스라인 (SimNL) 대비 평균 **4.61%**의 개선을 달성합니다.
- 클래스 간 혼동이 심각한 세밀한 데이터셋에서 개선 폭이 가장 두드러집니다: DTD 와 FGVC Aircraft 에서 7.70%, Stanford Cars 에서 **5.90%**의 개선.
분포 변화 강건성: SCAN 은 ImageNet-V2, ImageNet-Sketch, ImageNet-A, ImageNet-R 에 걸쳐 강력한 일반화를 보여주며, SimNL 대비 평균 **2.95%**의 개선을 보입니다. 가장 큰 개선 (+3.20%) 은 ImageNet-Sketch 에서 관찰됩니다.
레이블 노이즈 복원력: 상당한 레이블 손상 (16 샷 ImageNet 에서 최대 50% 노이즈) 하에서도 SCAN 은 견고한 성능을 유지합니다. 주목할 점은 50% 노이즈 하에서의 정확도 (67.68%) 가 가장 강력한 경쟁 방법 (SimNL 의 66.52%) 의 깨끗한 베이스라인 성능을 초과한다는 것입니다.

중요성과 주장

이 논문은 모든 부정 신호를 동일하게 취급하는 SCAN 의 근본적인 한계를 해결한다고 주장합니다. 쿼리별 부정 라우팅으로 패러다임을 전환함으로써, 이 방법은 추론 시 파라미터를 증가시키지 않고도 높은 혼동 시나리오에서 결정 경계를 효과적으로 선명하게 합니다.

저자들은 부정 브랜치와 텍스트 감독에 대한 표적 개선이 다양한 도메인에서 상당하고 일관된 개선을 가져올 수 있다고 주장합니다. 분포 변화 하에서 일반화하고 심각한 레이블 노이즈 하에서 강건성을 유지하는 프레임워크의 능력은 쿼리 적응형 라우팅이 본질적으로 노이즈에 내성을 가진다는 것을 시사합니다. 이 작업은 SCAN 을 기존 어댑터 기반 소수 샷 파이프라인과 호환되는 플러그 - 앤 - 플레이 향상으로 위치시켜, 데이터가 부족하고 노이즈가 많은 현실 세계 환경에서 더 신뢰할 수 있는 소수 샷 비전 - 언어 모델을 향한 길을 제시합니다.