💬 NLP

CMAP: Cross-Modal Adaptive Prompting for Multi-Domain Task-Incremental Learning

CMAP 은 CLIP 의 활용되지 않은 텍스트 임베딩 공간을 활용하여 견고한 작업 라우팅, 신뢰도 추정 및 인코더 적응을 가능하게 하는 다중 도메인 작업 점진적 학습을 위한 매개변수 효율적 프레임워크를 도입하여, 외부 데이터나 작업 식별 정보 없이도 MTIL 벤치마크에서 최첨단 성능을 달성합니다.

원저자: Sriram Mandalika

게시일 2026-05-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sriram Mandalika

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 수백만 권의 책을 읽고 수백만 점의 그림을 본 초지능 예술 비평가, 즉 AI 모델을 고용했다고 가정해 봅시다. 이 비평가는 텍스트만으로 '고양이'나 '자동차'를 완벽하게 설명하는 법을 알고 있습니다. 하지만 여러분은 이 비평가에게 새로운 특정 사물들 (예: 특정 견종의 개나 희귀한 꽃) 을 하나씩 가르치고 싶지만, 과거의 예시들을 다시 보여주지 않고는 가르치고 싶지 않습니다.

이 시나리오에서 가장 큰 문제는 망각입니다. 여러분이 이 비평가에게 '골든 리트리버'에 대해 가르치면, '샴 고양이'를 인식하는 법을 잊어버릴 수 있습니다. 너무 공격적으로 가르치면, 아직 배운 적이 없는 새로운 종류의 새를 보았을 때 혼란을 겪을 수도 있습니다.

현재의 방법들은 이미지만을 살펴봄으로써 이 문제를 해결하려 합니다. "이 새로운 사진이 내가 이전에 본 사진들과 비슷해 보이나?"라고 묻는 식입니다. 이 논문은 이를 마치 사람의 얼굴과 목소리는 무시하고 신발만 보고 군중 속에서 사람을 식별하려는 시도에 비유합니다. 이는 비효율적이며 오류가 발생하기 쉬운데, 특히 학습할 사진이 많지 않을 때 더욱 그렇습니다.

저자들은 CMAP(Cross-Modal Adaptive Prompting, 교차 모달 적응형 프롬프팅) 라는 새로운 시스템을 제안합니다. 간단한 비유를 통해 그 작동 원리를 설명해 보겠습니다.

1. "텍스트 기반 신분증" (텍스트 공간 작업 라우팅)

기존 방식: 새로운 사진이 들어오면, 기존 시스템은 이전에 본 흐릿한 사진 구름과 사진을 매칭하려 합니다. 사진이 약간 다르다면 (예: 다른 자세의 개), 시스템이 이 사진이 어떤 '작업' (범주) 에 속하는지 혼란을 겪습니다.
CMAP 방식: CMAP은 사진의 외모를 바탕으로 추측하는 대신, 범주에 대한 텍스트 설명을 살펴봅니다. "이 사진이 '골든 리트리버'나 '샴 고양이'라는 개념과 일치하는가?"라고 묻는 것입니다.

비유: 책 도서관이 있다고 상상해 보세요. 기존 방식은 사람의 셔츠 색깔 (시각) 로 그가 찾는 책이 무엇인지 추측하는 반면, CMAP 은 "찾고 있는 것과 제목이 비슷한 책은 무엇인가요?"라고 묻습니다 (텍스트). 책 제목 (텍스트 프로토타입) 은 절대 변하지 않기 때문에, 이 방법은 학습할 사진이 한두 장뿐일지라도 매우 안정적입니다. 설정에 추가 비용이 전혀 들지 않습니다.

2. "이중 확인 시스템" (다중 프로토타입 신뢰도)

기존 방식: 시스템은 모든 사물이 완벽하게 동일한 모양 (예: 완벽한 원) 을 띤다고 가정합니다. 사진이 약간 기이하거나 흐릿하면 시스템은 불확실해져서 잘못 추측할 수 있습니다.
CMAP 방식: CMAP 은 '개'가 달리는 모습, 자는 모습, 옆모습 등 다양한 모습으로 보일 수 있음을 인식합니다. 각 범주에 대해 **여러 개의 '정신적 스냅샷' (프로토타입)**을 생성합니다.

비유: "개란 무엇인가?"에 대한 단일 규칙을 갖는 대신, 시스템은 달리는 개, 자는 개, 앉은 개 등 세 가지 다른 스케치가 들어 있는 폴더를 보관합니다. 새로운 사진이 들어오면 세 가지 스케치 모두를 대조하여 확인합니다.
반전: 단순히 스케치를 확인하는 것뿐만 아니라 텍스트 설명도 확인합니다. "이 사진이 스케치처럼 보일 뿐만 아니라 '개'라는 단어와도 일치하는가?"라고 묻는 것입니다. 둘 다 일치하면 시스템은 매우 확신을 갖습니다. 만약 둘이 불일치하면 신중해야 함을 인지합니다.

3. "동기화된 문지기" (대칭적 교차 모달 게이트)

기존 방식: 시스템에는 이미지용 문과 텍스트용 문 두 개가 있습니다. 과거에는 이미지용 문이 닫혔을 때 (사진이 기이하거나 알려지지 않았기 때문에), 텍스트용 문은 여전히 활짝 열려 있었습니다. 이는 청자가 이해하지 못하는 언어로 번역가가 말하는 것과 같은 불일치를 초래했습니다.
CMAP 방식: CMAP 은 연결된 메커니즘을 설치합니다. 사진이 혼란스러워 이미지용 문이 닫히면, 텍스트용 문도 정확히 같은 시간에 닫힙니다.

비유: 박물관의 경비원을 상상해 보세요. 경비원이 의심스러운 그림 (이미지) 을 발견하면, 방문자가 혼란스러운 신호를 받지 않도록 즉시 오디오 가이드 (텍스트) 를 잠급니다. 이는 시스템이 이전에 본 적 없는 것을 마주했을 때도 '그림'과 '말'이 완벽한 조화를 유지하도록 보장합니다.

결과

저자들은 11 개의 서로 다른 데이터셋(자동차에서 꽃, 손으로 쓴 숫자에 이르기까지) 과 1,200 개 이상의 다양한 범주를 포함하는 방대한 도전 과제에서 이를 테스트했습니다.

성능: CMAP 은 이전 최우수 방법들보다 압도적인 차이로 이겼습니다 (정확도를 약 3~5 퍼센트 포인트 향상).
효율성: 전체 거대 모델을 재학습시키는 대신, 약 250 만 개의 조정 가능한 파라미터 (약 2.5 백만 개) 만 추가하여 모든 작업을 수행했습니다. 이는 작은 앱 정도의 크기입니다.
데이터 부족: 범주당 16 장의 사진만 주어지는 매우 적은 예시에서 학습할 때 특히 잘 작동했습니다. 이는 단순히 더 많은 사진을 바라보는 것보다 '텍스트 신분증'을 활용하는 것이 더 지능적인 학습 방법임을 증명합니다.

요약하자면: CMAP 은 AI 가 그림을 보는 것만큼 자신의 내부 '텍스트 목소리'를 듣도록 새로운 작업을 학습시킵니다. 이는 AI 가 과거의 교훈을 잊지 않도록 하고, 기이한 새로운 입력을 처리하도록 돕으며, 거대한 컴퓨터나 과거 사진의 거대한 도서관 없이도这一切을 가능하게 합니다.

기술 요약: CMAP – 다중 도메인 작업 점진적 학습을 위한 교차 모달 적응형 프롬프팅

1. 문제 정의

본 논문은 과거 데이터에 접근할 수 없으며 추론 시 작업 식별자를 알 수 없는 시각적으로 다양한 도메인에서 작업을 순차적으로 학습해야 하는 **다중 도메인 작업 점진적 학습 (MTIL)**을 다룹니다. 이 시나리오는 두 가지 주요 과제를 제시합니다:

파괴적 망각 (Catastrophic Forgetting): 새로운 작업에 적응할 때 모델이 이전에 획득한 지식을 덮어쓰는 경향.
전방 망각 (Forward Forgetting): 기존 작업에 너무 공격적으로 적응할 때 미시작 (unseen) 작업에 대한 일반화 능력이 저하되는 현상.

CLIP 과 같은 고정된 비전 - 언어 모델 (VLM) 을 기반으로 한 매개변수 효율적 미세 조정 (PEFT) 방법이 유망한 결과를 보여주고 있지만, 기존 접근법들은 근본적인 한계를 겪고 있습니다: 작업 라우팅, 신뢰도 추정, 인코더 적응을 위해 시각적 특징에만 전적으로 의존한다는 점입니다. 이는 CLIP 고유의 풍부하고 의미적으로 안정적인 교차 모달 텍스트 임베딩 공간을 무시하며, 교차 모달 모델을 시각 전용 모델인 것처럼 취급합니다.

2. 방법론: CMAP

저자들은 추론 및 적응 과정의 모든 단계에 교차 모달 인식을 통합하는 CMAP(교차 모달 적응형 프롬프팅) 프레임워크를 제안합니다. 이 방법은 레이어별 하드 검불 (Hard Gumbel) 게이트와 시각적 가우스 신뢰도를 사용하는 IAP 베이스라인을 기반으로 하여, 세 가지 구체적인 교차 모달 메커니즘을 도입합니다:

2.1 텍스트 공간 작업 라우팅

기존 방법은 작업별 시각적 가우스 하에서 시각적 특징의 로그 확률을 계산하여 작업을 라우팅합니다. CMAP 은 이를 고정된 CLIP 텍스트 프로토타입과의 코사인 유사도로 대체합니다.

메커니즘: 각 작업 $t$ 에 대해, 해당 작업의 레이블 세트에 있는 모든 클래스 이름의 고정된 텍스트 임베딩을 평균화하여 텍스트 프로토타입 $\tau_t$ 를 계산합니다.
추론: 추론 시 입력 이미지의 시각적 특징을 모든 $\tau_t$ 와 코사인 유사도로 비교하여 가장 가능성 높은 작업을 선택합니다.
장점: 추가 학습 가능한 매개변수가 필요 없으며, 작업 도착 순서에 불변하고, 학습된 시각적 통계 대신 사전 학습된 의미 지식에 의존하므로 훈련 데이터가 부족할 때도 견고합니다.

2.2 다중 프로토타입 시각 - 텍스트 신뢰도 (MPVTC)

이전 연구는 단일 시각적 가우스와 고정된 전역 임계값을 사용하여 클래스 신뢰도를 모델링했습니다. CMAP 은 더 견고한 신뢰도 추정 전략을 도입합니다:

다중 프로토타입 시각: 단일 중심점 대신, 각 클래스는 K-평균을 통해 $K$ 개의 시각적 클러스터 중심점으로 표현되어 다중 모달 시각 분포 (예: 다른 객체 각도) 를 처리합니다.
교차 모달 정렬: 클래스에 대한 신뢰도 점수는 시각적 프로토타입과의 최대 유사도와 해당 클래스의 텍스트 임베딩과의 유사도를 결합합니다.
작업 적응형 임계값: 고정된 전역 임계값 대신, CMAP 은 각 특정 작업에 대한 훈련 분포의 80 백분위수와 20 백분위수를 기반으로 상한 및 하한 신뢰도 임계값을 자동으로 보정합니다.
출력: 이 결합 신뢰도 점수에서 동적 프롬프팅 가중치가 도출되어, 프롬프팅을 적용 (높은 신뢰도), 억제 (낮은 신뢰도), 또는 비례 적용할지 여부를 결정합니다.

2.3 대칭적 교차 모달 게이팅

베이스라인에서는 이미지 인코더만 게이트됩니다. 이미지 게이트가 닫히면 (예: 분포 외 입력에서), 텍스트 인코더는 여전히 작업별 프롬프팅을 받아 CLIP 이 유지하도록 훈련된 교차 모달 정렬이 깨집니다.

메커니즘: CMAP 은 하드 검불 게이팅 메커니즘을 텍스트 인코더에도 대칭적으로 확장합니다.
조건부: 텍스트 인코더의 게이팅 결정은 배치의 평균 이미지 특징에 조건부로 이루어집니다.
결과: 이미지 및 텍스트 인코더 모두 프롬프팅 주입 메커니즘을 동시에 열거나 닫습니다. 이는 분포 외 입력을 접할 때도 교차 모달 일관성이 유지되도록 보장합니다.

3. 주요 기여

본 논문은 기존 MTIL 문헌의 세 가지 특정 간극을 식별하고 다음과 같이 해결합니다:

텍스트 공간 작업 라우팅: 시각적 가우스 라우팅을 고정된 텍스트 프로토타입과의 코사인 유사도로 대체하여, 추가 학습 가능한 매개변수 없이 순서 독립적 라우팅을 달성합니다.
다중 프로토타입 시각 - 텍스트 신뢰도 (MPVTC): K-평균 시각적 프로토타입과 교차 모달 정렬 점수 및 작업 적응형 임계값을 결합하여 신뢰할 수 있는 인스턴스 수준의 신뢰도 추정을 제공합니다.
대칭적 교차 모달 게이팅: 이미지 특징에 조건부로 텍스트 인코더에 레이어별 게이팅을 확장하여 두 모달리티의 일관된 공동 적응 및 공동 억제를 보장합니다.

4. 실험 결과

이 방법은 11 개의 데이터셋과 1,201 개의 클래스를 포함하는 MTIL 벤치마크에서 두 가지 작업 순서 (Order-I 및 Order-II) 와 데이터가 부족한 16-shot 설정 하에 평가되었습니다.

성능 (Order-I): CMAP 은 73.6% Transfer, 81.4% Average, 88.9% Last를 달성했습니다. 이는 이전 최첨단 (IAP) 보다 각각 4.4, 4.6, 3.2퍼센트 포인트 더 높은 수치입니다.
데이터 효율성: 16-shot 설정에서 Transfer 지표 격차는 시각적 가우스 베이스라인 대비 **6.2%**로 확대되어, 제한된 샘플로 인해 시각적 통계가 저하될 때 텍스트 프로토타입이 매끄럽게 확장됨을 보여줍니다.
매개변수 효율성: 이 방법은 텍스트 게이팅을 위해 0.09M의 추가 매개변수만 도입하여 총 학습 가능 매개변수를 2.5M으로 만듭니다. 이는 전체 미세 조정 (211M) 이나 MoE-Adapter(59.8M) 보다 현저히 낮으면서도 그들을 능가합니다.
어블레이션 연구:
- 텍스트 공간 라우팅을 제거하면 Transfer 성능이 가장 크게 하락했습니다.
- 대칭적 게이팅을 제거하면 Average 및 Last 지표가 가장 크게 하락하여 지식 유지에서의 역할을 강조했습니다.
- 시각 및 텍스트 신뢰도 신호를 결합하면 단일 모달리티만 사용할 때보다 더 나은 결과를 얻어, 이들이 상호 보완적인 정보를 포착함을 확인했습니다.

5. 중요성 및 주장

본 논문은 현재 MTIL 방법들의 잠재력을 제대로 활용하지 못한 주된 원인이 사전 학습된 VLM 의 교차 모달 텍스트 임베딩 공간을 활용하지 못했기 때문이라고 주장합니다. CLIP 을 시각 전용 모델로 취급함으로써 기존 방법들은 텍스트 인코더에 내재된 의미적 안정성과 제로샷 일반화 능력을 놓치고 있습니다.

CMAP 의 중요성은 단순히 모델 용량을 확장하거나 복잡한 메모리 버퍼에 의존하는 것보다 사전 학습된 교차 모달 정렬을 활용하는 것이 더 매개변수 효율적인 적응 전략임을 입증하는 데 있습니다. 저자들은 그들의 접근 방식이 외부 데이터 없이 최소한의 학습 가능 매개변수로 모든 지표에서 최첨단 성능을 달성한다고 주장하며, 데이터가 부족하고 도메인이 다양한 설정에서 견고한 점진적 학습을 위해 교차 모달 신호가 필수적임을 증명합니다.