기술 요약: 결측 모달리티가 존재하는 환경에서 신뢰할 수 있는 고정된 시각-언어 모델을 위한 보수적 프록시 프롬프팅 (Conservative Proxy Prompting)

1. 문제 정의

CLIP이나 SigLIP과 같은 고정된(frozen) 시각-언어 모델(VLM)은 대규모 사전 학습을 통해 정렬된 이미지-텍스트 표현을 학습함으로써 강력한 전이 능력을 입증해 왔다. 그러나 개인정보 보호 제한, 센서 오류 또는 전송 중단 등으로 인해 한 쪽 모달리티(이미지 또는 텍스트)를 사용할 수 없게 되는 실제 시나리오에서는 그 신뢰도가 크게 저하된다.

결측 모달리티에 대한 기존 접근 방식은 일반적으로 다음 두 가지 범주로 나뉜다:

1. 모달리티 완결(Modality Completion): 이러한 방법들은 누락된 입력이나 잠재 표현을 재구성하려고 시도한다(예: 확산 모델 또는 마스킹 학습을 통해). 이들은 보완적인 정보를 제공하지만, 재구성된 특징은 불확실한 신호나 의미론적 불일치를 포함할 수 있는 추정치이며, 이는 추론 과정에 오도할 수 있는 증거를 도입할 위험이 있다.
2. 결측 인지 적응(Missing-Aware Adaptation): 이러한 방법들은 모달리티 가용성을 아키텍처나 프롬프트 학습 전략에 통합한다. 그러나 기존의 대부분의 프롬프트 기반 접근 방식은 완전한 관측을 가정하거나, 직접 관찰된 증거와 추론된 프록시 표현 사이의 신뢰도를 명시적으로 구분하지 못한다.

본 연구가 다루는 핵심 과제는, 불확실한 추론 프록시 특징을 실제 관찰된 증거와 동일하게 취급하지 않음으로써, 멀티모달 융합 과정에서 신뢰할 수 없는 정보의 전파를 방지하며 고정된 VLM을 불완전한 관측에 어떻게 적응시킬 것인가 하는 점이다.

2. 방법론: 보수적 프록시 프롬프팅 (Conservative Proxy Prompting, CPP)

저자들은 불완전한 관측 조건 하에서 고정된 VLM을 적응시키기 위해 설계된 매개변수 효율적인 프레임워크인 **보수적 프록시 프롬프팅(CPP)**을 제안한다. CPP는 세 가지 순차적 단계를 통해 태스크 적응과 프록시 신뢰도를 분리한다.

2.1 경량 태스크 인지 접두사 (Lightweight Task-Aware Prefix, LTP)

LTP는 프롬프트 적응 전 텍스트 입력에 태스크 관련 의미론적 가이드를 도입한다. 이는 입력 설명을 경량 변환을 적용하여 처리하고 원래의 CLIP 토크나이저를 통해 프로세싱한다. 결정적으로, LTP는 추가적인 학습 가능 매개변수를 도입하거나 고정된 텍스트 인코더를 업데이트하지 않고 텍스트 입력 표현을 수정함으로써, 사전 학습된 지식을 보존하는 동시에 데이터셋 수준의 문맥을 제공한다.

2.2 이중 스트림 소프트 프롬프트 적응 (Dual-Stream Soft Prompt Adaptation, D-SPA)

D-SPA는 모달리티별 학습 가능한 소프트 프롬프트를 사용하여 고정된 CLIP 백본의 시각 및 텍스트 브랜치를 모두 적응시킨다:

• 텍스트 브랜치: 학습 가능한 프롬프트 토큰이 토큰 임베딩 시퀀스에 잔차 더하기(residual addition)를 통해 추가된다.
• 시각 브랜치: 학습 가능한 시각 프롬프트 토큰이 클래스 토큰 및 패치 임베딩과 함께 이미지 인코더 입력 시퀀스에 삽입된다.
  이 단계는 원래의 CLIP 인코딩 메커니즘을 유지하면서 다운스트림 태스크에 맞춰 고정된 표현 공간을 정렬하기 위해 소수의 매개변수만을 최적화한다.

2.3 경량 결측 인지 신뢰도 제어 (Lightweight Missing-Aware Reliability Control, LMRC)

이는 결측 모달리티를 처리하기 위한 핵심 혁신이다. 모달리티 $r$을 사용할 수 없을 때, LMRC는 방향성 아핀 투영(directional affine projector, 예: $W_{I \to T}z_i^I + b_{I \to T}$)을 사용하여 관찰된 모달리티로부터 특징 공간 프록시 $\hat{z}_i^r$를 구축한다.

명시적인 복구를 최적화하는 완결 기반 방식과 달리, LMRC는 생성된 프록시를 불확실한 보조 증거로 취급한다. 그 기여도를 조절하기 위해, 멀티모달 융합 전에 보수적 감쇄(conservative attenuation) 연산이 적용된다:
$$z_i^r = (1 - \delta_i^r)z_i^r + \alpha \delta_i^r \hat{z}_i^r$$
여기서:

• $\delta_i^r$은 모달리티 $r$이 누락되었는지 여부를 나타내는 지표이다.
• $\alpha$는 추론된 프록시의 기여도를 축소하는 고정된 보수적 계수이다(실험에서 0.1으로 설정됨).
• 관찰된 모달리티 특징은 변경 없이 보존된다.

또한, 결측 유형 임베딩($E_m[m_i]$)이 융합된 특징에 결합되어 예측 헤드에 모달리티 가용 상태를 명시적으로 알려줌으로써, 모델이 직접 관찰된 것과 프록시 보조 표현을 구분할 수 있게 한다.

2.4 최적화

프레임워크는 예측 헤드로 경량 2층 MLP를 사용한다. 최적화는 오직 표준 교차 엔트로피(단일 라벨) 또는 균형 잡힌 바이너리 교차 엔트로피(멀티 라벨) 목적 함수에만 의존한다. 보조 재구성 손실, 적대적 목적 함수 또는 프록시 감독은 사용되지 않는다. 오직 경량 매개변수(프롬프트, 투영기, 임베딩 및 헤드)만이 업데이트되며, CLIP 백본은 고정된 상태를 유지한다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 설명한다:

1. 프레임워크 제안: 다양한 불완전 관측 조건 하에서 고정된 VLM의 신뢰할 수 있는 적응을 가능하게 하는 매개변수 효율적인 프레임워크인 CPP를 도입하였다.
2. 신뢰도 인지 전략: 경량 특징 공간 프록시를 구축하고 융합 전 감쇄를 통해 이들의 기여를 보수적으로 제어하는 새로운 전략을 제시하였다. 이는 불확실한 추론 정보의 영향을 명시적으로 줄여 이를 관찰된 증거와 구분한다.
3. 경험적 검증: 최소한의 학습 가능 매개변수로 텍스트 결측, 이미지 결측, 혼합 결측 설정 모두에서 견고한 성능을 보여주는 광범위한 실험을 수행하였다.

4. 실험 결과

저자들은 세 가지 벤치마크인 MM-IMDb(멀티 라벨 영화 장르), Food-101(미세 조정 식품 인식), Hateful Memes(이진 분류)에서 CPP를 평가하였다.

• 성능: CPP는 강력한 베이스라인(MMP, MaPLe, DePT, DCP, SyP)과 비교하여 27개의 데이터셋-결측률-모달리티 조합 중 25개에서 최고의 결과를 달ach했다. 특히 높은 결측률(70% 및 90%)에서도 일관된 개선을 보였다.
• 매개변수 효율성: CPP는 약 1.6–2.7M개의 학습 가능한 매개변수만을 필요로 하며, 이는 가장 근접한 베이스라인인 SyP의 약 5.8M개보다 현저히 적지만, 대부분의 설정에서 더 높은 평균 성능을 달성했다.
• 절제 연구(Ablation Studies): 보수적 감쇄(CA)를 제거하면 성능 저하가 발생하여, 제어되지 않은 프록시 특징이 노이즈를 유발함을 확인하였다. 프롬프트 적응(PL) 또는 태스크 인지 접두사(LTP)를 제거하는 것 또한 성능 하락을 초래하여, 표현 적응과 의미론적 가이드 모두의 필요성을 입증하였다.
• 일반화: 완전한 쌍(pair)으로 학습하고 결측 모달리티 시나리오에서 테스트했을 때(학습 중 결측 상태 증강 없이), CPP는 안정적인 성능을 유지하며 미지의 결측 패턴에 대한 강력한 일반화 능력을 보여주었다.
• 시각화: UMAP 시각화는 CPP가 결측 조건에서도 구조화된 멀티모달 특징 분포를 학습함을 보여주었다. 교차 모달 검색 분석은 모델이 전이된 정보의 불확실성을 반영하면서도 유의미한 의미론적 정렬을 보존함을 나타냈다.

5. 의의 및 주장

본 논문은 CPP의 의의가 결측 모달리티 학습에서의 **신뢰도 격차(reliability gap)**를 해결하는 능력에 있다고 주장한다. 프록시 정보의 생성과 활용을 명시적으로 분리함으로써, CPP는 재구성된 추정치를 실제 값(ground truth)으로 취급하는 함정을 피한다.

저자들은 이 접근 방식이 복잡한 재구성 메커니즘이나 대규모 매개변수 업데이트에 의존하지 않는다는 점을 강조한다. 대신, 보수적 감쇄 메커니즘을 활용하여 불확실한 특징 전파의 위험을 완화하면서도 가용한 모달리티로부터 보완적인 정보를 안전하게 활용한다. 이 프레임워크는 데이터 완결성을 보장할 수 없는 실제 환경에서 고정된 VLM을 배포하기 위한 실용적인 솔루션을 제공하며, 높은 매개변수 효율성과 함께 견고함을 달성한다.

논문은 향-후 연구에서 적응형 신뢰도 추정(알파 값을 동적으로 조정)을 탐구하거나 프레임워크를 더 큰 파운데이션 모델로 확장할 수 있음을 언급하며 겸허히 마무리하면서도, 현재의 고정된 보수적 계수가 다양한 시나리오에서 견고하고 효과적인 근사치를 제공한다고 단언한다.