Learning from Reliable Latent Prompts for Visual Recognition with Missing Modalities

기술 요약: 결손된 양상(Modality)을 가진 시각 인식을 위한 신뢰할 수 있는 잠재 프롬프트 학습

문제 정의
대규모 멀티모달 모델(LMM)은 다양한 대규모 쌍체 양상(paired modalities) 간의 정보를 시너지화함으로써 탁월한 성능을 달 achieves 했습니다. 그러나 실제 배포 환경에서는 개인정보 보호 제약, 센서 고장 또는 데이터 수집 제한으로 인해 입력이 불완전한 경우가 빈번합니다. 양상이 완전한 데이터에 최적화된 기존 모델들은 양상이 결손되었을 때 성능이 급격히 저하되는 문제를 겪습니다. 최근의 프롬프트 학습 방식들은 인스턴스 수준의 특징(instance-level features)에 조건화된 동적 프롬프트를 생성하여 이를 완화하려고 시도하지만, 이러한 전략은 높은 결손율 하에서 근본적인 결함을 가집니다. 불완전한 양상의 비율이 높아질수록, 프롬프트의 조건이 되는 인스턴스 수준의 특징은 신뢰할 수 없게 되고, 편향되며, 불안정해집니다. 이는 동적 프롬프트가 단일 양상 관찰값으로 붕괴되게 하여, 교차 양상 정렬(cross-modal alignment)을 방해하고 일관된 클래스 수준 구조를 유지하는 데 실패하게 만듭니다.

방법론: 신뢰할 수 있는 잠재 프롬프트 학습 (LLP)
입력 조건부 전략의 불신을 해결하기 위해, 저자들은 프롬프트 학습을 오염된 입력으로부터 분리하는 신뢰할 수 있는 잠재 프롬프트 학습(Learning from Reliable Latent Prompts, LLP) 패러다임을 제안합니다. LLP는 인스턴스 수준의 특징에 의존하는 대신, 양상 고유의 사전 지식(modality-intrinsic priors)을 캡슐화하는 입력 불가지론적(input-agnostic)인 학습 가능 프롬프트를 모델링합니다.

Frozen CLIP 백본을 기반으로 구축된 이 프레임워크는 세 가지 핵심 메커니즘을 통해 작동합니다:

1. 양상 특화 잠재 앵커(Modality-Specific Latent Anchors): LLP는 입력에 무관한 학습 가능한 프롬프트 토큰($P_{I,S}$는 이미지, $P_{T,S}$는 텍스트)을 도입합니다. 이 앵커들은 정적 프롬프트로부터 변환 함수(FC + GELU + LN)를 통해 유도되며, 특정 입력 샘플이나 결손 여부와 독립적으로 양상 수준의 사전 지식을 인코딩하는 안정적인 기초 역할을 합니다.
2. 이중 앵커 유도 프롬프트(Dual Anchor-Induced Prompts, DAIP): 불완전한 입력에 의존하지 않고 견고한 교차 양상 상호작용을 가능하게 하기 위해, 이 프레임워크는 이중 경로 교차 주의(dual-path cross-attention) 메커니즘을 채택합니다. 텍스트 앵커가 이미지 앵커를 쿼리하고 그 반대도 마찬가지로 수행하여 상호 보완적인 정보를 교환합니다. 이 상호작용은 경량 MLP와 정규화를 통해 정제된 이중 앵커 유도 프롬프트($P_{I,D}$ 및 $P_{T,D}$)를 생성합니다. 이 과정은 모델이 안정적인 잠재 공간으로부터 누락된 의미 정보를 근사할 수 있도록 합니다.
3. 계층별 프롬프트 생성: 각 양상을 위한 최종 프롬프트는 잠재 앵커와 유도된 프롬프트를 결합하여 구성됩니다. 이는 인코더의 모든 레이어에 주입되어, 네트워크 깊이에 따라 점진적인 정제와 계층적 표현 학습을 가능하게 합니다.

학습 과정 중에는 백본은 동결된 상태를 유지하며, 프롬프트 파라미터와 태스크 특화 전결합층(fully connected layer)만을 최적화합니다.

주요 기여

• 새로운 패러다임: 본 논문은 불신할 수 있는 입력으로부터 프롬프트 학습을 분리하여, 결손된 관측 상황에서도 안정적인 양상 수준의 사전 지식을 포착하는 잠재 사전 지식 기반 프롬프트 프레임워크인 LLP를 제안합니다.
• 입력 불가지론적 설계: 양상 특화 잠재 앵커와 이중 경로 교차 주의 메커니즘의 도입은 입력 독립적인 프롬프트 학습과 안정적인 교차 양상 상호작용을 가능하게 하여, 극단적인 결손율(예: 90%)에서도 의미적 보상(semantic compensation)을 용이하게 합니다.
• 최첨단 성능: 이 접근 방식은 여러 벤치마크와 결손 양상 시나리오에서 우수한 성능을 입증하며, 입력 조건부 방식보다 신뢰할 수 있는 잠재 프롬프트 학습의 효용성을 검증했습니다.

실험 결과
저자들은 세 가지 벤치마크 데이터셋인 MM-IMDb(영화 장르 예측), UPMC Food-101(음식 분류), Hateful Memes(혐오 표현 탐지)에서 LLP를 평가했습니다. 실험은 다양한 결손율($\eta = 50\%, 70\%, 90\%$)과 결손 시나리오(텍스트 결손, 이미지 결손, 둘 다 결손) 하에서 수행되었습니다.

• 성능: LLP는 모든 데이터셋과 결손 설정에서 6개의 최첨단 베이스라인(CoOp, MMP, MaPLe, DePT, DCP, SyP 포함)을 지속적으로 능가했습니다.
• 높은 결손율: 성능 향상은 높은 결손율(예: $\eta = 90\%$)에서 가장 두드러졌습니다. 예를 들어, Hateful Memes 데이터셋에서 LLP는 텍스트 90% 결손 시 70.90%의 AUROC를 달성하여, 차순위 방법인 SyP(69.70%)를 크게 앞질렀습니다.
• 절제 연구(Ablation Studies): 실험을 통해 양상 특화 잠재 앵커만으로도 베이스라인 대비 상당한 이득을 제공하며, 이중 앵커 유도 프롬프트의 추가가 추가적인 유의미한 개선을 가져온다는 것을 확인했습니다.
• 일반화: "둘 다 결손(missing-both)" 시나리오에서 훈련된 모델은 특정 결손 시나리오(텍스트 전용 또는 이미지 전용)에 대해 강력한 일반화 능력을 보여주었으며, 이는 다양한 결손 패턴에 대한 유연한 적응력을 나타냅니다.
• 시각화: 특징 시각화 결과, LLP는 종종 파편화되고 양상 특화된 클러스터를 형성하는 입력 조건부 방식과 비교하여 더 조밀한 클래스 내 분포와 더 명확한 클래스 간 분리를 생성함을 보여주었습니다.

의의 및 주장
본 논문은 LLP가 LMM의 실용적 활용에 있어 핵심적인 병목 현상인 결손 양상 문제를 해결하는 단순하면서도 효과적인 솔루션을 제공한다고 주장합니다. 불신할 수 있는 인스턴스 수준의 입력 특징에서 안정적인 입력 불가지론적 잠재 사전 지식으로 초점을 전환함으로써, 이 방법은 견고한 교차 양상 지식 보상 메커니즘을 제공합니다. 저자들은 이 패러다임이 데이터 무결성을 보장할 수 없는 실제 응용 분야에서 특히 가치가 있다고 강조합니다. 또한, 이 접근 방식은 학습 가능한 파라미터의 작은 집합만을 최적화함으로써 높은 파라미터 효율성을 유지하여 배포에 실용적입니다. 본 연구는 최대 90%의 양상이 결손된 상황에서도 신뢰할 수 있는 의미적 추론이 가능하다는 것을 입증함으로써, 견고한 멀티모달 학습을 위한 유망한 방향을 제시합니다.