AOEPT: Breaking the Implicit Modality-Reduction Bottleneck in Modality-Missing Prompt Tuning

기술적 요약: AOEPT

문제 정의
실제 환경에 멀티모달 시스템을 배포할 때는 종종 하나 이상의 모달리티가 누락된 시나리오 (예: 센서 고장, 전송 오류) 를 처리해야 합니다. 최근 접근법들은 프롬프트 튜닝을 사용하여 멀티모달 트랜스포머 (MTs) 에 대해 이러한 과제를 해결하지만, 저자들은 암시적 모달리티 축소 (IMR) 병목 현상이라는 근본적인 한계를 식별했습니다. 기존 프롬프트 튜닝 방법들은 일반적으로 관측된 모달리티에만 프롬프트를 조건부로 설정하거나 (또는 무작위 초기화를 사용) 합니다. 결과적으로 이러한 방법들은 MT 의 추론 범위를 나머지 모달리티의 부분 공간으로 부주의하게 제한합니다. 이는 실제로 멀티모달 문제를 단일 모달 문제로 축소시켜, 사전 학습 중에 학습된 누락된 모달리티의 잠재 정보원에 대한 모델의 접근을 차단합니다.

방법론: AOEPT
IMR 병목 현상을 극복하기 위해 저자들은 AOEPT(Adaptive missing-adaptive modAl-cOntExtualized promPTing, 적응형 누락 - 적응형 모달 컨텍스트 프롬프팅) 를 제안합니다. 이는 열화된 입력에 수동적으로 적응하는 패러다임에서 누락된 정보를 능동적으로 보상하는 패러다임으로 전환하는 프레임워크입니다. 이 방법은 세 가지 주요 단계를 통해 작동합니다:

1. 모달 컨텍스트화 프롬프트 (MCP) 구성:
   무작위 초기화 대신 AOEPT 는 훈련 데이터에서 글로벌 모달별 사전 지식을 증류합니다. 모달리티가 사용 가능한 훈련 샘플을 고정된 MT 레이어를 통과시켜 레이어별 토큰 표현을 수집합니다. 이러한 표현은 K-평균 클러스터링을 통해 그룹화되어 의미적 프로토타입을 형성하며, 경량화된 모달별 정보 저장소 (예: 텍스트 컨텍스트화 프롬프트 또는 TCP) 를 생성합니다. 이러한 MCP 는 각 모달리티의 글로벌 컨텍스트 분포를 포함하는 잠재 저장소 역할을 합니다.

2. 인스턴스 인식 프롬프트 인스턴스화:
   불완전한 샘플 (예: 이미지 전용 샘플) 을 처리할 때 AOEPT 는 해당 MCP 를 적응형으로 검색합니다. 그런 다음 이러한 글로벌 프롬프트는 나머지 관측된 모달리티에 조건부로 인스턴스 인식 프롬프트로 인스턴스화됩니다. 이는 MLP 와 시그모이드 함수를 사용하는 게이팅 메커니즘을 통해 달성되며, 이는 현재 샘플과 가장 관련이 있는 MCP 내의 특정 정보를 선택적으로 활성화합니다. 인스턴스화된 프롬프트가 모달리티 공간과 일관성을 유지하도록 보장하기 위해 **모달 내 잠재 일관성 정규화 (LCR)**가 적용되어 프롬프트 표현을 사용 가능한 모달리티의 잠재 표현과 정렬합니다.

3. 누락 - 적응형 프롬프트 튜닝:
   인스턴스화된 프롬프트는 MT 인코더 레이어에 삽입됩니다. 초기 레이어의 경우 프롬프트는 각 레이어마다 새로 인스턴스화되며, 후속 레이어에서는 전파됩니다. MCP 와 분류 헤드만 튜닝되고 백본은 고정된 상태로 유지됩니다. 이 과정은 각 샘플에 대해 누락된 모달리티 정보를 명시적으로 보충하여, 관측된 모달리티 전용 부분 공간을 넘어 MT 의 추론 범위를 복원합니다.

주요 기여

• IMR 병목 현상의 식별: 본 논문은 기존 프롬프트 튜닝 패러다임을 재검토하여, 이들이 MT 추론을 모달리티 축소 부분 공간에 무의식적으로 가두어 사전 훈련된 멀티모달 역량을 활용하지 못하게 함을 입증합니다.
• AOEPT 프레임워크: 경량화된 모달 컨텍스트화 프롬프팅 방식을 통해 누락된 모달리티 정보 저장소에 대한 접근을 명시적으로 복원하는 개념적으로 새로운 솔루션입니다. 이는 무거운 재구성 네트워크나 외부 검색 모듈 없이도 MT 의 추론 범위를 나머지 모달리티를 넘어 확장합니다.
• 진단 지표 (NM2I): 저자들은 IMR 병목 현상의 심각성을 정량화하기 위해 **정규화된 누락 모달리티 상호 정보량 (NM2I)**을 도입했습니다. 이 지표는 프롬프트 토큰과 누락된 모달리티의 잠재 표현 간의 상호 정보를 측정하여, 방법이 누락된 정보에 얼마나 잘 접근하는지에 대한 경험적 증거를 제공합니다.
• 모달리티 정보 확장: 본 연구는 기존 방법에서 "모달리티 정보 확장 병목 현상"을 발견했는데, 이는 훈련 조건이 개선됨 (즉, 더 완전한 데이터가 사용 가능함) 에 따라 성능이 정체되는 현상입니다. 반면 AOEPT 는 더 포괄적인 글로벌 저장소를 형성하기 위해 추가 훈련 정보로부터 혜택을 받습니다.

실험 결과
실험은 다양한 백본 (CLIP, ViLT, MulT) 을 사용하여 세 가지 이중 모달 벤치마크 (MM-IMDb, HateMemes, Food101) 와 삼중 모달 벤치마크 (IEMOCAP) 에서 수행되었습니다.

• 성능: AOEPT 는 다양한 누락률 (70% 및 90%) 과 누락 시나리오 (텍스트 전용, 이미지 전용, 또는 둘 다 누락) 에서 강력한 베이스라인 (MAPs, DCP, MemPrompt, SyP, RAGPT 포함) 을 일관되게 능가했습니다.
• 효율성: AOEPT 는 다른 방법에서 발견되는 메모리 메커니즘이나 인스턴스별 검색과 관련된 높은 비용 없이, 최소한의 계산 오버헤드와 소수의 학습 가능 파라미터로 이러한 성과를 달성했습니다.
• 애블레이션: MCP, 인스턴스화, 또는 일관성 정규화를 제거하면 성능이 크게 저하되어 각 구성 요소의 필요성이 확인되었습니다.
• NM2I 분석: 베이스라인 방법은 거의 0 에 가까운 NM2I 를 보여 누락된 모달리티 정보에 접근하지 못함을 확인시켰습니다. AOEPT 는 훨씬 더 높은 NM2I 를 달성하여 IMR 병목 현상을 극복하는 능력을 입증했습니다.

의의 및 주장
본 논문은 AOEPT 가 MT 를 위한 모달리티 누락 학습을 열화된 입력 구조에 대한 수동적 적응에서 능동적 정보 접근 관점으로 재정의한다고 주장합니다. 글로벌 컨텍스트 지식을 경량 프롬프트로 증류하는 자기 검색 메커니즘을 내재화함으로써, AOEPT 는 백본 아키텍처를 변경하거나 무거운 재구성 모듈을 도입하지 않고도 MT 가 누락된 모달리티의 정보를 암시적으로 접근하고 활용하도록 합니다. 저자들은 이를 기존 접근법의 고유한 한계를 극복하면서 표준 경량 프롬프트 튜닝 패러다임을 유지하는 원칙적이고 효율적인 솔루션으로 위치시킵니다. 이 연구는 중국 국가 자연과학재단의 지원을 받았습니다.