기술 요약: PERL (CLIP 잠재 공간의 파라미터 효율적 추론)

문제 정의

이미지와 텍스트를 공유 임베딩 공간에 정렬함으로써 제로샷 전이에서 탁월한 성능을 보이는 대조 학습 비전 - 언어 모델 (예: CLIP) 은 존재합니다. 그러나 이러한 모델을 특정 하위 작업에 적응시키면서도 오픈 - 어휘 일반화 능력을 저하시키지 않는 것은 여전히 과제입니다. 기존 파라미터 효율적 적응 방법 (예: 학습된 프롬프트, 어댑터, 또는 다중 모달 변환) 은 일반적으로 학습 가능한 파라미터를 추가하여 적응 용량을 증가시킵니다. 저자들은 적응 용량이 파라미터 수 증가가 아닌 잠재 표현에 대한 반복적 추론에서 비롯될 수 있는지 조사합니다. 구체적으로, 고정된 판별형 비전 - 언어 모델을 더 많은 작업별 파라미터를 저장하는 대신 반복 계산을 통해 사전 학습된 표현을 작업 관련 결정 영역으로 점진적으로 유도함으로써 적응시킬 수 있는지 질문합니다.

방법론

저자들은 고정된 CLIP 모델에 재귀적으로 적용되는 컴팩트한 공유 추론 모듈을 보강하는 경량 프레임워크인 PERL(CLIP 잠재 공간의 파라미터 효율적 추론) 을 제안합니다.

아키텍처 및 메커니즘

1. 인코더 분할: 각 모달리티 (비전 $v$ 및 텍스트 $t$) 에 대해 고정된 CLIP 인코더를 깊이 $J$에서 베이스 모듈($B_m$, 하위 블록) 과 정제 모듈($R_m$, 상위 블록) 로 분할합니다. 베이스 모듈은 입력을 처리하여 초기 풀링된 표현 ($h^{(0)}_m$) 을 생성합니다.
2. 재귀적 추론: 단일 순전파 대신 PERL 은 $K$ 단계의 정제 단계를 수행합니다. 각 단계 $k$에서:
   • 랭크-$r$ 병목 구조를 가진 2 층 MLP 로 구현된 경량 학습 가능 생각 프로젝터($\phi_m$) 가 현재 풀링된 표현 $h^{(k-1)}_m$ 을 추론 토큰$z^{(k)}_m$ 으로 매핑합니다.
   • 이 토큰은 이전에 생성된 토큰 시퀀스와 원래 베이스 시퀀스에 추가됩니다.
   • 정제 모듈($R_m$) 이 이 보강된 시퀀스를 처리하여 업데이트된 풀링된 표현 $h^{(k)}_m$ 을 생성합니다.
   • 핵심적으로, 동일한 프로젝터 $\phi_m$ 이 모든 $K$ 단계에서 재사용되므로, 적응 용량은 파라미터 수가 아닌 재귀적 적용 횟수에 따라 증가합니다.
3. 읽기 불변성: 최종 예측은 생성된 생각 토큰이 아닌 원래 CLS(이미지) 또는 EOS(텍스트) 토큰 위치에서 항상 읽혀집니다. 생각 토큰은 자기 어텐션을 통해 읽기 결과에 영향을 미치지만, 그 자체로 출력 역할을 하지는 않습니다.
4. 학습 목적 함수: 모델은 다음을 결합하여 학습됩니다:
   • 교차 엔트로피 손실 ($L_{cls}$): 작업별 분리성을 향상시키기 위함.
   • 앵커 손실 ($L_{anchor}$): 정제된 임베딩 $v^{(K)}_i$ 와 원래 제로샷 임베딩 $v^{(0)}_i$ 간의 코사인 유사도 패널티. 이는 정제가 CLIP 의 사전 학습된 다중 모달 기하학과 호환되도록 하여 작은 지원 세트에 과적합되는 것을 방지합니다.

설계 원칙

• 자원으로서의 계산: 적응 용량은 파라미터 수 대신 계산 (반복 단계) 과 교환됩니다.
• 모달리티별 추론: 비전과 텍스트에 대해 별도의 프로젝터가 사용됩니다.
• 중간 삽입: 저수준 사전 학습 특징을 보존하면서 의미 표현을 정제하기 위해 추론 토큰이 중간 계층에 주입됩니다.

주요 기여

1. 적응 자원으로서의 계산: 이 논문은 고정된 저 파라미터 수에서 반복적 잠재 추론이 유용한 작업별 정제를 제공할 수 있음을 보여주며, 파라미터 스케일링에 대한 보완적 축을 제시합니다.
2. PERL 프레임워크: 고정된 CLIP 모델을 위한 재귀적 경량 적응 메커니즘으로, 공유 프로젝터를 사용하여 동적으로 추론 토큰을 생성하고 테스트 시간 그래디언트 업데이트 없이 잠재 표현을 정제합니다.
3. 강력한 파라미터 - 성능 트레이드오프: 제약된 최적화 (단일 에포크, 퓨샷) 하에서 PERL 은 수 배 많은 파라미터를 사용하는 방법과 비교해도 경쟁력 있거나 우수한 성능을 달성합니다.

실험 결과

저자들은 ImageNet 의 베이스 - 투 - 노벨 일반화, 크로스 - 데이터셋 전이, 그리고 분포 외 (OOD) 변형을 포함한 15 개 벤치마크에서 PERL 을 평가했습니다.

• 베이스 - 투 - 노벨 일반화: PERL 은 비교된 방법 중 평균 신규 클래스 정확도 (75.74%) 를 가장 높게 달성하여 MMRL++ 및 PromptSRC 와 같은 더 큰 프레임워크를 능가했습니다. 6K 개의 학습 가능한 파라미터만을 사용하여 74.79 의 조화 평균 (HM) 에 도달했는데, 이는 가장 큰 비교 대상 방법 (MMRL) 보다 817 배 적고 MMAC 보다 113 배 적은 수치입니다.
• 크로스 - 데이터셋 전이: ImageNet 에서 학습하고 10 개 하위 데이터셋에서 평가했을 때, PERL 은 평균 타겟 정확도 65.56% 를 달성했습니다. 583 배 적은 파라미터를 사용하면서도 MaPLe 와 0.13 포인트 이내로 경쟁력 있게 유지되었으며, 컴팩트한 프롬프트 튜닝 베이스라인을 능가했습니다.
• 애블레이션 연구:
  • 모달리티: 결합된 텍스트 - 비전 추론이 가장 좋았으며, 비전 전용 추론보다 텍스트 전용 추론이 더 큰 개선을 보였습니다.
  • 주입 계층: 중간 계층 (특히 7 층) 에 추론을 주입하는 것이 최적이었으며, 초기 주입은 성능을 저하시켰고 깊은 주입은 일반화 비용을 치르며 지나치게 전문화되었습니다.
  • 단계: 성능은 4 단계의 추론까지 꾸준히 향상되었으며, 그 이후에는 이득이 포화되었습니다.
  • 용량: 독립적인 프로젝터 수를 증가시키는 것 (예: 단계별 또는 계층별) 이 성능을 추가로 향상시켜 반복적 추론이 고유한 용량 축을 제공함을 확인했습니다.
• 동역학: 분석 결과, 반복적 추론은 점진적으로 예측을 안정화시키고 특히 수정이 필요한 샘플 (오류에서 정답으로의 전환) 에 대해 시각적 증거를 의미 일관성 있는 영역으로 재분배하는 것으로 나타났습니다.

중요성 및 주장

이 논문은 고정된 판별형 비전 - 언어 모델에서 반복적 잠재 추론이 파라미터 스케일링에 대한 보완적 적응 메커니즘을 제공한다고 주장합니다.

• 효율성: PERL 은 작고 공유된 모듈을 재귀적으로 재사용함으로써 최소한의 학습 가능 파라미터 (~6K) 로 강력한 적응을 달성할 수 있음을 보여주어, 다중 작업 또는 다중 도메인 배포 시 저장 및 학습 부담을 크게 줄입니다.
• 메커니즘: 작업별 파라미터를 누적하는 방법에 의존하지 않는 PERL 은 "더 오래 생각하는 것"(반복적 정제) 이 원래 제로샷 기하학을 보존하면서 사전 학습된 표현을 결정 영역으로 유도할 수 있음을 보여줍니다.
• 트레이드오프: 저자들은 트레이드오프를 인정합니다. 파라미터 효율성이 높지만, 이 방법은 계산 비용 (모달리티당 $K+1$ 회 정제 모듈 평가) 을 수반합니다. 그러나 저장 및 파라미터 유지 관리가 병목인 시나리오에서는 이것이 유리합니다.
• 한계: 저자들은 PERL 이 특정 분포 외 텍스처 (EuroSAT) 와 세분화된 카테고리 (Flowers102) 에 있어 대규모 적응 예산을 가진 가장 강력한 "무거운 영역" 방법들보다 뒤처진다고 지적하며, 극도로 어려운 OOD 작업은 여전히 더 큰 적응 예산의 혜택을 받을 수 있음을 시사합니다.

요약하자면, PERL 은 고정된 파운데이션 모델의 경우 적응이 반드시 더 많은 파라미터를 저장하는 것에서만 비롯될 필요는 없으며, 반복적이고 파라미터 효율적인 계산을 통해 표현을 점진적으로 정제함으로써도 발생할 수 있다고 주장합니다.