기술 요약: 매개변수 효율적 비디오-언어 모델링을 위한 READ-PVLA

문제 제기

비디오 - 언어 작업 (예: 시간적 언어 정렬 및 비디오 - 언어 요약) 을 위해 대규모 사전 훈련된 트랜스포머 모델을 완전히 파인튜닝하는 것은, 특히 저자원 환경에서 상당한 어려움을 초래합니다. 이 접근 방식은 각 작업마다 별도의 모델을 저장해야 하므로 높은 저장 비용을 발생시키며, 훈련 데이터가 제한적일 때 불안정한 훈련과 비최적의 성능으로 이어지는 경우가 많습니다.

기존의 매개변수 효율적 방법인 표준 어댑터는 사전 훈련된 백본을 고정하고 어댑터만 훈련하기 위해 경량 모듈을 도입하지만, 두 가지 중요한 한계를 보입니다:

1. 시간적 모델링 부재: 표준 어댑터는 비디오 프레임과 텍스트 단어를 독립적인 토큰으로 취급하여 프레임 간 또는 순차적 단어 간의 고유한 시간적 의존성을 포착하지 못합니다. 이는 모델이 시간적 맥락에 대해 추론하는 능력 (예: 특정 동작 전후의 사건 구분) 을 저해합니다.
2. 정보 손실: 기존 어댑터는 원시 입력이 어댑터의 저차원 공간으로 흐르는 과정에서 중요한 작업 관련 정보의 보존을 종종 간과합니다. 이로 인해 파인튜닝 과정에서 필수적인 의미 정보가 손실되거나 노이즈가 도입될 수 있습니다.

방법론

저자들은 이러한 문제를 해결하기 위해 매개변수 효율적 파인튜닝 전략에 통합된 두 가지 새로운 구성 요소를 통해 READ-PVLA 프레임워크를 제안합니다.

1. 순환 어댑터 (READ)

시간적 의존성을 포착하기 위해 저자들은 순환 어댑터 (READ) 를 도입합니다. 비선형 프로젝션에만 의존하는 표준 어댑터와 달리, READ 는 트랜스포머 아키텍처 내에 순환 병목 계층을 통합합니다.

• 아키텍처: 이 모듈은 다운 - 프로젝션 계층, 순환 신경망 (RNN) 계층, 그리고 업 - 프로젝션 계층으로 구성됩니다.
• 작동 원리: 피드포워드 블록에서 출력된 $O$가 주어지면, READ 모듈은 잔차 업데이트를 계산합니다: $\tilde{O} = O + \text{GELU}(\text{RNN}(O \cdot W_{down})) \cdot W_{up}$.
• 효율성: 저차원 공간 (병목 차원 $k \ll d$) 에서 순환 계산을 수행함으로써, READ 는 경량 설계를 유지하며 학습 가능한 매개변수의 최대 1.20% 만 필요로 합니다.
• 유연성: 이 프레임워크는 Unified Multimodal Transformers (UMT), Moment-DETR, VG-BART 및 VG-T5 와 같은 생성형 비전 유도 모델을 포함한 다양한 사전 훈련된 백본과 호환되도록 설계되었습니다.

2. 부분 비디오 - 언어 정렬 (PVLA)

적응 과정에서 중요한 정보가 보존되도록 하기 위해, 저자들은 부분 비디오 - 언어 정렬 (PVLA) 목적 함수를 제안합니다.

• 개념: PVLA 는 분포 간의 부분 최적 수송 (POT) 거리를 최소화함으로써 비디오 프레임 표현과 텍스트 단어 표현 간의 정렬을 명시적으로 장려합니다.
• 근거: 비디오와 언어는 완전한 일대일 대응을 보이지 않으며, 언어는 종종 비디오의 특정 측면만 설명합니다. 표준 최적 수송은 모든 질량을 일치시키도록 강제하여 관련 없는 정보를 정렬할 수 있습니다.
• 메커니즘: PVLA 는 알고리즘이 한 분포에서 다른 분포로 샘플의 부분 집합 ($s$) 만 수송하도록 허용하여, 강하게 관련된 "핵심 질량"에 초점을 맞춥니다. 이는 부분 수송 제약 조건 하에서 비용 $T_{i,j} \cdot c(h_{v,i}, h_{l,j})$를 최소화하는 것으로 공식화됩니다.
• 훈련: 파인튜닝 중에는 사전 훈련된 백본이 고정됩니다. READ 계층은 작업별 손실과 PVLA 손실을 사용하여 공동으로 최적화됩니다.

주요 기여

이 논문은 세 가지 주요 기여를 제시합니다:

1. READ 아키텍처: 토큰 독립적 프로젝션의 한계를 극복하고 비디오 - 언어 작업에서 시간적 정보를 효과적으로 모델링하기 위해 순환 계산을 통합한 새로운 어댑터 설계.
2. PVLA 목적 함수: 병목 적응 과정에서 모달리티 간 중요한 작업 관련 정보의 흐름을 유지하기 위해 부분 최적 수송을 사용하는 새로운 정렬 목적 함수.
3. 실증적 검증: 저자원 벤치마크에서 전체 파인튜닝 및 기타 매개변수 효율적 전략 (예: LoRA, Prompt, 표준 어댑터) 보다 READ 프레임워크가 훨씬 적은 학습 가능 매개변수 (최소 0.05% 에서 1.20% 까지) 를 사용하여 더 우수한 성능을 보임을 입증한 광범위한 실험.

실험 결과

이 프레임워크는 YouTube Highlights, TVSum, QVHighlights, How2 등 여러 데이터셋에 걸쳐 시간적 언어 정렬 (TLG) 및 비디오 - 언어 요약 (VLS) 작업에서 평가되었습니다.

• 시간적 언어 정렬 (TLG):

  • YouTube Highlights에서 READ 는 전체 파인튜닝 (74.76%) 과 표준 어댑터 (68.98%) 를 능가하는 평균 정밀도 (mAP) **76.12%**를 달성했으며, 총 매개변수의 0.06% 인 0.16M 개의 학습 가능 매개변수만 사용했습니다.
  • TVSum에서 READ 는 0.14M 개의 매개변수로 전체 파인튜닝 (79.65%) 과 최상의 매개변수 효율적 기준선 (어댑터 74.25%) 을 상회하는 83.39% mAP를 달성했습니다.
  • QVHighlights에서 READ 는 0.19M 개의 매개변수를 사용하여 전체 파인튜닝 (36.14%) 보다 mAP 를 **36.74%**로 향상시켰습니다.

• 비디오 - 언어 요약 (VLS):

  • How2 데이터셋에서 VG-BART 백본을 사용한 READ 는 ROUGE-1, ROUGE-2, ROUGE-L 점수가 각각 44.01, 21.91, 37.91로 나타났습니다. 이는 모델의 0.47% 인 1.17M 개의 매개변수만 사용하면서도 전체 파인튜닝 (35.72, 11.88, 30.00) 과 기타 효율적 방법을 크게 능가했습니다.
  • VG-T5 백본에서도 유사한 향상이 관찰되었으며, READ 는 1.91M 개의 매개변수로 전체 파인튜닝 (32.37) 보다 우수한 40.12 ROUGE-1 점수를 달성했습니다.

• 절대성 연구:

  • PVLA 목적 함수를 제거하면 성능이 급격히 저하되어 정보 손실 및 노이즈 주입을 방지하는 그 역할을 확인시켰습니다.
  • 순환 아키텍처의 선택 (RNN 대 GRU 대 LSTM) 은 성능에 미미한 영향을 미쳐 가장 간단한 RNN 구현의 사용을 검증했습니다.
  • 부분 최적 수송 (POT) 은 표준 거리 지표 (Cosine, L2) 및 전체 최적 수송보다 우수한 성능을 보여 부분 정렬의 중요성을 강조했습니다.

중요성 및 주장

이 논문은 READ-PVLA 프레임워크가 비디오 - 언어 모델링에서 매개변수 효율적 전이 학습을 위한 강력한 솔루션을 제공한다고 주장합니다. 순환 시간적 모델링과 부분 정렬 목적 함수를 결합함으로써, 이 방법은 저자원 파인튜닝과 관련된 불안정성과 정보 손실을 성공적으로 해결합니다.

저자들은 그들의 접근 방식이 다음과 같음을 강조합니다:

• 전체 파인튜닝 능가: 사전 훈련된 모델의 대부분을 고정함에도 불구하고 모든 매개변수를 훈련하는 것보다 높은 정확도를 달성합니다.
• 우수한 효율성: LoRA 또는 표준 어댑터와 같은 기타 효율적 방법에 비해 학습 가능한 매개변수를 훨씬 적게 필요로 합니다 (최대 1.20% 까지).
• 일반화 가능성: 이 프레임워크는 판별형 (UMT, Moment-DETR) 과 생성형 (VG-BART, VG-T5) 모델을 포함한 다양한 사전 훈련된 아키텍처에 적용 가능합니다.

이 연구는 시간적 역학을 통합하고 부분 정렬을 통해 정보 흐름을 신중하게 관리하는 것이 자원 제약 환경에서 비디오 - 언어 이해를 발전시키는 데 중요함을 시사합니다.