기술 요약: 텍스트 기반 다중 스케일 주파수 표현 적응 (FreqAdapter)

1. 문제 제기

멀티모달 기반 모델 (예: CLIP, LLaVA) 을 위한 기존 매개변수 효율적 파인튜닝 (PEFT) 방법은 두 가지 주요 한계에 직면해 있습니다:

1. 공간 영역 중복성: 대부분의 방법은 시각적 특징이 상당한 정보 중복을 포함하는 공간 영역에서 직접 작동하며, 이는 제한된 파인튜닝 예산 하에서 과적합을 초래할 수 있습니다.
2. 균일 적응: 현재 접근 방식은 전체 특징 집합을 균일하게 조정하는 고정 프롬프트나 적응 계층을 일반적으로 활용합니다. 이는 서로 다른 주파수 대역이 서로 다른 의미적 세분성 (예: 전역 구조 대 국부적 세부 사항) 에 해당한다는 신호의 고유한 다중 스케일 특성을 고려하지 못합니다.

저자들은 주파수 영역에서 이미지 정보를 조정하면 더 컴팩트하고 분리된 표현을 제공하여 안정적인 최적화와 더 나은 교차 모드 정렬을 용이하게 할 수 있다고 주장합니다.

2. 방법론: FreqAdapter

본 논문은 주파수 영역에서 텍스트 기반 다중 스케일 파인튜닝을 수행하는 시각 임베딩을 위한 프레임워크인 FreqAdapter를 제안합니다. 핵심 워크플로우에는 다음이 포함됩니다:

2.1 주파수 영역 변환

시각 임베딩 ($E_v$) 과 텍스트 임베딩 ($E_t$) 은 먼저 CLIP 인코더에 의해 추출됩니다. 둘 다 **이산 코사인 변환 (DCT)**을 사용하여 공간 영역에서 주파수 영역으로 변환되어 주파수 표현 $X_v$와 $X_t$를 생성합니다. 저자들은 실험적으로 의미 정보가 저주파 성분에 매우 집중되어 있어 컴팩트한 적응이 가능함을 입증했습니다.

2.2 다중 스케일 적응 전략

다양한 수용 영역을 포착하기 위해 FreqAdapter 는 다중 스케일 전략을 사용합니다. 시각 주파수 시퀀스는 $N$개의 서로 다른 스케일에서 재구성되고 다운샘플링됩니다. 각 스케일 $n$에서 두 개의 경량 모듈이 작동합니다:

• 다중 스케일 전역 주파수 어댑터 (MGFA): 각 주파수 채널을 전역적으로 조정하기 위해 경량 병목 변환을 적용하는 전역 보정 모듈입니다. 이는 결합된 주파수 계수로 인한 스케일 정렬 오류를 방지하여 스케일 전반에 걸쳐 안정적이고 일관된 적응을 보장합니다.
• 다중 스케일 교차 모드 주파수 어댑터 (MCFA): 텍스트 기반 정제 모듈입니다. 경량 MLP 를 사용하여 텍스트 임베딩 ($X_t$) 에서 변조 파라미터 ($\gamma, \beta$) 를 예측합니다. 이러한 파라미터는 요소별 곱셈과 덧셈 ($C_n = \gamma \odot X_{v,n} + \beta$) 을 통해 시각 특징에 적용되어 세밀한 교차 모드 정렬을 가능하게 합니다.

2.3 재구성

모든 스케일에서 정제된 주파수 특징은 집계 (평균) 되어 원래 공간 차원을 복원하기 위해 업샘플링됩니다. **역 이산 코사인 변환 (IDCT)**은 적응된 주파수 특징을 다시 공간 영역 ($\tilde{E}_v$) 으로 변환한 후, 하류 인코더 (예: LLaVA 용) 에 입력하거나 검색 작업에 사용됩니다.

2.4 학습

어댑터는 짝지어진 이미지 - 텍스트 데이터에 대한 CLIP 대비 손실을 사용하여 최적화됩니다. 이 방법은 플러그 앤 플레이 방식이며, 백본 모델의 아키텍처 수정이 필요하지 않습니다.

3. 주요 기여

1. FreqAdapter 프레임워크: 공간 영역 파인튜닝의 중복성 문제를 해결하기 위해 텍스트 정보에 조건부인 주파수 영역에서 시각 정보를 조정하는 새로운 어댑터를 제안합니다.
2. 다중 스케일 적응 전략: 전역 보정 (MGFA) 과 텍스트 기반 정제 (MCFA) 를 통합하여 표현 능력을 향상시키는 다중 주파수 스케일 전반에 걸친 조정을 수행하는 전략을 설계했습니다.
3. 실험적 검증: CLIP 및 LLaVA 와 같은 멀티모달 모델에 대한 광범위한 실험을 통해 FreqAdapter 가 최소한의 매개변수 오버헤드로 성능과 효율성을 크게 향상시킨 것을 입증했습니다.

4. 실험 결과

저자들은 이미지 - 텍스트 검색 및 시각적 질문 답변 (VQA) 작업에서 FreqAdapter 를 평가했습니다.

• 이미지 - 텍스트 검색 (CLIP): COCO 2017 및 Flickr30K 데이터셋에서 FreqAdapter 는 매개변수 효율적 방법 중 최첨단 성능을 달성했습니다. 예를 들어, COCO 의 텍스트 - 이미지 검색을 위한 CLIP-L/14 에서 CoOp 및 MaPLe 와 같은 베이스라인 대비 R@1 점수를 최대 **4.9%**까지 향상시켰습니다. 또한 Flickr30K 에서 우수한 제로샷 일반화 능력을 보여주었습니다.
• 시각적 질문 답변 (LLaVA): LLaVA(7B 및 13B 버전) 에 통합되었을 때, FreqAdapter 는 MM-Vet 및 LLaVA-Bench 데이터셋에서 CLIP-Adapter 및 프롬프트 기반 방법을 포함한 베이스라인보다 우수한 성능을 보였습니다. 정성적 분석에 따르면 FreqAdapter 는 다른 모델이 실패한 특정 수치 값을 정확하게 식별하고 산술 추론을 수행할 수 있었습니다.
• 효율성: FreqAdapter 는 약 476k 개의 매개변수(전체 모델의 0.11%) 를 도입하며, 이는 많은 기존 어댑터 (예: MaPLe) 보다 적습니다. 계산 오버헤드 (GFLOPs) 는 DCT/IDCT 연산이 백본에 비해 무시할 수 있을 정도로 작아 베이스라인과 거의 동일하게 유지됩니다.
• 수렴: 모델은 종종 1 에포크 이내에 빠르게 수렴하며, 공간 영역 어댑터 (SpatialAdapter) 에 비해 더 안정적인 학습 곡선을 보이고 과적합이 적습니다.

5. 중요성 및 주장

본 논문은 FreqAdapter 가 중복적인 공간 영역에서 구조화된 주파수 영역으로 적응 공간을 이동시킴으로써 매개변수 효율적 파인튜닝에 대한 독특한 관점을 제공한다고 주장합니다.

• 안정성과 일반화: 저자들은 성능 향상을 주파수 표현의 "분리된" 특성, 즉 저주파 및 고주파 구조가 분리되고 노이즈가 감소된 데 기인합니다. 이는 더 깨끗한 매개변수 업데이트와 더 매끄러운 최적화 궤적을 이끌어 더 강력한 일반화 능력을 제공합니다.
• 다중 스케일 통합: 주파수 영역에서 명시적으로 다중 스케일 수용 영역을 모델링함으로써, 이 방법은 일반화를 희생하지 않으면서 세밀하고 거친 정보를 효과적으로 통합하며, 이는 전통적인 공간 어댑터의 일반적인 약점입니다.
• 약간의 한계: 저자들은 실험적 결과가 강력하지만 주파수 영역 적응에 대한 이론적 깊이는 더 많은 탐구가 필요하다고 인정합니다. 또한 현재 연구는 상대적으로 작은 매개변수 규모의 CLIP 기반 설정에 국한되어 있으므로, 향후 연구는 이러한 접근 방식을 더 큰 멀티모달 언어 모델로 확장하는 것을 조사해야 한다고 지적합니다.

결론적으로, 본 논문은 주파수 영역 적응이 교차 모드 표현 학습을 위한 안정적인 귀납적 편향을 제공하여 공간 영역 대안보다 우수한 피팅 성능과 더 빠른 적응 속도를 달성한다고 주장합니다.