기술 요약: VLM 의 제로샷 구성적 개인화를 위한 게이트 앤 머지

문제 정의

비전 - 언어 모델 (VLM) 은 오픈 월드 태스크에 대한 강력한 일반화 능력을 지니고 있지만, 사전 학습 데이터에 존재하지 않는 개인화된 사용자 정의 개념 (예: 특정 얼굴, 반려동물, 예술 작품 스타일) 을 이해하는 능력은 부족합니다. 기존 개인화 방법은 단일 개념 학습은 가능하지만, 구성적 개인화(compositional personalization): 사전 공출현 훈련 없이 여러 사용자 정의 개념이 동시에 포함된 장면을 인식하거나 설명하는 능력에는 어려움을 겪습니다.

현재 접근 방식은 다음과 같은 중대한 한계에 직면해 있습니다:

• 매개변수 기반 방법(예: 학습 가능한 프롬프트 또는 개념 임베딩) 은 훈련 중 개념들이 서로 얽히는 경향이 있어, 새로운 구성에서 이를 분리하고 재결합하기 어렵습니다.
• 검색 기반 방법은 매개변수 업데이트를 피하지만 외부 데이터베이스에 의존하여 프라이버시 문제를 야기하고, 추론 작업을 위해 개념을 내부화하지 못합니다.
• 기존 솔루션들은 일반적으로 간섭으로 인한 성능 저하 없이 추론 시에 여러 독립적으로 학습된 개념을 구성할 수 있는 메커니즘이 부족합니다.

방법론: 게이트 앤 머지

본 논문은 공출현 훈련이나 외부 데이터베이스 없이 구성적 개인화를 가능하게 하는 제로샷 프레임워크인 게이트 앤 머지(Gate-and-Merge) 를 제안합니다. 이 프레임워크는 두 가지 명확한 단계로 운영됩니다:

1. 단일 개념 학습 (훈련 단계)

각 사용자 정의 개념 $c$는 두 가지 구성 요소로 이루어진 모듈식 경량 표현으로 독립적으로 학습됩니다:

• 개념 토큰 ($\langle c \rangle$): 학습 가능한 임베딩 벡터 $e_c$와 해당 출력 헤드 행 $w_c$를 가진 토크나이저 어휘에 추가된 새로운 토큰입니다. 이는 개념의 텍스트 식별자 역할을 합니다.
• LoRA 어댑터 ($\delta_c$): 언어 모델의 가중치에 적용되는 저랭크 적응 (Low-Rank Adaptation) 모듈 ($\delta_c = A_c B_c$) 입니다. 이는 고정된 비전 인코더를 수정하지 않고도 개념의 시각적 외관에 모델이 적응할 수 있게 합니다.

비전 인코더는 훈련 내내 고정되어 안정적이고 공유된 특징 공간을 유지하며, 이는 서로 다른 개념 간에 시각적 특징이 호환되도록 보장합니다. 모델은 표준 마스킹 언어 모델링 목적 함수를 사용하여 이미지와 텍스트의 작은 지원 집합으로 훈련됩니다.

2. 다중 개념 구성 (추론 단계)

추론 시 모델은 훈련 중 함께 보지 못한 여러 개념 (예: 개념 $A$와 개념 $B$가 포함된 이미지) 을 포함하는 입력을 처리해야 합니다. 프레임워크는 게이트 앤 머지 메커니즘을 사용합니다:

• 게이팅 (선택): 게이팅 메커니즘은 두 가지 단서를 평가하여 현재 입력 (이미지 $x$와 쿼리 $q$) 과 관련된 개념 모듈을 결정합니다:

  • 텍스트 관련성: 쿼리에 개념 토큰 $\langle c \rangle$가 명시적으로 언급되었는지 확인합니다.
  • 시각 관련성: 이미지 패치 특징과 개념의 프로토타입 특징 간의 코사인 유사도를 계산합니다.
  • 개념은 텍스트로 언급되거나 임계값 $\tau$ 이상으로 시각적으로 지원될 경우 활성화됩니다.

• 머지 (융합): 관련 개념 집합 $S$가 식별되면, 해당 LoRA 업데이트가 가중치 공간에서 직접 병합됩니다. 단순 합산으로 인한 파괴적 간섭을 방지하기 위해:

  • 희소화: 각 LoRA 업데이트는 확률적으로 드롭 (베르누이 마스킹) 되고 재조정되어 지배적인 신호만 유지함으로써 개념 간 충돌을 줄입니다.
  • 부호 인식 평균화: 이 방법은 부호 일관성을 강제합니다. 각 가중치 좌표에 대해 부호가 상충되는 업데이트는 폐기되고, 부호가 일관된 업데이트만 평균화됩니다. 이는 융합된 어댑터가 각 개념의 정체성을 유지하면서 이를 결합하도록 보장합니다.

최종 구성 모델은 $M_{comp} = M \oplus \delta_{merge}$이며, 여기서 $\delta_{merge}$는 융합된 어댑터입니다. 이 과정은 추론 시 훈련이 필요하지 않습니다.

주요 기여

1. 게이트 앤 머지 프레임워크: 개념을 독립적으로 학습하고 공출현 감독 없이 추론 시 구성하는 제로샷 구성적 개인화를 위한 모듈식 프레임워크.
2. 모듈식 표현: 각 개념을 경량 LoRA 모듈과 고유한 개념 토큰으로 표현하는 설계로, 확장 가능하고 프라이버시를 보호하는 개인화를 지원합니다.
3. 훈련 없는 구성: 입력 의존적 텍스트 및 시각적 단서에 기반하여 LoRA 모듈을 선택적으로 활성화하고 병합하는 메커니즘으로, 희소화와 부호 인식 병합을 활용하여 간섭을 완화합니다.
4. 실증적 검증: 단일 개념 및 다중 개념 설정 모두에서 기존 매개변수 기반 개인화 접근법보다 우수한 성능을 보이는 것을 광범위한 실험을 통해 입증했습니다.

실험 결과

저자들은 118 개의 서로 다른 개념 (실제 인물, 사물, 허구 캐릭터) 을 다루는 다중 개념 데이터셋으로 구성된 벤치마크에서 이 방법을 평가했습니다.

• 시각 인식: 이미지에서 하나 이상의 개념을 식별해야 하는 작업에서 게이트 앤 머지는 MyVLM 및 Yo'LLaVA 와 같은 베이스라인보다 우수한 성능을 달성했습니다. 특히 여러 쿼리 개념을 동시에 식별하는 까다로운 "다중 - 다중 (Multiple-Multiple)" 설정에서 제안된 방법은 69.9% 의 정확도를 기록하여 Yo'LLaVA(29.3%) 를 크게 앞섰으며 높은 균형 재현율을 유지했습니다.
• 텍스트 및 시각 QA: 이 방법은 텍스트 전용 추론과 멀티모달 시각 질문 답변 (VQA) 모두에서 견고성을 보여주었으며, 단일 및 다중 개념 설정 전반에 걸쳐 가장 균형 잡힌 성능을 달성했습니다.
• 캡션 생성: 검색 기반 방법 (RAP-MLLM) 은 단일 개념 설정에서 높은 재현율을 보였으나 저장된 텍스트의 "복사 - 붙여넣기"에 크게 의존했습니다. 게이트 앤 머지는 더 견고한 개념 기반을 제공하여 시각적 증거를 더 잘 통합한 캡션을 생성했으나, 단일 개념 작업에 비해 다중 개념 캡션 시나리오에서는 성능이 자연스럽게 저하되었습니다.
• 애블레이션 연구:
  • 희소 비율 ($p$): 성능은 0.7~0.8 의 희소 비율에서 정점을 이루었으며, 이는 적절한 희소성이 적응 신호를 유지하면서 간섭을 효과적으로 억제함을 확인시켜 주었습니다.
  • 게이팅 임계값 ($\tau$): 0.3 의 임계값이 최적의 결과를 얻었으며, 이는 관련 없는 활성화의 억제와 유효한 개념의 유지 사이의 균형을 맞췄습니다.

중요성 및 주장

본 논문은 게이트 앤 머지가 공동 훈련이나 외부 데이터 저장이 필요 없이 구성적 추론을 가능하게 함으로써 VLM 개인화의 중요한 격차를 해소한다고 주장합니다. 훈련 중 개념을 분리하고 추론 시 지능적으로 융합함으로써, 이 방법은 모델이 사용자 정의 개념의 새로운 조합을 처리할 수 있게 합니다.

저자들은 이 작업을 개념을 동적으로 추가, 제거, 또는 결합할 수 있는 확장 가능하고 모듈식 개인화를 향한 한 걸음으로 위치시킵니다. 그들은 높은 수준의 얽힘을 가진 개념은 더 표현력 있는 메커니즘이 필요할 수 있으며, 희소화는 미세한 세부 사항을 잃을 위험이 있음을 인정합니다. 그러나 결과는 이 접근 방식이 복잡하고 다중 개념 시나리오를 위한 VLM 에 개인화된 지식을 통합하기 위한 안정적이고 효과적인 해결책을 제공함을 시사합니다.