기술 요약: 시각적 구성적 튜닝 (COMPACT)

문제 정의

멀티모달 대규모 언어 모델 (MLLM) 을 위한 시각적 지시 튜닝 (VIT) 은 전통적으로 성능 향상을 위해 데이터셋 크기를 확장하는 데 의존해 왔으며, 개별 학습 샘플의 정보성 측면은 종종 간과되었습니다. 최근 연구들은 작고 선별된 부분 집합으로도 거의 전체 성능을 달성할 수 있음을 입증했으나, 기존 데이터 선택 방법들은 대부분 복잡성을 규모의 부산물로 취급할 뿐 제어 가능한 지표로 다루지 않았습니다.

현재의 VIT 데이터셋인 LLaVA-665K 와 같은 경우, 주로 "차의 색깔은 무엇인가?"와 같이 한두 가지 기본 시각적 능력만을 요구하는 질문들을 포함하고 있습니다. 이러한 샘플들은 객체 인식, 공간적 관계, 색상 귀속 등 여러 능력을 단일하고 복잡한 추론 작업으로 결합하지 못함으로써 이미지에서 이용 가능한 풍부한 시각 정보를 충분히 활용하지 못합니다. 결과적으로 모델들은 이러한 원천 기술들을 통합해야 하는 복잡한 시각적 추론 작업에 어려움을 겪을 수 있습니다.

방법론: COMPACT

저자들은 단일 예시 내에서 여러 원천 시각적 능력을 결합하여 학습 샘플의 복잡성을 확장하도록 설계된 데이터 레시피인 COMPACT(COMPositional Atomic-to-complex Visual Compositional Tuning) 를 제안합니다. 이 방법론은 다음 네 단계 파이프라인을 포함합니다:

1. 원천 능력 정의: 저자들은 시각적 추론에 필수적인 10 가지 "원천 시각적 능력"의 분류 체계를 정의하며, 이를 다음과 같이 범주화합니다:

   • 귀속 (Attribution): 색상, 형태.
   • 인식 (Recognition): 객체 인식, 동작 인식, 텍스트 인식, 카운팅, 공간 인식.
   • 관계 (Relation): 공간적 관계, 객체 상호작용, 장면 이해.
     또한 특정 질문에 답하는 데 필요한 원천 능력의 수로 정의된 $k$-값 지표를 도입합니다.

2. 능력 샘플링: 이미지 무작위 샘플 (예: LLaVA-665K 에서) 로부터 시작하여, 시스템은 사전 정의된 풀에서 $k_{gen} \in \{1, 2, 3\}$ 범위의 능력을 균일하게 샘플링합니다. 샘플링은 특정 이미지에 대해 아직 선택되지 않은 능력을 우선시하여 다양성을 보장합니다.

3. 대화 생성: Gemini-2.0-Flash를 사용하여 시스템은 샘플링된 모든 능력을 자연스럽게 통합한 대화형 질문 - 답변 쌍을 생성합니다. 생성 과정은 다음을 보장하도록 제한됩니다:

   • 질문은 이미지의 시각적 정보를 요구해야 함 (텍스트만으로는 답할 수 없음).
   • 답변은 간결해야 함.
   • 능력들은 자연스럽게 통합되어야 함 ("그리고"로 단순히 연결되지 않음).
   • 질문은 이미지에 실제로 존재하는 객체를 참조해야 함.

4. 품질 검증 및 데이터셋 구성: 생성된 질문들은 정보성이 부족한 답변, 낮은 신뢰도 출력, 거의 중복되는 사례, 그리고 능력이 성공적으로 통합되지 않은 경우를 필터링하기 위해 검증을 거칩니다. 최종 데이터셋은 합성적으로 생성된 구성적 튜닝 데이터와 원본 LLaVA-665K 데이터의 작은 부분 집합 (5%) 을 혼합하여 구성됩니다. 이 혼합은 모델이 구성적 데이터에 시각적 추론에 집중하면서도 지시 따르기 능력을 유지하도록 보장합니다.

주요 기여

1. 복잡성 인식 데이터 선별: 본 논문은 학습 샘플의 복잡성 ($k$-값) 을 증가시킴으로써 데이터셋 내 정보 내용을 더 효과적으로 활용할 수 있음을 입증하여, 기존 복잡성 무관 확장 방식의 한계를 해결합니다.
2. 계량 가능한 복잡성 지표: 저자들은 비전 - 언어 작업의 복잡성을 계량화하기 위해 $k$-값을 정의하고, 최대 효율을 위한 복잡성의 최적 분포를 분석합니다.
3. 효율적인 데이터 레시피: COMPACT 는 효과적인 VIT 에 필요한 데이터 예산을 크게 줄이는 확장 가능한 합성 데이터 생성 레시피를 제공합니다.

실험 결과

저자들은 여덟 가지 멀티모달 벤치마크 (MM-Vet, MMStar, InfoVQA, SeedBench2Plus 포함) 를 사용하여 LLaVA-v1.5-7B모델에서 COMPACT 를 평가했습니다.

• 데이터 효율성: LLaVA-665K 볼륨의 **10%**에 불과한 데이터셋 (구체적으로 32K 개의 구성 샘플 + 포맷팅을 위한 LLaVA-665K 의 5%) 으로 학습한 경우, 벤치마크 전반에서 전체 LLaVA-665K 성능의 **100.2%**를 달성했습니다.
• 복잡한 작업에서의 우위성: COMPACT 는 특히 복잡한 벤치마크에서 전체 규모의 LLaVA-665K 학습보다 우수한 성능을 보였습니다:
  • MM-Vet: +8.6% 향상 (31.7 대 29.2).
  • MMStar: +2.9% 향상 (36.1 대 35.1).
  • InfoVQA: +13.8% 향상.
• 베이스라인 비교: COMPACT 는 유사한 데이터 볼륨에서 약 95-97% 의 상대적 성능만 달성한 무작위 부분 집합 및 기타 데이터 축소 방법 (ICONS, EL2N, Perplexity 등) 보다 현저히 우수한 성능을 보였습니다.
• 복잡성 분포 분석: LLaVA-665K 데이터셋의 평균 $k$-값은 약 1.95 이며, 질문의 77% 가 $k \le 2$를 요구합니다. 반면, COMPACT 데이터셋의 평균 $k$-값은 약 2.89 입니다. 제거 실험 (Ablation studies) 을 통해 성능 향상의 최소 절반 이상이 이러한 더 높은 복잡성 분포에 기인함이 확인되었습니다.

중요성과 주장

본 논문은 시각적 구성적 튜닝이 비전 - 언어 작업에서 MLLM 을 개선하기 위한 확장 가능하고 효율적인 경로임을 주장합니다. 샘플 생성 시 명시적으로 더 높은 $k$-값을 목표로 함으로써, COMPACT 는 모델이 각 이미지에서 더 많은 시각적 특징을 학습하도록 하여 데이터 예산의 일부로 복잡한 추론 작업에서 우수한 성능을 이끌어냅니다.

저자들은 데이터 생성을 위해 폐쇄형 소스 모델 (Gemini) 에 의존한다는 한계를 인정하며, 이는 재현성을 위한 잠재적 편향과 비용 장벽을 초래한다고 지적합니다. 또한, 이 접근법은 비전 중심 능력에 초점을 맞추고 있어 외부 세계 지식이 필요한 지식 집약적 작업에는 최적이지 않을 수 있습니다. 향후 연구로는 이미지와 텍스트 복잡성의 교차점 탐구 및 이러한 원칙을 다른 학습 알고리즘에 적용하는 것이 제안됩니다.