Back to the Barn with LLAMAs: Evolving Pretrained LLM Backbones in Finetuning Vision Language Models

1. 연구 배경 및 문제 제기 (Problem)

시각 - 언어 모델 (VLM) 은 강력한 사전 훈련된 대규모 언어 모델 (LLM) 을 추론의 핵심 백본 (backbone) 으로 활용하여 급속히 발전해 왔습니다. 새로운 LLM 이 등장할 때마다 추론, 지시 따르기 (instruction-following), 일반화 능력이 향상되는데, 기존 VLM 을 이러한 최신 LLM 으로 효율적으로 업데이트해야 할 필요성이 대두되고 있습니다.

그러나 새로운 LLM 을 VLM 에 통합할 때, 진화하는 LLM 이 어떻게 멀티모달 추론, 정렬 (alignment), 그리고 특정 작업 성능에 기여하는지에 대한 체계적인 연구는 부족합니다. 기존 연구들은 LLM 백본뿐만 아니라 비전 인코더, 학습 데이터, 하이퍼파라미터, 구현 세부 사항 등 여러 변수가 동시에 달라지는 모델을 비교하여, 성능 차이의 원인을 LLM 백본의 진화만으로 분리해 내기 어렵다는 한계가 있었습니다.

핵심 연구 질문: LLM 의 체계적인 개선 (Systematic Improvements) 이 VLM 의 다운스트림 작업 성능에 어떤 영향을 미치는가?

2. 연구 방법론 (Methodology)

이 연구는 통제된 실험 (Controlled Empirical Study) 설계를 통해 LLM 백본의 변화가 VLM 성능에 미치는 영향을 고립시켜 분석했습니다.

• 실험 설정:

  • 변수 (Independent Variable): LLM 백본만 변경 (Meta 의 LLAMA-1, LLAMA-2, LLAMA-3.1).
  • 통제 변수 (Controlled Variables):
    • 비전 인코더: CLIP-ViT-Large-Patch14 로 고정.
    • 학습 데이터: 동일한 멀티모달 데이터셋 사용.
    • 학습 알고리즘: 동일한 파인튜닝 (SFT) 및 코드베이스 (NVIDIA NeMo, NeVA 아키텍처) 사용.
  • 학습 과정:
    1. 정렬 단계 (Warm-up/Alignment): SciCap 데이터셋을 사용하여 이미지 캡셔닝을 통해 비전 인코더와 LLM 디코더를 정렬.
    2. 지도 미세 조정 (SFT): 특정 도메인 데이터셋을 사용하여 최종 작업에 적응.

• 평가 데이터셋:

  1. ScienceQA: 과학 관련 질문과 이미지 (기억 기반 추론 및 언어 추론 강조).
  2. Seismic: 지진 및 지질학적 이미지와 텍스트 설명 (전문가 제작 오픈형 Q&A, 좌표 예측 포함).
  3. VQA-Scene: 장면 이해 중심의 시각적 질문 답변 (시각적 추론 강조, 언어적 편향 최소화).

• 평가 지표: 각 작업에 맞는 정확도 (Accuracy), BLEU/ROUGE (텍스트 생성), Haversine 거리 (좌표 예측), 그리고 인스턴스 수준의 상관관계 분석.

3. 주요 결과 및 발견 (Key Results)

3.1. 새로운 LLM 이 항상 VLM 성능을 향상시키는 것은 아님 (Task Dependency)

• ScienceQA: LLAMA-1 에서 LLAMA-3 로 변경 시 정확도가 71.8% → 68.4% 로 감소. 이는 이 데이터셋이 구조화된 텍스트 패턴의 암기를 요구하며, 최신 LLM 의 강력한 언어 사전 지식 (priors) 이 시각적 입력보다 텍스트 단서에 의존하게 만들어 성능이 저하된 것으로 분석됨.
• VQA-Scene: LLAMA-1 에서 LLAMA-3 로 변경 시 정확도가 61.8% → 65.6% 로 증가. 일상적인 장면의 시각적 추론이 필요한 작업에서는 언어 이해도 향상이 직접적인 성능 향상으로 이어짐.
• Seismic (텍스트): 지질학적 특징에 대한 텍스트 설명은 세 모델 간 성능 차이가 미미하거나 일관된 추세가 없음 (비전 인코더가 병목 현상).

3.2. 더 많은 문제를 푸는 것이 아니라 '다른' 문제를 푼다 (Instance-Level Shift)

• VQA-Scene: LLAMA-3 은 LLAMA-1/2 와 부정적인 상관관계를 보임 (r = -0.266). 즉, LLAMA-1/2 가 맞춘 문제는 LLAMA-3 이 틀리고, 그 반대의 경우가 많음. 이는 최신 LLM 이 단순히 기존 문제를 더 잘 푸는 것이 아니라, 시각 정보를 처리하는 방식이 근본적으로 달라져 다른 질문 세트를 해결하고 있음을 의미.
• ScienceQA: LLAMA-1 과 LLAMA-2 는 높은 상관관계 (r=0.907) 를 보이지만, LLAMA-3 은 상관관계가 떨어짐.
• Seismic: 세 모델 모두 거의 동일한 인스턴스를 성공/실패함 (r > 0.85).

3.3. 비전이 병목인 작업에서는 LLM 백본의 영향이 미미함

• Seismic 데이터셋의 텍스트 생성 작업에서, 지질학적 특징 추출은 비전 인코더 (CLIP) 에 의해 결정되므로 LLM 백본을 업그레이드해도 성능 향상이 거의 없음. 이 경우 비전 인코더 개선이 더 중요함.

3.4. 새로운 LLM 백본에서 새로운 능력의 등장 (Emergent Capabilities)

• Seismic 좌표 예측: LLAMA-1 과 LLAMA-2 는 좌표 예측 정확도 0.0% (도시/주 이름만 나열). 반면, LLAMA-3 은 76.5% 의 정확도를 기록.
• 이는 구조화된 수치 출력이나 도메인 특화 지식이 필요한 능력은 이전 세대 LLM 에서는 전혀 나타나지 않다가, 충분히 진보된 LLM 백본 (LLAMA-3) 에서만 급격히 등장 (Emerge) 할 수 있음을 보여줌.

3.5. 내부 표현 및 신뢰도 (Confidence) 의 변화

• 신뢰도 (Confidence): LLAMA-1/2 는 모든 답변에 대해 과신 (Overconfident, 신뢰도 1.0) 하는 반면, LLAMA-3 은 신뢰도가 낮음 (0.73) 하지만 정확도는 가장 높음. 이는 최신 LLM 이 더 잘 보정된 (well-calibrated) 확률 분포를 가진다는 것을 의미.
• 내부 표현 (Internal Representations):
  • LLAMA-1/2 는 깊은 레이어에서 큰 활성화 (Large Activations) 와 급격한 컨텍스트 표현의 변화를 보임.
  • LLAMA-3 은 레이어를 거치며 점진적으로 정제 (Incremental Refinements) 되는 안정적이고 컴팩트한 내부 표현을 가짐. 이는 LLAMA-3 이 다른 내부 경로를 통해 답변을 생성함을 시사.

4. 주요 기여 (Key Contributions)

1. 통제된 실험 설계: 비전 인코더, 데이터, 학습 방법을 고정하고 LLM 백본 (LLAMA-1~3) 만 변경하여 LLM 진화의 순수한 영향을 규명한 최초의 체계적 연구 중 하나.
2. 작업 의존성 발견: LLM 백본의 업그레이드가 모든 VLM 작업에서 일관된 성능 향상을 가져오지 않으며, 작업의 성격 (기억 기반 vs 시각적 추론) 에 따라 결과가 달라짐을 증명.
3. 행동적 전환 (Behavioral Shift) 규명: 최신 LLM 기반 VLM 은 단순히 더 많은 문제를 푸는 것이 아니라, 시각 정보를 처리하는 방식이 달라 다른 문제 세트를 해결한다는 것을 인스턴스 수준 상관관계 분석을 통해 입증.
4. 내부 메커니즘 분석: 최신 LLM 기반 VLM 이 더 낮은 신뢰도 (과신 방지) 와 점진적인 내부 표현 정제를 통해 더 나은 성능을 낸다는 것을 계층별 컨텍스트 벡터 분석을 통해 설명.
5. 새로운 능력의 등장: 구조화된 수치 출력 등 특정 능력은 점진적 개선이 아닌, 특정 LLM 세대 (LLAMA-3) 에서 갑자기 등장할 수 있음을 발견.

5. 의의 및 결론 (Significance)

이 연구는 VLM 개발자들에게 중요한 통찰을 제공합니다. 단순히 최신 LLM 을 백본으로 교체한다고 해서 VLM 성능이 무조건 좋아지는 것은 아니며, 목표 작업의 특성 (비전 의존도, 추론 유형) 을 고려해야 합니다. 또한, 전체 정확도 (Aggregate Accuracy) 만으로는 모델의 실제 행동을 파악하기 어렵고, 내부 표현의 변화와 신뢰도 보정 (Calibration) 을 함께 분석해야 함을 강조합니다.

마지막으로, 비전 인코더가 병목인 작업에서는 LLM 을 업그레이드하는 것보다 비전 인코더를 개선하는 것이 더 효과적일 수 있으며, 특정 도메인 지식이나 구조화된 출력 능력이 필요한 경우 최신 LLM 백본의 도입이 필수적임을 시사합니다.