기술 요약: DV-SFT (세밀한 시각 이해를 위한 직접적 시각 감독)

문제 제기

다중 모달 대규모 언어 모델 (MLLM) 은 일반적으로 텍스트 토큰에만 감독 신호를 적용하는 다음 토큰 예측 목적을 사용하여 엔드 투 엔드 방식으로 훈련됩니다. 결과적으로 시각 정보를 주로 전달하는 시각 토큰은 맥락의 일부로서만 암묵적으로 최적화됩니다. 이러한 직접적인 의미론적 지침의 부재는 세밀한 세부 사항이 종종 간과되거나 환각되는 거친 입자 수준의 시각 이해로 이어집니다.

시각 토큰을 감독하여 시각적 정밀도를 향상시키려는 기존 시도는 다음과 같은 중대한 한계에 직면해 있습니다:

1. 간접성: 보상 신호나 표현 정렬에 의존하는 방법은 거칠거나 노이즈가 많은 감독을 제공합니다.
2. 목적 불일치: 다음 시각 토큰 예측이나 픽셀 단위 재구성 같은 접근 방식은 종종 시각 이해의 목표와 불일치합니다.
3. 아키텍처 복잡성: 대부분의 방법은 추가 구성 요소 (예: 디코더, 토크나이저) 또는 추가 순전파를 필요로 하여 실용적 적용성을 저해하고 통합된 훈련 패러다임을 유지하는 것을 방해합니다.

표준 MLLM 훈련에 원활하게 통합되는 직접적이고 직관적이며 아키텍처적으로 단순한 형태의 시각 감독에 대한 요구가 여전히 존재합니다.

방법론: 직접적 시각 감독 미세 조정 (DV-SFT)

저자들은 텍스트에 사용되는 동일한 다음 토큰 예측 목적을 사용하여 시각 토큰에 대한 명시적이고 토큰 수준의 감독을 구축하는 DV-SFT를 제안합니다. 핵심 가설은 이미지 패치 내용을 설명하는 단어가 해당 시각 토큰에 대한 직접적인 레이블로 작용할 수 있다는 것입니다.

주요 구성 요소

1. 시각 레이블 구축:
   시각 토큰에 레이블을 지정하는 과제를 해결하기 위해, 저자들은 OCR 관련 시나리오에서의 직접적인 시각 - 텍스트 대응을 활용하여 두 가지 파이프라인을 사용합니다:

   • 이미지 - 레이블: 텍스트 감지 및 인식 모델을 사용하여 단어와 그 공간적 위치를 추출합니다. 단어는 해당 시각 토큰의 오른쪽 아래 모서리에 정렬됩니다.
   • 레이블 - 이미지: 단일 모달 데이터셋의 문서를 빈 이미지 패치 그리드에 렌더링하는 그리기 도구를 사용하여 단어와 시각 토큰 간의 정밀한 정렬을 보장합니다.
   • 필터링: 과도한 토큰화 길이 또는 높이를 가진 단어는 주석의 정확성을 보장하기 위해 폐기됩니다.

2. 훈련 목적:
   DV-SFT 는 모델 아키텍처 수정이 필요 없는 블랙박스 방식으로 MLLM 을 다룹니다. 전체 손실 함수는 표준 텍스트 감독 ($L_t$) 과 직접적 시각 감독 ($L_v$) 을 결합합니다:
   $$L = L_t + \lambda L_v$$
   여기서 $L_v$는 해당 단어 레이블을 사용하여 시각 토큰에 대해 계산된 교차 엔트로피 손실입니다. 병렬 훈련을 보장하기 위해 시각 레이블의 첫 번째 토큰만 손실 계산에 사용됩니다.

3. 시각 평활화:
   시각 인코더는 LLM 의 인과적 특성과 달리 양방향 특성을 가지므로, 단일 시각 토큰은 후속 토큰들의 의미론적 정보를 포함할 수 있습니다. 이를 해결하기 위해 저자들은 레이블 평활화에서 영감을 받은 시각 평활화를 도입합니다. 이는 시각 토큰이 자신의 레이블을 학습하면서도 이미지 내의 다른 시각 레이블들도 학습하도록 하여 정보 제한을 방지합니다.

주요 기여

1. 새로운 훈련 패러다임: 모델 아키텍처나 순전파 경로를 수정하지 않고 시각 토큰에 대한 직접적인 토큰 수준 감독을 가능하게 하는 DV-SFT 제안으로, 완전히 통합된 엔드 투 엔드 훈련 패러다임을 유지합니다.
2. 레이블 구축 파이프라인: OCR 과 그리기 도구를 활용하여 시각 토큰에 대한 세밀한 토큰 수준 감독을 생성하는 오프라인 파이프라인 설계.
3. 실증적 검증: DV-SFT 가 시각 능력을 크게 향상시키고 여러 벤치마크에서 표준 감독 미세 조정 (SFT) 및 표현 기반 베이스라인 (예: BASIC) 을 능가함을 보여주는 광범위한 실험.

실험 결과

저자들은 여덟 개의 벤치마크에서 세 개의 기본 모델 (Qwen3-VL-2B, Qwen3-VL-8B, Qwen3-1.7B) 에 대해 DV-SFT 를 평가했습니다.

• 도메인 내 성능: DV-SFT 는 문서 및 차트 이해 작업 (DocVQA, InfographicVQA, SQuAD) 에서 표준 SFT 일관된 우위를 보였습니다. 특히, 하위 최적의 표현 품질로 인해 더 작은 모델에서 모델 저하를 겪었던 BASIC 방법보다 우수한 성능을 보였습니다.
• 도메인 외 일반화: DV-SFT 는 ChartQA, OCRBench, OCRVQA, TextVQA 와 같은 작업에서 강력한 일반화를 보여주었습니다. 성능 향상은 도메인 내 작업 (평균 0.74%) 에 비해 도메인 외 작업 (평균 1.6%) 에서 더 두드러졌으며, 이는 작업 특이적 과적합이 아닌 진정한 시각 이해 향상을 시사합니다.
• 다중 모달 정렬: 훈련 과정 분석은 시각 감독이 시각 특징 학습을 가속화하며, 특히 훈련 초기 단계와 처음부터 학습하는 단일 모달 모델에서 두드러진다는 것을 보여주었습니다.
• 문자 인식: DV-SFT 는 문맥적 및 비문맥적 (의미론적으로 무의미한) 텍스트 인식 작업 모두에서 문자 인식 정확도를 향상시켜 세밀한 시각 이해의 향상을 확인시켰습니다.
• 일반 시각 능력: MME 벤치마크 (일반 시각 지각 및 인지) 에 대한 평가는 텍스트 기반 시각 감독이 일반 시각 능력을 저하시키지 않으며, 오히려 전반적인 성능을 약간 향상시켜 학습된 메커니즘이 비텍스트 시나리오에도 일반화됨을 시사했습니다.

중요성과 주장

이 논문은 DV-SFT가 MLLM 의 거친 입자 수준 시각 이해 문제에 대한 실용적이고 효과적인 해결책을 제공한다고 주장합니다. 시각 감독을 표준 다음 토큰 예측 작업으로 취급함으로써 이 방법은 다음과 같은 이점을 제공합니다:

• 아키텍처 오버헤드 제거: 추가 디코더, 토크나이저 또는 순전파가 필요 없어 기존 MLLM 파이프라인에 즉시 적용 가능합니다.
• 세밀한 이해 향상: 직접적인 감독은 모델이 시각 토큰을 특정 의미론적 내용과 정렬하도록 강제하여 환각을 줄이고 정밀도를 향상시킵니다.
• 정렬 효율성 향상: 이 방법은 간접적 감독 방법보다 높은 다중 모달 정렬 효율성을 달성합니다.

저자들은 현재 구현이 레이블 구축을 위해 OCR 시나리오에 의존하지만, 직접적 시각 감독의 원칙이 보다 견고한 MLLM 훈련을 위한 필수 단계라고 결론지으며, 향후 작업을 통해 이러한 방법을 텍스트를 넘어 더 넓은 시각 영역으로 확장할 계획이라고 밝혔습니다.