기술 요약: DeltaPrompts – 멀티모달 증류에서의 제로-델타 함정 탈출

문제 제기

지식 증류는 강력한 교사 모델을 활용하여 소형 비전 - 언어 모델 (VLM) 에 강력한 추론 능력을 부여하는 핵심 메커니즘이 되어 왔습니다. 그러나 현재 관행은 ChartQA, SciVQA 와 같은 오프더셸 (off-the-shelf) 데이터셋에 크게 의존하고 있으며, 여기서 프롬프트는 단순한 휴리스틱을 통해 선택되거나 기존 풀에서 집계됩니다. 저자들은 이 접근법에서 치명적인 비효율성을 발견했습니다: 이러한 프롬프트의 상당 부분이 "제로 - 델타 (zero-delta)"라는 것입니다.

제로 - 델타 프롬프트는 주어진 입력에 대해 교사와 학생 모델이 정확히 동일한 답변 분포를 유도할 때 정의됩니다. 이러한 경우, 증류 신호는 학생이 극복해야 할 능력 격차를 노출하지 않으므로 학습 가치가 극히 미미합니다. 논문에 따르면, 표준 차트 및 문서 추론 데이터셋의 프롬프트 중 최대 **69%**가 실질적으로 제로 - 델타입니다. 이러한 프롬프트로 학습하면 데이터 규모와 상관없이 학생 모델의 성능이 급격히 포화됩니다. furthermore, 기존 데이터셋을 단순히 필터링하여 제로 - 델타가 아닌 프롬프트만 유지하는 것은 최적의 방법이 아닙니다. 이는 훈련 데이터의 다양성을 최대 29.4% 까지 급격히 감소시키기 때문이며, 이로 인해 일반화를 희생하면서 발산성 (divergence) 만 얻는 트레이드오프가 발생합니다.

방법론

제로 - 델타 함정을 해결하기 위해 저자들은 수동적인 데이터 선별에서 답변 발산 (Answer Divergence, $\Delta$) 원칙에 기반한 능동적인 프롬프트 합성으로의 전환을 제안합니다.

1. 답변 발산의 정의

가변 길이 출력으로 인해 노이즈가 많고 계산적으로 처리하기 어려운 시퀀스 수준 발산 대신, 저자들은 최종 답변의 이산 공간 (discrete space) 에 대해 답변 발산을 정의합니다.

• 지표: $\Delta(x) = D_{KL}(P_\theta(\cdot|x) \parallel P_T(\cdot|x))$. 여기서 $P_\theta$와 $P_T$는 각각 학생과 교사의 경험적 답변 분포입니다.
• 추정: 두 모델로부터 $K=16$개의 궤적을 샘플링하여 분포를 근사화합니다. LLM 판정자 (Qwen3-32B) 는 표면적 변이를 처리하기 위해 의미적으로 동등한 답변을 그룹화하여, 개방형 답변에서도 발산을 견고하게 계산할 수 있도록 합니다.

2. DELTAPROMPTS 합성 파이프라인

저자들은 기존 데이터셋을 직접적인 훈련 자원이 아닌 시드 (seed) 로 재사용하는 3 단계 합성 파이프라인을 제안합니다. 파이프라인은 다음 세 단계로 구성됩니다.

• 1 단계: 시드 유도 생성: 기존 이미지 - 프롬프트 쌍을 퓨샷 (few-shot) 예제로 사용하여 교사 모델이 새로운 이미지에 대한 새롭고 더 어려운 문제를 생성하도록 유도합니다. 이를 통해 후보 풀을 확장합니다.
• 2 단계: 기술 유도 생성: 학생의 실패 모드를 명시적으로 타겟팅하기 위해, 발산이 제로가 아닌 프롬프트에 대해 교사 궤적 (정답) 과 학생 궤적 (오답) 을 대조하여 "기술 (skills)"을 추출합니다. 이러한 기술 (예: "로그 스케일 보간") 은 데이터 생성기를 조건부로 제어하는 데 사용되어, 이러한 특정 결여된 능력을 요구하는 프롬프트를 생성하도록 강제합니다.
• 3 단계: 제로 - 델타 거부: 생성된 모든 프롬프트는 답변 발산에 대해 평가됩니다. 교사와 학생이 동의하는 프롬프트 (제로 - 델타) 는 거부됩니다. 높은 교사 일관성과 제로가 아닌 발산을 가진 프롬프트만 유지됩니다.

이 과정을 통해 차트/문서 추론 및 고해상도, 지각 중심 추론을 아우르는 20 만 개의 합성 고발산 추론 문제 데이터셋인 DELTAPROMPTS가 생성됩니다.

주요 기여

1. 제로 - 델타 함정의 식별: 본 논문은 경험적으로 표준 멀티모달 추론 데이터셋이 제로 - 델타 프롬프트에 지배받고 있으며, 이로 인해 증류 중 학생 모델의 성능이 초기에 포화된다는 것을 입증합니다.
2. 원칙적 지표로서의 답변 발산: 저자들은 교사 - 학생 능력 격차를 정량화하기 위해 계산 가능하고 중요한 지표인 답변 발산을 도입했으며, 이는 원시 데이터 규모나 다양성 단독보다 증류 성공의 더 강력한 예측 변수임을 보여줍니다.
3. 2 단계 합성 파이프라인: 기존 데이터를 수동적으로 필터링하는 대신, 기술 유도 생성을 통해 학생의 실패 모드를 능동적으로 찾아내는 고품질 훈련 데이터를 생성하는 새로운 방법입니다.
4. DELTAPROMPTS 데이터셋: 답변 발산을 극대화하도록 특별히 설계된 20 만 개의 프롬프트로 구성된 대규모 다양 데이터셋으로, 발산 및 다양성 지표 모두에서 기존 혼합 데이터셋을 능가합니다.

실험 결과

저자들은 Qwen3-VL 및 GLM-4 모델 계열을 사용하여 세 가지 다른 설정에서 DELTAPROMPTS 를 평가했습니다.

• 온 - 정책 증류 (On-Policy Distillation): 교사 (Qwen3-VL-235B-Thinking) 로부터 학생 (Qwen3-VL-8B-Thinking) 을 증류할 때, DELTAPROMPTS 는 이미 매우 최적화된 추론 모델인 기본 학생 모델일지라도 ChartQA, InfoVQA, RealWorldQA 를 포함한 10 개 벤치마크에서 최대 15% 의 상대적 개선을 달성합니다.
• 크로스 - 패밀리 전이 (Cross-Family Transfer): 데이터를 재생성하지 않고 새로운 쌍에서 제로가 아닌 발산을 위해 다시 필터링하기만 하면, 이 데이터셋은 다른 모델 계열 (GLM-4.1V-9B-Thinking) 로도 일반화됩니다.
• 오프 - 정책 파인튜닝 (SFT): 추론이 아닌 모델 (Qwen3-VL-8B-Instruct) 에 대한 표준 지도 학습 파인튜닝 (SFT) 에 사용할 때, DELTAPROMPTS 는 기존 데이터 혼합물에 대한 SFT 보다 현저히 우수한 성능을 보이며, 표준 SFT 에 비해 수학, 논리, STEM 과 같은 도메인 외 작업에서 더 나은 유지율을 보입니다.
• 애블레이션 연구:
  • 발산 대 다양성: 다양성을 통제할 때, 델타 프롬프트 ($\Delta > 0$) 로 학습하면 데이터 크기에 따라 성능이 계속 향상되는 반면, 제로 - 델타 프롬프트 ($\Delta = 0$) 는 즉시 포화됩니다.
  • 일관성 필터링: 교사 일관성이 없는 프롬프트 (교사에게도 풀기 어려운 문제) 는 성능을 저하시켜, 합성 파이프라인에서 일관성 기반 필터링의 필요성을 입증합니다.

중요성과 주장

본 논문은 멀티모달 증류의 핵심 병목 현상이 더 많은 프롬프트나 궤적의 집적이 아니라, 교사와 학생이 의미 있게 이견을 보이는 프롬프트의 구성에 있다고 주장합니다.

데이터 양에서 발산의 질로 초점을 이동함으로써, 저자들은 기존 데이터셋의 휴리스틱 집계와 비교하여 훨씬 적은 데이터로도 표적 프롬프트 합성이 상당한 이득을 가져올 수 있음을 입증했습니다. 이 연구는 답변 발산이 증류에서의 효과적인 확장을 위한 근본적인 속성임을 시사하며, 더 효율적으로 유능한 소형 모델을 훈련할 수 있는 길을 제시합니다. 저자들은 DELTAPROMPTS 를 단순한 데이터셋이 아니라, 학생 모델의 특정 능력 격차를 능동적으로 타겟팅하는 더 원칙적이고 데이터 중심적인 증류 접근법의 개념 증명 (proof-of-concept) 으로 위치시킵니다.