기술 요약: 시각적 피드백을 통한 자기 증류 정책 최적화 (Self-Distillation Policy Optimization via Visual Feedback)

1. 문제 정의

코드 생성 대규모 언어 모델(LLM)은 실행 가능한 코드를 작성함으로써 시각적 산출물(차트, 웹 페이지, 슬라이드)을 생성하는 과업을 점점 더 많이 수행하고 있습니다. 모델의 최적화 대상(구문적으로 유효한 코드)과 사용자의 평가 대상(렌더링된 시각적 결과물) 사이에는 근본적인 괴리가 존재합니다. 렌더링 과정은 미분 불가능하기 때문에, 모델은 시각적 결과를 관찰하기 전에 코드를 확정해야 합니다. 결과적으로, 실행 가능한 코드라 할지라도 요소 중첩, 텍스트 잘림, 정렬 오류, 낮은 대비, 오버플로와 같은 두드러진 시각적 결함을 포함하는 산출물을 생성하는 경우가 빈번합니다.

이러한 "코드-비전 간극(code–vision gap)"을 메우려는 기존 방식들은 상당한 한계에 직면해 있습니다:

• 추론 시점의 시각적 성찰(Inference-time visual reflection): 반복적인 '렌더링-비판-수정' 루프는 추론 시점에 렌더러를 재실행하고 비판 모델(critic)에 질의해야 하므로, 높은 배포 비용과 지연 시간을 초과합니다.
• 시각적 보상 강화 학습(Visual-reward Reinforcement Learning): 이미지 수준의 스칼라 보상(예: GRPO 또는 DPO를 통한)을 최적화하는 방법은 희소한 궤적 수준의 감독에 의존합니다. 이 방식은 그래디언트가 형성되기 전에 개별 요소의 진단을 단일 숫자로 붕괴시켜, 공간적 세밀함을 상실합니다.

2. 방법론: Visual-SDPO

본 논문은 Visual-SDPO를 제안합니다. 이는 렌더링된 시각적 피드백을 가중치를 공유하는 교사(teacher) 모델의 "특권 컨텍스트(privileged context)"로 취급하여, 추론 시에는 렌더러 없이 작동하는 코딩 학생(student) 모델로 이를 증류하는 자기 증류 정책 최적화 프레임워크입니다.

2.1 시각적 피드백 자기 증류 (Visual-Feedback Self-Distillation)

이 프레임워크는 두 모델이 가중치($\pi_\theta$)를 공유하는 교사-학생 구조를 채택합니다:

• 학생(Student): 원래의 프롬프트 $x$에만 의존하여 코드 롤아웃 $y$를 생성합니다.
• 교사(Teacher): 프롬프트 $x$와 더불어 특권 시각적 컨텍스트 $v$에 의존하여 학생의 토큰을 재점수 매깁니다. 컨텍스트 $v$는 학생의 자체 롤아웃으로부터 도출됩니다:
  • 이미지 채널: 렌더링된 원본 산출물 (또는 렌더링 실패 시 실행 에러 메시지).
  • 루브릭 채널: 산출물에서 추출된 구조화된 이진 결함 테이블 (예: 정렬, 중첩, 색상 등).
• 목표: 학생은 자신의 토큰 분포와 시각적 결과를 확인할 수 있는 교사의 분포 사이의 Kullback-Leibler(KL) 발산을 최소화합니다. 이를 통해 렌더러 없이도 시각적 이해를 학생에게 전달합니다.

2.2 시각적 근거 기반 코드 크레딧 가중치 부여 (Visual-Grounded Code Credit Weighting)

표준적인 토큰 수준 증류는 모든 출력 토큰을 동일하게 취급하여, 비시각적 스캐폴딩(예: import, 제어 흐름)에서 정책 드리프트(policy drift)를 유발할 수 있습니다. 이를 해결하기 위해 저자들은 공간적으로 타겟팅된 감독을 제공하는 시각적 근거 기반 코드 크레딧 가중치 부여 방식을 도입했습니다:

1. 결함 탐지: 탐지기가 렌더링된 산출물에서 결함 $D$(영역 및 심각도)를 식별합니다.
2. 영역-코드 매핑 ($M$): 결함 영역을 해당 영향을 받는 요소의 책임이 있는 특정 코드 문장으로 추적하는 매핑 메커니즘입니다. 이는 다음을 통해 수행됩니다:
   • 런타임 내성(Runtime Introspection): 각 요소의 소스 문장을 기록하기 위해 렌더러(matplotlib, Playwright, python-pptx)를 계측합니다.
   • VLM 기반 매핑: 교사 VLM을 사용하여 코드와 주석이 달린 이미지로부터 책임 있는 문장을 식별합니다.
3. 문장 가중치 손실(Statement-Weighted Loss): 생성된 영역과 탐지된 결함 사이의 겹침(IoU)을 기반으로 각 문장 $s$에 대한 책임 점수 $resp(s)$를 계산합니다. 이 점수는 다음과 같이 각 토큰의 가중치$w_t$로 변환됩니다:
   $$w_t = 1 + (\alpha - 1) \cdot resp(s(t))$$
   여기서 $\alpha \ge 1$은 증폭 계수입니다. 결함을 유발하는 문장에 포함된 토큰은 더 높은 가중치를 받게 되어, 시각적 오류를 일으키는 특정 코드에 증류 그래디언트를 집중시킵니다.

2.3 최종 훈련 목적 함수

이 프레임워크는 조밀하고 국소화 가능한 토큰 수준의 증류 손실과 시퀀스 수준의 그룹 상대 정책 최적화(GRPO) 보상을 결합합니다:
$$L(\theta) = L_{VSDPO}(\theta) + \beta \cdot L_{GRPO}(\theta)$$

• 증류 항 ($L_{VSDPO}$): 시각적 결함에 의해 가중치가 부여된 조밀하고 효율적인 감독을 제공합니다.
• GRPO 항 ($L_{GRPO}$): 곱셈적 보상 $r(y) = r_{exec}(y) \cdot r_{vis}(y)$를 사용합니다. 여기서 $r_{exec}$는 코드 실행 가능성을 보장하고, $r_{vis}$는 루브릭 추출기에 기반한 등급 점수를 제공합니다. 이는 훈련을 다양한 도메인에 고정시키고, 코드가 실행되지 않을 때도(에러 메시지 피드백을 통해) 신호를 제공합니다.

3. 주요 기여

1. Visual-SDPO 프레임워크: 가중치를 공유하는 교사가 렌더링된 산출물을 특권 컨텍스트로 관찰하여, 추론 시에는 렌더러가 필요 없는 코딩 학생에게 시각적 피드백을 증류하는 자기 증류 접근 방식입니다.
2. 시각적 근거 기반 코드 크레딧 가중치 부여: 시각적 결함을 책임이 있는 코드 문장으로 추적하여 토큰 수준의 증류에 가중치를 부여함으로써, 그래디언트가 균등한 토큰 매칭이 아닌 공간적으로 관련 있는 코드에 집중되도록 보장하는 메커즘입니다.
3. 통합 평가: 단일 Qwen3-VL-8B-Instruct 백본을 사용하여 차트, 웹/UI, 슬라이드의 세 가지 별도 도메인에 걸쳐 종합적인 구현 및 평가를 수행함으로써 방법론의 범용성을 입증했습니다.

4. 실험 결과

본 방법론은 ChartMimic(차트), Design2Code(웹/UI), AeSlides(슬라이드)에서 평가되었습니다.

• 성능 향상: Visual-SDPO는 모든 벤치마크의 주요 지표에서 제로샷(zero-shot) 대비 10 절대 포인트 이상 개선되었습니다.
  • ChartMimic: 제로샷 대비 +10.7 포인트; 가장 강력한 단일 신호 베이스라인(OPSD) 대비 +1.6 포인트.
  • Design2Code: 제로샷 대비 +10.5 포인트; GRPO 대비 +2.6 포인트.
  • AeSlides: 제로샷 대비 +11.2 포인트; GRPO 대비 +2.5 포인트.
• 절제 연구(Ablation) 통찰:
  • 상보성: 조밀한 토큰 수준 증류(크레딧 가중치 포함)와 시퀀스 수준 GRPO의 결합은 어느 한 신호만 사용했을 때보다 우수한 성능을 보였습니다. 토큰 수준 감독은 특히 matplotlib API나 CSS 속성과 같은 저수준 구조적 세부 사항에 효과적이었던 반면, GRPO는 전체적인 궤적을 고정하는 역할을 했습니다.
  • 효율성: Visual-SDPO는 훨씬 적은 롤아웃 생성량(GRPO 예산의 약 29%)으로 GRPO 전체 훈련과 대등한 성능을 달성하여, 실행 시간 측면에서도 우수한 샘플 효율성을 보여주었습니다.
• 백본: 모든 실험에는 통합된 Qwen3-VL-8B-Instruct 백본이 사용되었습니다.

5. 의의 및 주장

본 논문은 Visual-SDPO를 특권 자기 증류, 시각적 피드백 훈련, 그리고 코드 생성 시각 산출물의 교차점에 위치시킵니다. 주요 의의는 다음과 같습니다:

• 간극 해소: 렌더링된 피드백을 추론 시 비용 없이 사용할 수 있는 특권 신호로 활용함으로써 코드-비전 간극을 효과적으로 해결합니다.
• 세밀한 감독: 스칼라 보상 방식과 달리, 어떤 코드 문장이 특정 시각적 결함을 유발하는지 식별하는 국소화되고 공간적으로 타겟팅된 피드백을 제공합니다.
• 안정성 및 효율성: 조밀한 증류와 궤적 수준의 보상을 결합함으로써, 순수 RL 방식보다 샘파일 효율적이면서 안정적인 훈련을 달성합니다.

저자들은 이 접근 방식이 추론 시 외부 VLM 비판 모델이나 렌더러를 필요로 하지 않으므로, 생성된 산출물의 높은 시각적 충실도를 유지하면서도 자원이 제한된 환경에 배포하기에 적합하다고 언급합니다.