Resumo Técnico: Otimização de Política por Autodestilação Visual via Feedback Visual

1. Definição do Problema

Modelos de Linguagem de Grande Escala (LLMs) geradores de código estão sendo cada vez mais incumbidos de produzir artefatos visuais (gráficos, páginas web, slides) através da escrita de código executável. Existe um descompasso fundamental entre o alvo de otimização do modelo (código sintaticamente válido) e o alvo de avaliação do usuário (o resultado visual renderizado). Como o processo de renderização não é diferenciável, o modelo deve se comprometer com o código antes de observar o resultado visual. Consequentemente, mesmo códigos executáveis frequentemente produzem artefatos com defeitos visuais salientes, como elementos sobrepostos, texto cortado, desalinhamento, baixo contraste e transbordamento (overflow).

Abordagens existentes para mitigar esse "gap código-visão" enfrentam limitações significativas:

• Reflexão visual em tempo de inferência: Ciclos iterativos de renderização–crítica–revisão exigem a reexecução de renderizadores e consultas a críticos durante a inferência, levando a altos custos de implantação e latência.
• Aprendizado por Reforço (RL) com recompensa visual: Métodos que otimizam contra recompensas escalares ao nível da imagem (ex: via GRPO ou DPO) sofrem de supervisão esparsa em nível de trajetória. Eles colapsam diagnósticos por elemento em um único número antes que os gradientes possam ser moldados, perdendo a granularidade espacial.

2. Metodologia: Visual-SDPO

O artigo propõe o Visual-SDPO, um framework de otimização de política de autodestilação que trata o feedback visual renderizado como "contexto privilegiado" para um modelo professor que compartilha pesos, destilando este feedback para um modelo aluno de codificação que opera sem o renderizador durante a inferência.

2.1 Autodestilação de Feedback Visual

O framework emprega uma arquitetura professor-aluno onde ambos compartilham pesos ($\pi_\theta$):

• Aluno: Gera um rollout de código $y$ condicionado apenas ao prompt original $x$.
• Professor: Re-pontua os tokens do aluno condicionado ao prompt $x$ mais o contexto visual privilegiado $v$. O contexto $v$ é derivado do próprio rollout do aluno:
  • Canal de Imagem: O artefato renderizado bruto (ou mensagens de erro de execução, caso a renderização falhe).
  • Canal de Rubrica: Uma tabela binária estruturada de defeitos (ex: alinhamento, sobreposição, cor) extraída do artefato.
• Objetivo: O aluno minimiza a divergência de Kullback-Leibler (KL) entre sua distribuição de tokens e a distribuição do professor, que possui acesso ao resultado visual. Isso transfere a compreensão visual para o aluno sem exigir um renderizador durante a inferência.

2.2 Atribuição de Crédito de Código Baseada em Visão

A destilação padrão de nível de token trata todos os tokens de saída igualmente, o que pode induzir o desvio da política (policy drift) em estruturas não visuais (ex: importações, controle de fluxo). Para resolver isso, os autores introduzem a Atribuição de Crédito de Código Baseada em Visão, que visa espacialmente a supervisão:

1. Detecção de Defeitos: Um detector identifica defeitos visuais $D$ (regiões e severidade) no artefato renderizado.
2. Mapeamento Região-Código ($M$): Um mecanismo de mapeamento rastreia cada região de defeito de volta às instruções de código específicas responsáveis pelos elementos afetados. Isso é alcançado via:
   • Introspecção de Tempo de Execução: Instrumentação de renderizadores (matplotlib, Playwright, python-pptx) para registrar a instrução de origem para cada elemento.
   • Mapeamento Baseado em VLM: Uso do VLM professor para identificar instruções responsáveis a partir do código e das imagens anotadas.
3. Perda Ponderada por Instrução: Uma pontuação de responsabilidade $resp(s)$ é computada para cada instrução $s$ baseada na sobreposição (IoU) entre suas regiões geradas e os defeitos detectados. Esta pontuação é convertida em um peso por token $w_t$:
   $$w_t = 1 + (\alpha - 1) \cdot resp(s(t))$$
   onde $\alpha \ge 1$ é um fator de amplificação. Tokens em instruções que causam defeitos recebem pesos maiores, concentrando o gradiente de destilação nas instruções específicas responsáveis pelos erros visuais.

2.3 Objetivo de Treinamento Final

O framework combina a destilação densa e localizável de nível de token com uma recompensa de Otimização de Política Relativa de Grupo (GRPO) de nível de sequência:
$$L(\theta) = L_{VSDPO}(\theta) + \beta \cdot L_{GRPO}(\theta)$$

• Termo de Destilação ($L_{VSDPO}$): Fornece supervisão densa e eficiente em termos de amostras, ponderada por defeitos visuais.
• Termo GRPO ($L_{GRPO}$): Utiliza uma recompensa multiplicativa $r(y) = r_{exec}(y) \cdot r_{vis}(y)$, onde $r_{exec}$ garante a executabilidade do código e $r_{vis}$ é uma pontuação graduada baseada no extrator de rubrica. Isso ancora o treinamento entre domínios e fornece um sinal mesmo quando o código falha ao executar (via feedback de mensagens de erro).

3. Principais Contribuições

1. Framework Visual-SDPO: Uma abordagem de autodestilação para artefatos visuais gerados por código, onde um professor compartilha pesos observa os artefatos renderizados como contexto privilegiado, destilando o feedback visual para um aluno que não requer um renderizador durante a inferência.
2. Atribuição de Crédito de Código Baseada em Visão: Um mecanismo que rastreia defeitos visuais de volta às instruções de código responsáveis para ponderar a destilação de nível de token, garantindo que os gradientes foquem em código espacialmente relevante em vez de uma correspondência uniforme de tokens.
3. Avaliação Unificada: Uma instanciação e avaliação abrangente em três domínios distintos (gráficos, web/UI, slides) usando um único backbone Qwen3-VL-8B-Instruct, demonstrando a versatidade do método.

4. Resultados Experimentais

O método foi avaliado no ChartMimic (gráficos), Design2Code (web/UI) e AeSlides (slides).

• Ganhos de Desempenho: O Visual-SDPO melhorou em relação ao zero-shot base em mais de 10 pontos absolutos nas métricas primárias em todos os benchmarks.
  • ChartMimic: +10.7 pontos sobre o zero-shot; +1.6 pontos sobre o baseline de sinal único mais forte (OPSD).
  • Design2Code: +10.5 pontos sobre o zero-shot; +2.6 pontos sobre o GRPO.
  • AeSlides: +11.2 pontos sobre o zero-shot; +2.5 pontos sobre o GRPO.
• Insights de Ablação:
  • Complementaridade: A combinação de destilação densa de nível de token (com atribuição de crédito) e GRPO de nível de sequência superou qualquer um dos sinais isoladamente. A supervisão de nível de token foi particularmente eficaz para detalhes estruturais de baixo nível (ex: APIs do matplotlib, propriedades CSS), enquanto o GRPO ancorou a trajetória geral.
  • Eficiência: O Visual-SDPO alcançou desempenho comparável ao treinamento completo via GRPO com significativamente menos gerações de rollout (aprox. 29% do orçamento do GRPO) e menos tempo de execução (wall-clock time), demonstrando superior eficiência de amostragem.
• Backbone: Todos os experimentos utilizaram um Qwen3-VL-8B-Instruct unificado.

5. Significância e Alegações

O artigo posiciona o Visual-SDPO na interseção da autodestilação privilegiada, treinamento com feedback visual e artefatos visuais gerados por código. Sua principal significância reside em:

• Preenchimento do Gap: Ele aborda efetivamente o gap código-visão ao usar o feedback renderizado como um sinal privilegiado sem incorrer em custos de inferência.
• Supervisão Granular: Ao contrário dos métodos de recompensa escalar, ele fornece feedback localizável e espacialmente direcionado, identificando exatamente quais instruções de código causam defeitos visuais específicos.
• Estabilidade e Eficiência: Ao combinar a destilação densa com recompensas de nível de trajetória, ele alcança um treinamento estável que é mais eficiente em termos de amostragem do que as abordagens de RL puro.

Os autores observam que esta abordagem evita a necessidade de críticos VLM externos ou renderizadores durante a inferência, tornando-a adequada para implantação em ambientes de recursos limitados, mantendo alta fidelidade visual nos artefatos gerados.