Resumo Técnico: Programação Gráfica Simbólica com Grandes Modelos de Linguagem

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) demonstraram fortes capacidades em síntese de programas, mas sua habilidade de gerar Programas Gráficos Simbólicos (SGPs) — especificamente código que renderiza conteúdo visual preciso e executável — permanece subexplorada. Diferente da geração de texto-para-imagem padrão, que depende de representações latentes de pixels, os SGPs exigem que o modelo traduza linguagem natural em código formal e estruturado (por exemplo, Scalable Vector Graphics ou SVG). Esta tarefa exige raciocínio espacial preciso, acurácia geométrica e lógica composicional, preenchendo a lacuna entre descrições linguísticas abstratas e saídas visuais determinísticas. O artigo aborda duas questões primordiais:

1. Até que ponto os atuais LLMs conseguem gerar SGPs de forma eficaz?
2. Como as capacidades de geração dos LLMs, particularmente de modelos de código aberto, podem ser melhoradas para igualar sistemas proprietários de fronteira?

Metodologia

1. Construção do Benchmark: SGP-GenBench

Para avaliar sistematicamente a geração de SGP, os autores introduzem o SGP-GenBench, um benchmark de larga escala composto por três componentes complementares:

• Geração de Cenas (COCO-val): 1.024 exemplos do MS-COCO avaliando cenas complexas com múltiplos objetos e interações.
• Geração de Objetos (SGP-Object): 930 exemplos focados na renderização de alta fidelidade de objetos únicos.
• Geração Composicional (SGP-CompBench): 3.200 prompts testando três dimensões composicionais específicas:
  • Vinculação de Atributos (Attribute Binding): Consistência de cor, forma e textura.
  • Relações Espaciais: Relações espaciais 2D, 3D e implícitas.
  • Numeracia: Geração precisa de contagens específicas de objetos (3 a 10 itens).

As métricas de avaliação incluem fidelidade semântica (CLIP-Score, DINO-Score, VQA-Score, HPS v2) e qualidade composicional (julgada via prompts específicos para atributos, relações e precisão de contagem).

2. Aprendizado por Reforço com Recompensas Verificáveis (RLVR)

Para melhorar a geração de SGP, os autores propõem uma abordagem de Aprendizado por Reforço (RL) utilizando Otimização de Política Relativa de Grupo (GRPO). O método não requer programas SVG de verdade (ground-truth) ou conjuntos de dados pareados de imagem-código. Em vez disso, ele utiliza modelos de fundação de visão externos para fornecer sinais de recompensa verificáveis.

Design de Recompensa:
A função de recompensa $r(s, c, x)$ para um SVG $s$, legenda $c$ e imagem de referência opcional $x$ é fatorizada em:

• Portão de Validade de Formato ($r_{fmt}$): Uma verificação binária garantindo que a saída siga uma estrutura específica <THINK>/<ANSWER> e seja renderizada com sucesso em uma imagem rasterizada sem erros. Saídas inválidas recebem recompensa zero.
• Alinhamento Perceptivo:
  • Alinhamento Texto-Imagem ($r_{Text}$): Computa a similaridade de cosseno entre a legenda e a imagem renderizada usando um codificador de linguagem-visão contrastivo (ex: SigLIP).
  • Alinhamento Imagem-Imagem ($r_{Image}$): Quando uma imagem de referência está disponível, computa a similaridade entre a imagem renderizada e a referência usando um codificador de visão autossupervisionado (ex: DINO).

A recompensa total é uma soma ponderada desses componentes, controlada pelo portão de validade. Isso permite que o modelo aprenda com imagens brutas e prompts de texto sem necessidade de anotações explícitas de programas.

Principais Contribuições

1. SGP-GenBench: A introdução de um benchmark abrangente que avalia LLMs através de fidelidade de objeto, coerência de cena e consistência composicional (atributos, relações espaciais e numeracia).
2. Geração de SGP Impulsionada por RL: Um novo framework de pós-treinamento que utiliza recompensas de alinhamento cross-modal (similaridade texto-imagem e imagem-imagem) para ajustar (fine-tuning) LLMs para geração de SVG. Esta abordagem permite que modelos de código aberto alcancem desempenho comparável aos sistemas proprietários de fronteira.
3. Análise de Comportamento Emergente: Uma análise detalhada revelando que o treinamento por RL induz estratégias emergentes específicas:
   • Decomposição: O modelo aprende a decompor objetos complexos em primitivas mais simples e controláveis (ex: separando uma motocicleta em rodas, quadro e luzes) em vez de gerar blocos de código monolíticos.
   • Detalhamento Contextual: O modelo gera espontaneamente detalhes semanticamente relevantes e não solicitados (ex: adicionando ondas a uma cena de praia ou granulados a um bolo) para aumentar a coerência e o realismo da cena.

Resultados Experimentais

Desempenho do Benchmark

• Proprietário vs. Código Aberto: Modelos proprietários de fronteira (ex: Claude 3.7 Sonnet Thinking, Gemini 2.5 Pro) superam significativamente os modelos de código aberto no SGP-GenBench. O desempenho correlaciona-se fortemente com as capacidades gerais de codificação.
• Impacto do RL: O modelo Qwen-2.5-7B ajustado via RL reduziu substancialmente a lacuna em relação aos sistemas proprietários.
  • Melhorou sua pontuação composicional geral de 8.8 (base) para 60.8, superando outros modelos de código aberto como DeepSeek-R1 e QwQ-32B.
  • Alcançou o maior VQA-Score (0.596) entre todos os modelos, superando ligeiramente o Claude 3.7 Sonnet Thinking.
  • Demonstrou fidelidade de detalhe superior em comparações qualitativas, gerando formas geométricas e elementos de cena mais precisos do que os modelos de base.

Estudos de Ablação

• Modelos de Embedding: O uso do SigLIP como codificador texto-imagem proporcionou maior fundamentação (grounding) e diversidade em comparação ao CLIP, particularmente em divisões de imagens do mundo real (COCO).
• Cadeia de Pensamento (CoT): O prompting explícito de CoT foi considerado não essencial para o desempenho quantitativo; o próprio código SVG serve como um rastro de raciocínio implícito.
• Best-of-N vs. RL: A análise da amostragem Best-of-N mostrou que, embora o aumento das amostras melhore o desempenho, os ganhos do treinamento por RL são qualitativos e não podem ser replicados pela amostragem padrão dentro de orçamentos de computação práticos (exigindo milhões de amostras para igualar os ganhos de 1.000 passos de RL).

Significância e Alegações

O artigo postula que a programação gráfica simbólica oferece uma lente precisa e interpretável para estudar o alinhamento cross-modal. Ao forçar os LLMs a gerar código executável em vez de pixels latentes, a tarefa expõe deficiências específicas em raciocínio espacial e lógica composicional.

Os autores alegam que o Aprendizado por Reforço com Recompensas Cross-Modais fornece um mecanismo escalável para injetar conhecimento visual em LLMs sem a necessidade de conjuntos de dados de imagem-programa curados e caros. Os resultados demonstram que modelos de código aberto podem ser treinados para se aproximar das capacidades de sistemas fechados de fronteira na geração de gráficos vetoriais complexos e semanticamente alinhados. Além disso, os comportamentos emergentes observados (decomposição e detalhamento contextual) sugerem que o RL não apenas otimiza o sinal de recompensa, mas também promove uma compreensão mais profunda e estruturada de cenas visuais.