Resumo Técnico: DARS – RL de Atribuição de Crédito de Nível Duplo com Raciocínio Estruturado para Edição de Imagens Baseada em Instruções

Declaração do Problema

Sistemas de edição de imagens baseados em instruções adotam cada vez mais um pipeline planejador-renderizador: um Modelo de Linguagem Visual (VLM) interpreta uma instrução de linguagem natural para gerar um plano de edição intermediário, que um modelo de difusão então executa para produzir a imagem final. Embora essa decomposição melhore o controle, ela introduz um problema de atribuição de crédito de nível duplo ao otimizar via Aprendizado por Reforço (RL) com recompensas da imagem final:

1. Ambiguidade Entre Módulos: Uma imagem final ruim não revela se a falha se originou de um plano falho (erro do planejador) ou de uma falha ao executar um plano correto (erro do renderizador). Estratégias padrão de RL conjunto ou atualizam os módulos uniformemente (diluindo o sinal de aprendizado) ou otimizam-nos separadamente (perdendo melhorias coordenadas).
2. Opacidade Intra-Planejador: Mesmo quando o planejador é o gargalo, rastros de raciocínio de formato livre tornam difícil localizar qual parte específica do plano (por exemplo, a intenção de modificação, restrições de preservação ou dicas de execução) está incorreta, impedindo correções direcionadas.

Métodos existentes lutam para distinguir entre modos de falha "dominantes pelo plano" e "dominantes pela renderização", levando a uma otimização ineficiente onde edições com pontuação baixa não indicam onde o esforço de otimização adicional deve ser focado.

Metodologia: Estrutura DARS

O DARS (Dual-Level Credit Assignment RL with Structured Reasoning) aborda esses problemas através de um framework de RL conjunto que decompõe a atribuição de crédito em dois níveis: roteamento entre módulos e diagnóstico intra-planejador.

1. Raciocínio Estruturado e Atribuição de Crédito por Slot

Para permitir o diagnóstico refinado dentro do planejador, o DARS substitui rastros de raciocínio de formato livre opacos por uma saída estruturada de quatro campos:

• Modify (Modificar): Especifica a mudança visível solicitada.
• Preserve (Preservar): Declara o que deve permanecer inalterado.
• Overall (Geral): Captura a coerência do cenário e a consistência global.
• Tips (Dicas): Fornece dicas de execução para o renderizador.

Recompensa com Portão de Prefixo (Prefix-Gated Reward): O framework emprega uma ordenação causal onde os slots posteriores só são recompensados se os slots precedentes estiverem corretos. Um mecanismo de recompensa com portão de prefixo garante que, se o slot Modify falhar, os slots subsequentes (Preserve, Overall, Tips) recebam recompensa zero, evitando que o modelo seja recompensado por um texto subsequente "bom" que compense um erro fundamental de planejamento.

Reponderação de Vantagem ao Nível de Token: Para a otimização da política, o sinal de vantagem é reponderado ao nível de token com base nos scores dos slots. Tokens em um slot específico recebem atualizações negativas mais fortes se aquele slot for a causa primária de um score de plano baixo, enquanto atualizações positivas são reforçadas apenas se toda a cadeia causal de slots for sólida.

2. Decomposição de Variância de Rollout para Roteamento Entre Módulos

Para determinar se deve enfatizar o planejador ou o renderizador para uma determinada amostra, o D além de utilizar rollouts de múltiplos planos e múltiplas renderizações ($M$ planos, $K$ renderizações por plano). Ele decompõe a variância da recompensa compartilhada ($R_{share}$) em dois componentes usando a lei da variância total:

• Variabilidade Entre Planos ($U_{plan}$): Mede o quanto a recompensa esperada muda ao alternar planos. Valores altos indicam que o plano atual é o gargalo (dominante pelo plano).
• Variabilidade Dentro do Plano ($U_{rend}$): Mede a flutuação da recompensa sob um plano fixo. Valores altos indicam que o renderizador é instável ou está falhando em executar o plano (dominante pela renderização).

Essas estatísticas impulsionam o roteamento suave de módulos, atribuindo peso de atualização extra ao módulo responsável pela variabilidade dominante. Isso permite que o sistema roteie dinamicamente os sinais de aprendizado: amostras com alto $U_{plan}$ recebem atualizações mais fortes para o planejador, enquanto aquelas com alto $U_{rend}$ recebem atualizações mais fortes para o renderizador.

3. Escalonamento de Currículo Adaptativo

O DARS estima a dificuldade da amostra com base na recompensa média entre os rollouts. Um currículo adaptativo escala o treinamento priorizando amostras mais fáceis no início do treinamento e introduzindo progressivamente amostras mais difíceis à medida que o modelo melhora. Esta estimativa de dificuldade trabalha em conjunto com o roteamento de módulos: o currículo determina quando uma amostra contribui fortemente, enquanto a decomposição de variância determina onde (qual módulo) o ênfase deve ser colocada.

4. Objetivos de Otimização

O framework otimiza o planejador e o renderizador conjuntamente, mas com objetivos distintos:

• Planejador: Otimizado usando text-GRPO com vantagens de nível de token ponderadas por slot, derivadas da recompensa com portão de prefixo.
• Renderizador: Otimizado usando flow-GRPO com vantagens por renderização.
• Ponderação: Ambos os objetivos são escalonados por um peso de currículo ($w_{cur}$) e um peso de resíduo de roteamento de módulo ($\alpha$ para o planejador, $\omega$ para o renderizador) derivado da decomposição de variância.

Principais Contribuições

1. Formulação de Atribuição de Crédito de Nível Duplo: O artigo formula o RL conjunto para edição planejador-renderizador como um problema de nível duplo, abordando explicitamente tanto a alocação de atualização entre módulos quanto o diagnóstico de raciocínio dentro do planejador.
2. Decomposição de Variância de Rollout: Um método inovador para separar a variabilidade entre planos da variabilidade dentro do plano, fornecendo sinais baseados em dados para roteamento suave de módulos sem a necessidade de rótulos de falha externos.
3. Planejador Estruturado com Portão de Prefixo: A introdução de um esquema de raciocínio estruturado de quatro campos combinado com recompensas de portão de prefixo e reponderação de vantagem ao nível de token, permitindo a otimização localizada do planejador a partir do feedback pós-renderização.
4. Integração de Currículo Adaptativo: Um mecanismo de escalonamento de currículo impulsionado por estimativas de dificuldade derivadas de rollout que complementa a estratégia de roteamento de módulos.

Resultados Experimentais

O DARS foi avaliado em cinco benchmarks: KRIS-Bench (intensivo em raciocínio), RISE-Bench (informado por raciocínio), ImgEdit-Bench (edição geral), GEdit-Bench-EN (consistência semântica) e PICA-Bench (realismo físico).

• Desempenho: O DARS alcançou as melhores pontuações gerais em todos os cinco benchmarks.
• Ganhos de Raciocínio: As maiores melhorias foram observadas em tarefas intensivas de raciocínio (KRIS-Bench: +8,57 sobre a linha de base controlada; RISE-Bench: +1,80), validando a eficácia do raciocínio estruturado e dos mecanismos de atribuição de crédito para edições complexas.
• Estudos de Ablação:
  • Remover o currículo adaptativo ou o roteamento suave levou a quedas significativas de desempenho.
  • Substituir o planejador estruturado por raciocínio de formato livre causou divergência em algumas configurações e menor desempenho em outras, destacando o valor estabilizador e diagnóstico do esquema de quatro campos.
  • A recompensa com portão de prefixo superou a média simples e a soma ponderada, confirmando a importância da dependência causal na atribuição de crédito.
• Validação: Os sinais de roteamento (dominante pelo plano vs. dominante pela renderização) mostraram alta concordância (>86% de precisão, >0,93 AUROC) com pseudo-rótulos gerados pelo GPT-5, confirmando que as estatísticas de rollout capturam efetivamente os modos de falha.

Significância e Alegações

O artigo afirma que o DARS fornece uma solução principista para a natureza subespecificada da atribuição de crédito em edição de imagem de dois estágios. Ao distinguir entre falhas dominantes pelo plano e dominantes pela renderização, o DARS evita a ineficiência da otimizção conjunta uniforme. O output de raciocínio estruturado transforma o feedback de nível de resultado em supervisão localizada, permitindo que o planejador diagnostique e corrija erros semânticos ou composicionais específicos que rastros de formato livre obscurecem.

Os autores enfatizam que sua abordagem não depende de engenharia de formatos de cold-start complexos ou receitas de prompting projetadas por especialistas, mas sim de um esquema compacto e semanticamente alinhado que se integra naturalmente aos backbones de VLM existentes. Os resultados sugerem que mecanismos explícitos de atribuição de crédito são críticos para escalar capacidades de raciocínio na edição de imagem baseada em instruções, particularmente para tarefas que exigem raciocínio temporal, espacial e físico.