Agentic Planning with Reasoning for Image Styling via Offline RL

Este artigo apresenta um framework de aprendizado por reforço offline que utiliza planejamento agênico com raciocínio passo a passo e uma biblioteca de ferramentas de edição composicional para superar as limitações do prompt direto na estilização de imagens complexas, demonstrando melhorias significativas na qualidade visual e no seguimento de instruções.

O essencial

Imagine que você quer transformar uma foto simples de um escritório em uma cena mágica de um deserto com cactos, mas o sol está brilhando no meio do dia e você quer que pareça o "horário dourado" do pôr do sol, com neblina e uma atmosfera de conto de fadas.

Se você pedir isso diretamente para um robô de edição de imagem (como "Transforme isso em um deserto mágico"), ele muitas vezes fica confuso. É como pedir para um cozinheiro: "Faça algo delicioso". Ele pode fazer um bolo, mas talvez você quisesse uma sopa. O resultado pode ficar estranho: o sol pode estar errado, os cactos podem parecer desenhados à mão em uma foto realista, ou a neblina pode cobrir tudo.

O que este paper propõe?

Os autores criaram um novo jeito de ensinar a inteligência artificial a editar fotos. Em vez de dar um comando vago, eles ensinaram o robô a pensar como um diretor de cinema antes de filmar.

Aqui está a analogia principal:

🎬 O Diretor de Cinema vs. O Ator Improvisado

• O jeito antigo (Edição Direta): É como dar um comando para um ator improvisar: "Aja como se estivesse no deserto!". O ator pode fazer uma cara engraçada, mas não necessariamente cria a cena perfeita. Ele tenta adivinhar tudo de uma vez.
• O jeito novo (Planejamento Agente): É como ter um Diretor de Cinema (o "Agente") que não toca na câmera, mas escreve o roteiro passo a passo.
  1. Primeiro, ele analisa a foto atual: "Ok, temos um escritório, luz forte de meio-dia, paredes brancas."
  2. Depois, ele pensa: "Para virar um deserto, preciso mudar a localização, mudar a estação para algo quente, adicionar areia e mudar a luz para o pôr do sol."
  3. Ele escreve um roteiro detalhado: "Passo 1: Troque o chão por areia. Passo 2: Mude a luz para dourada. Passo 3: Adicione cactos."
  4. Só então ele passa esse roteiro para o "Operador de Câmera" (o editor de imagem) executar.

🧠 Como eles ensinaram o robô a pensar? (A Mágica do "Offline RL")

O grande desafio é: como ensinar o robô a escrever esse roteiro perfeito?

1. A Escola de Treinamento (Geração de Dados Sintéticos): Eles usaram um robô muito inteligente (o "Professor") para criar milhares de exemplos de fotos editadas. O Professor não apenas editou a foto, mas escreveu por que fez cada passo.
   • Exemplo: "Mudei a luz para dourada porque o usuário pediu um 'horário dourado', e isso cria um clima de aconchego."
2. O Sistema de Notas (Recompensas): Depois de criar a foto, o Professor (ou outro robô avaliador) dá uma nota de 0 a 5 para o resultado.
   • Nota 5: A foto ficou incrível, exatamente como pedido.
   • Nota 1: A foto ficou estranha, com cores erradas.
3. O Treinamento Inteligente (Offline RL): Aqui está a parte genial. Eles não apenas mostraram as fotos boas para o robô aluno. Eles usaram um truque matemático chamado RL Offline (Aprendizado por Reforço Offline).
   • Imagine que você está estudando para uma prova. Você não estuda apenas as questões certas. Você olha para todas as questões (as boas e as ruins), mas dá mais atenção às respostas certas.
   • O método deles (chamado RW e SW) diz ao robô: "Olhe para essa foto com nota 5, aprenda muito com ela. Olhe para essa foto com nota 2, aprenda um pouco, mas não se distraia com ela."
   • Isso é melhor do que apenas jogar fora as fotos ruins (o que seria desperdício de informação) ou tratar todas como iguais.

🏆 Os Resultados: Pequenos Robôs Batendo Gigantes

O mais impressionante é que eles treinaram robôs pequenos e de código aberto (com 4 ou 8 bilhões de "cérebros" ou parâmetros).

• A Comparação: Eles testaram esses robôs pequenos contra o GPT-4o, que é um dos maiores e mais caros robôs do mundo (fechado e pago).
• O Veredito: Os robôs pequenos, que aprenderam a planejar e a pensar antes de agir, conseguiram editar fotos com qualidade superior à do gigante GPT-4o na maioria dos casos!
• Por que? Porque o GPT-4o tenta adivinhar tudo de uma vez (como o ator improvisando), enquanto o robô pequeno segue um roteiro lógico e passo a passo.

🚀 Resumo em uma Frase

Em vez de pedir para a IA "adivinhar" como editar uma foto complexa, os autores ensinaram ela a escrever um roteiro detalhado (planejamento) e a aprender com as melhores tentativas (treinamento por recompensa), permitindo que robôs pequenos e baratos criem imagens incríveis que superam os gigantes do mercado.

É como se eles descobrissem que, para pintar um quadro perfeito, não basta ter um pincel gigante; é preciso ter um pintor que sabe exatamente qual cor usar em cada pincelada, e que aprendeu isso observando os mestres.

Resumo técnico

Resumo Técnico: Planejamento Agente com Raciocínio para Estilização de Imagens via RL Offline

1. O Problema

A estilização de imagens baseada em prompts diretos (onde o usuário descreve o resultado desejado em texto e o modelo gera a imagem editada) enfrenta limitações fundamentais em transformações complexas. Prompts naturais são frequentemente vagos e subjetivos, exigindo que o modelo infera implicitamente quais dimensões visuais alterar, em que ordem e como equilibrar requisitos concorrentes (ex.: "transforme em um cenário de inverno dourado preservando a arquitetura").

Essa ambiguidade leva a:

• Falhas na aderência às instruções do usuário.
• Inconsistências estruturais e de cor.
• Artefatos visuais em transformações multi-dimensionais.

O artigo argumenta que a abordagem atual de "mapeamento direto prompt-para-imagem" carece do raciocínio estruturado necessário para decompor tarefas criativas complexas em passos lógicos e executáveis.

2. Metodologia Proposta

Os autores propõem um framework de Aprendizado por Reforço (RL) Offline Agente, onde um modelo de linguagem (o "planejador") não edita a imagem diretamente, mas decompõe o objetivo do usuário em uma sequência estruturada de chamadas de ferramentas com raciocínio explícito (Chain-of-Thought).

2.1. Pipeline de Edição Estruturada (4 Estágios)

O sistema opera através de um pipeline que separa o planejamento da execução:

1. Extração de Contexto Estruturado: O modelo analisa a imagem de entrada e extrai uma representação textual explícita de 10 dimensões visuais (localização, arquitetura, época, hora do dia, estação, clima, iluminação, gradiente de cor, meio artístico e efeitos atmosféricos).
2. Planejamento de Ações com Raciocínio: O agente gera uma sequência de ações (2-5 passos) usando uma biblioteca de ferramentas ortogonais. Para cada ação, o modelo gera um raciocínio Chain-of-Thought (CoT) explicando por que aquela ferramenta foi escolhida e como ela contribui para o objetivo global.
3. Síntese de Instrução Precisa: A sequência de ações e o raciocínio são sintetizados em uma instrução de edição natural, mas altamente precisa e detalhada.
4. Renderização da Imagem Final: Uma ferramenta de edição de imagem "caixa preta" (frozen, ex: Qwen-Image-Edit) executa a instrução sintetizada para gerar a imagem final.

2.2. Geração de Dados Sintéticos

Como não existem datasets existentes com supervisão baseada em ferramentas e raciocínio explícito, os autores criaram um pipeline de geração de dados sintéticos:

• Modelo Professor: Um modelo grande (Qwen3-VL-8B) gera trajetórias completas (contexto, planejamento, raciocínio, instrução, imagem final).
• Avaliação de Recompensa: O modelo professor avalia a qualidade da transformação em uma escala de 0 a 5, considerando alinhamento com o objetivo, qualidade estética, consistência espacial e técnica.
• Datasets Criados: Três datasets de grande escala (10.000 trajetórias cada):
  • Simple: Transformações atômicas (1-2 passos).
  • Regular: Transformações composicionais (3-5 passos) com temas de design de interiores.
  • Complex: Transformações com restrições de preservação e temas diversos (83 temas).

2.3. Algoritmos de Treinamento Offline RL

O foco principal é o pós-treinamento de modelos menores (4B e 8B parâmetros) usando os dados sintéticos. Os autores comparam várias abordagens:

• Aprendizado Supervisionado (SL): Treinamento padrão ignorando a qualidade.
• Filtragem por Recompensa (R): Descarta trajetórias de baixa qualidade (threshold).
• Otimização Direta de Preferência (DPO): Aprende a partir de pares escolhidos/rejeitados.
• Ajuste Fino Ponderado por Recompensa (RW): Pondera o gradiente de cada trajetória pela sua pontuação de recompensa (mantém todos os dados, mas dá mais peso aos bons).
• Ajuste Fino Ponderado por Recompensa Padronizado (SW): Extensão do RW que normaliza as recompensas (z-score) antes do ponderamento, reduzindo a variância do gradiente e adaptando-se a distribuições de recompensa variadas.

3. Principais Contribuições

1. Framework Agente Baseado em Ferramentas: Uma metodologia que combina uma biblioteca de ferramentas primitivas ortogonais, representação de contexto estruturada e raciocínio passo-a-passo para decompor estilização complexa.
2. Datasets Sintéticos em Grande Escala: A criação e liberação pública de três datasets (Simple, Regular, Complex) contendo trajetórias com raciocínio explícito e pontuações de qualidade, preenchendo uma lacuna na pesquisa de edição de imagens baseada em ações.
3. Métodos de Treinamento RW e SW: Demonstração de que o ponderamento por qualidade (especialmente a versão padronizada SW) é crucial para aprender planejamento composicional, superando consistentemente o baseline de edição direta.
4. Análise Empírica Abrangente: Avaliação em modelos Qwen3-VL de 4B e 8B, mostrando que modelos compactos treinados com RL offline superam o baseline zero-shot do GPT-4o em qualidade de imagem na maioria das configurações.

4. Resultados Experimentais

Os experimentos foram conduzidos em 12 configurações (3 datasets × 2 tamanhos de modelo × 2 modalidades: texto e visão-linguagem), avaliados pelo GPT-4o e validados por humanos.

• Desempenho Geral: Os métodos baseados em planejamento (especialmente SW e RW) superaram consistentemente o baseline de "Apenas Edição" (Edit-Only) e o treinamento supervisionado padrão (SL).
• Superação do GPT-4o: Modelos compactos (4B/8B) treinados com o método SW ou RW superaram o GPT-4o (modelo fechado e muito maior) em qualidade de imagem em 10 de 11 configurações.
• Eficácia por Tarefa:
  • SW (Padronizado): Desempenhou melhor em tarefas textuais composicionais complexas (Regular Text), com pontuações gerais de ~78.77.
  • RW (Ponderado): Destacou-se em tarefas visuais simples com ancoragem visual forte (Simple Vision), alcançando ~79.33.
  • DPO: Mostrou-se superior em datasets com distribuição de temas muito diversa (Complex Vision-8B), alcançando a maior pontuação absoluta do estudo (85.41).
• Qualidade do Raciocínio: O treinamento com ponderação de recompensa melhorou significativamente a qualidade do raciocínio Chain-of-Thought (clareza, especificidade e coerência), o que se correlaciona diretamente com a qualidade da imagem final.
• Validação Humana: Uma avaliação humana em 3.000 amostras mostrou uma taxa de aprovação de 77%, confirmando a alta qualidade dos dados sintéticos gerados.

5. Significado e Impacto

Este trabalho demonstra que a separação entre planejamento e execução é fundamental para tarefas criativas complexas. Ao tratar a estilização de imagens como um problema de planejamento de agentes com raciocínio explícito, é possível:

• Melhorar a Aderência às Instruções: O modelo entende o que mudar e como fazer, em vez de apenas tentar adivinhar o resultado final.
• Eficiência de Recursos: Modelos pequenos (4B/8B) podem superar sistemas massivos (como GPT-4o) quando treinados com dados sintéticos de alta qualidade e algoritmos de RL offline adequados (RW/SW).
• Interpretabilidade: O uso de raciocínio passo-a-passo torna o processo de edição transparente e auditável, diferentemente das "caixas pretas" de edição direta.
• Generalização: O framework é agnóstico ao editor de imagens, permitindo que planejadores leves gerem instruções precisas para qualquer ferramenta de edição de imagem "frozen".

Em suma, o artigo estabelece um novo paradigma para edição de imagens, onde a inteligência reside no planejamento estruturado e no raciocínio, permitindo que modelos menores alcancem resultados de nível profissional com maior controle e consistência.