RetouchIQ: MLLM Agents for Instruction-Based Image Retouching with Generalist Reward

O artigo apresenta o RetouchIQ, um framework que utiliza agentes de modelos de linguagem multimodal (MLLM) guiados por um modelo de recompensa generalista treinado por aprendizado por reforço para realizar edição de imagens baseada em instruções, superando as limitações de recompensas convencionais e alcançando maior consistência semântica e qualidade perceptual.

O essencial

Imagine que você tem uma foto incrível, mas ela parece um pouco "morna". Você quer que ela tenha a vibe de um pôr do sol dourado, ou talvez que as cores do mar pareçam mais dramáticas e cinematográficas. Antigamente, você precisaria ser um especialista em Photoshop, conhecendo cada botão e deslizador para conseguir esse efeito.

O RETOUCHIQ é como ter um assistente de edição de fotos superinteligente que entende exatamente o que você quer dizer, mesmo que você use uma linguagem simples e poética.

Aqui está a explicação de como ele funciona, usando analogias do dia a dia:

1. O Problema: "O Gosto é Subjetivo"

Imagine que você pede a um amigo para "deixar a foto mais alegre".

• O amigo A pode aumentar o brilho.
• O amigo B pode mudar as cores para tons quentes.
• O amigo C pode adicionar um filtro vintage.

Todos estão certos! Não existe uma única "resposta correta" para uma foto bonita. O problema é que os computadores antigos eram treinados com regras rígidas: "Se a foto não for igual àquela foto de exemplo, está errada". Isso falhava porque a arte não segue regras rígidas.

2. A Solução: O "Chefe de Cozinha" (O Agente MLLM)

O RETOUCHIQ é um agente de Inteligência Artificial que funciona como um chef de cozinha experiente.

• Você dá o pedido: "Quero que esse mar pareça um filme de aventura, com tons azulados e dramáticos."
• O Chef pensa: Ele não apenas muda a foto magicamente. Ele primeiro raciocina: "Ok, para fazer isso, preciso aumentar o contraste, baixar a temperatura para o azul e ajustar as ondas."
• Ele executa: Em vez de pintar pixels aleatoriamente (o que poderia estragar a foto), ele abre o "kit de ferramentas" profissional (como o Adobe Lightroom) e ajusta os botões reais (Exposição, Temperatura, Saturação) exatamente como um humano faria.

3. O Grande Segredo: O "Crítico de Arte" (O Modelo de Recompensa Generalista)

Aqui está a parte mais genial do papel. Como o computador sabe se o resultado ficou bom se não existe uma "foto perfeita" para comparar?

O sistema usa um Crítico de Arte (chamado de Generalist Reward Model).

• O Crítico não é um robô chato: Ele não olha apenas se a foto está igual à original. Ele olha para a foto e pensa: "Hmm, essa instrução era sobre 'vibe de outono'. A foto tem tons de laranja e amarelo? A iluminação parece natural? Sim, está ótimo!"
• Ele cria suas próprias regras: Para cada foto nova, o Crítico inventa uma lista de critérios na hora (ex: "A pele deve parecer suave", "O céu deve ter profundidade") e dá uma nota.
• Aprendizado por tentativa e erro: Se o Chef (o agente) faz uma edição ruim, o Crítico diz: "Nota baixa, você exagerou no vermelho". O Chef aprende com isso e tenta de novo na próxima vez, ficando cada vez melhor.

4. O Treinamento Especial (PGRT)

Os autores descobriram algo interessante: se você treinar o Crítico apenas com fotos "estragadas" de propósito (como tirar o brilho de uma foto bonita), ele não aprende a julgar fotos complexas feitas pelo Chef. É como treinar um juiz de futebol apenas com lances de falta simples; ele não saberá julgar uma jogada complexa no meio do campo.

Por isso, eles criaram o PGRT: o Crítico aprende a julgar as fotos que o próprio Chef está criando. Eles treinam juntos, como um time de dança, onde um melhora o outro. Isso faz com que o Crítico entenda as nuances difíceis e o Chef aprenda a fazer edições realmente profissionais.

Resumo da Ópera

O RETOUCHIQ é um sistema que transforma seus desejos em edições de fotos profissionais.

1. Ele ouve você (como um assistente humano).
2. Ele raciocina quais ferramentas usar (como um fotógrafo).
3. Ele é avaliado por um crítico inteligente que entende de arte e não apenas de regras (como um professor de fotografia).

O resultado? Você pode pedir "deixe essa foto com um ar nostálgico e quente" e o sistema entrega uma foto editada com qualidade de estúdio, sem que você precise saber o que é "curva de tons" ou "balanceamento de branco". É a magia da edição profissional, acessível por uma simples conversa.

Resumo técnico

1. Problema e Motivação

O avanço dos Modelos de Linguagem Multimodal (MLLMs) abriu caminho para agentes que podem interagir com ferramentas externas. No entanto, aplicar isso à retocagem de imagens profissional (ex: Adobe Lightroom) apresenta desafios únicos:

• Natureza Subjetiva: Diferente de tarefas objetivas (como matemática), a edição de fotos é subjetiva. Uma mesma instrução ("faça o pôr do sol mais dramático") pode ter múltiplas soluções válidas e esteticamente agradáveis.
• Falha das Recompensas Verificáveis: Métodos tradicionais de Aprendizado por Reforço (RL) dependem de recompensas baseadas em regras ou comparação pixel a pixel com uma "imagem de referência" (ground truth). Como não existe uma única resposta correta na edição criativa, essas métricas tornam-se imprecisas e limitam a capacidade do modelo de aprender nuances estéticas.
• Barreira Técnica: Usuários muitas vezes têm a intenção criativa, mas não possuem o conhecimento técnico para traduzi-la em parâmetros específicos de software (ex: ajuste de curva de tons, temperatura, exposição).

2. Metodologia: O Framework RETOUCHIQ

O RETOUCHIQ é um agente baseado em MLLM projetado para traduzir instruções de linguagem natural em ações executáveis dentro de softwares de edição profissional. O sistema opera em duas etapas principais de treinamento e introduz componentes inovadores:

A. Arquitetura do Agente (Policy Model)

O modelo de política recebe uma imagem de entrada e uma instrução do usuário. Ele gera duas saídas:

1. Raciocínio (Reasoning Trace): Uma explicação textual que interpreta a intenção estética e planeja a estratégia de edição.
2. Configurações de Edição Executáveis: Uma sequência de parâmetros técnicos (ex: {exposição: +0.9, temperatura: 5695K}) que são aplicados diretamente na imagem.

B. Preparação de Dados

• Coletam-se pares de imagens (antes/depois) e sequências de edição de usuários reais (com permissão).
• Um MLLM anotador infere a intenção do usuário (g) e gera o processo de raciocínio (q) que levou àquela edição, criando um corpus de 190k pares instrução-razão-edição.

C. Treinamento em Duas Fases

1. Ajuste Fino Supervisionado (SFT): O modelo aprende a mapear instruções para raciocínios e parâmetros corretos baseando-se nos dados anotados.
2. Aprendizado por Reforço (RL): O modelo explora diferentes caminhos de raciocínio e estratégias de edição para maximizar a qualidade estética, guiado por um modelo de recompensa.

D. O Modelo de Recompensa Generalista (GRM)

Para superar a limitação das recompensas fixas, os autores propõem o GRM:

• Um MLLM fine-tuned que avalia o resultado da edição.
• Em vez de usar uma métrica fixa, o GRM gera dinamicamente um conjunto de métricas relevantes para o caso específico (ex: "equilíbrio de cores", "vibração", "nitidez") e atribui uma pontuação escalar baseada nessas métricas.

E. Treinamento de Recompensa Guiado pela Política (PGRT)

Os autores identificaram um problema de deslocamento de distribuição (distribution shift):

• Dados de treino iniciais são criados perturbando edições reais (criando edições "fracas" artificiais).
• O modelo de política, no entanto, gera edições complexas e combinadas que não se assemelham a essas perturbações simples.
• Solução (PGRT): Uma estratégia de treinamento alternado onde o modelo de recompensa é re-treinado usando dados gerados pelo próprio modelo de política (em vez de perturbações sintéticas). Isso alinha a distribuição dos dados de recompensa com a distribuição real das edições do agente, melhorando a precisão do feedback.

3. Principais Contribuições

1. RETOUCHIQ: O primeiro framework a abordar a retocagem de imagens baseada em instruções usando agentes MLLM com um Modelo de Recompensa Generalista, superando a dependência de recompensas verificáveis rígidas.
2. PGRT (Policy-Guided Reward Training): Uma nova paradigma de RL que utiliza os dados do próprio agente de política para refinar o modelo de recompensa, resolvendo o problema de viés de distribuição e capturando diferenças perceptivas sutis.
3. Benchmarks e Dados: Criação de um conjunto de dados extenso (190k pares) e do benchmark RETOUCHEVAL (300 pares de instrução-imagem) focado em tarefas de edição profissional, algo que não existia publicamente.

4. Resultados Experimentais

O RETOUCHIQ foi avaliado contra MLLMs gerais (GPT-5, Gemini), agentes existentes (JarvisArt, MonetGPT) e modelos baseados em difusão (Flux-Pro).

• Desempenho Quantitativo: No benchmark RETOUCHEVAL, o RETOUCHIQ (especialmente a versão com RL e GRM) superou consistentemente todos os baselines em métricas de consistência semântica e qualidade perceptual.
  • Superou modelos de difusão que tendem a distorcer a identidade da imagem ou o ambiente.
  • Superou agentes existentes que falhavam em tarefas de mudança de estilo ou instruções personalizadas.
• Qualidade Perceptual: Em comparações visuais, o sistema produziu edições mais alinhadas com a intenção do usuário, preservando a estrutura original da imagem enquanto aplicava ajustes de tom e cor profissionais.
• Validação do PGRT: Experimentos mostraram que o treinamento de recompensa guiado pela política (PGRT) aumentou significativamente a precisão do modelo de recompensa em dados reais e melhorou o desempenho final do agente de política em comparação com o uso de dados perturbados sintéticos.

5. Significado e Impacto

O trabalho demonstra que agentes de IA podem atuar como assistentes de edição de imagem profissionais, traduzindo desejos criativos vagos em ações técnicas precisas.

• Explicabilidade: Ao gerar um "rastro de raciocínio", o sistema torna o processo de edição transparente, ao contrário das caixas-pretas dos modelos de difusão.
• Flexibilidade: O uso de recompensas generalistas permite que o sistema lide com a subjetividade inerente à arte, adaptando-se a diferentes estilos e preferências sem precisar de uma única imagem de referência perfeita.
• Futuro: Estabelece um novo padrão para o uso de RL em tarefas criativas subjetivas, sugerindo que a combinação de MLLMs com ferramentas de software profissional é um caminho viável para a automação de fluxos de trabalho criativos complexos.