SpatialReward: Bridging the Perception Gap in Online RL for Image Editing via Explicit Spatial Reasoning

O artigo apresenta o SpatialReward, um modelo de recompensa que utiliza raciocínio espacial explícito para superar a lacuna de percepção no aprendizado por reforço online, oferecendo sinais de avaliação mais precisos e melhorando significativamente o desempenho em tarefas de edição de imagem.

O essencial

Imagine que você está ensinando um robô a ser um artista de edição de fotos. O robô recebe uma foto e uma ordem, como "troque a camisa da pessoa por uma de seda". O robô tenta fazer isso, mas às vezes ele estraga a foto: muda a cor do cabelo, apaga o fundo ou distorce o rosto, tudo sem você pedir.

O grande problema é: como o robô aprende a não fazer isso?

Aqui entra a ideia do "Reforço" (RL). É como um professor dando uma nota ao trabalho do aluno. Se a nota for boa, o aluno tenta de novo; se for ruim, ele ajusta a estratégia. Mas, até agora, os "professores" (modelos de avaliação) eram meio cegos.

O Problema: O "Colapso da Atenção" (A Cegueira do Professor)

O papel descreve um problema chamado "Colapso da Atenção". Imagine que o professor está olhando para a foto final e diz: "Uau, a seda ficou linda!". Ele elogia a seda, mas esquece completamente de olhar para a foto original.

Ele não compara: "Ei, na foto original a pessoa tinha um óculos, e na nova o óculos sumiu!". Ele só olha para a foto nova isoladamente. Por isso, ele dá uma nota alta para uma foto que está cheia de erros, porque ele não está prestando atenção no que não deveria ter mudado.

A Solução: O "SpatialReward" (O Professor com Lupa e Post-its)

Os autores criaram um novo sistema chamado SpatialReward. A ideia genial é simples: não deixe o professor apenas olhar; faça-o apontar.

Imagine que, antes de dar a nota, o professor é obrigado a colocar adesivos (caixas) em cima da foto, exatamente onde a mudança aconteceu.

1. O Professor diz: "Vou colocar um adesivo na camisa para falar dela".
2. Ele olha: "Ok, a camisa é de seda. Mas espera... olhando o adesivo na foto original, a pessoa tinha um óculos. Olhando o adesivo na foto nova... o óculos sumiu!"
3. A Conclusão: "A seda ficou boa, mas você apagou o óculos sem querer. Nota baixa!"

Esse sistema força o robô a comparar a foto antiga com a nova, pedaço por pedaço, garantindo que ele não cometa erros bobos.

Como eles fizeram isso? (A Cozinha de Dados)

Para ensinar esse novo "professor", eles precisaram de um monte de exemplos. Eles criaram uma base de dados gigante (260 mil exemplos) onde:

• Um especialista (uma IA muito inteligente) primeiro desenhou as caixas (onde a edição aconteceu).
• Depois, escreveu um relatório detalhado comparando o "antes" e o "depois" dentro dessas caixas.
• Eles treinaram o modelo para fazer isso sozinho: Primeiro desenhe a caixa, depois escreva o motivo da nota.

O Resultado: O Aluno Vira um Mestre

Quando eles usaram esse novo sistema para treinar o robô (o modelo de edição de imagens), o resultado foi impressionante:

• O robô parou de "alucinar" (fazer coisas que não foram pedidas).
• Ele aprendeu a manter o estilo original da foto enquanto fazia a mudança pedida.
• Em testes, ele ficou muito melhor do que os sistemas mais caros e fechados (como o GPT-4 ou GPT-5) na tarefa de julgar se uma edição foi boa ou ruim.

Resumo em uma Analogia Final

Pense na edição de imagem como cozinhar um prato novo:

• O jeito antigo (Colapso da Atenção): O chef prova o prato final e diz: "Nossa, que saboroso!". Ele não percebeu que esqueceu o sal, que a carne está crua ou que queimou o arroz, porque ele só focou no sabor do molho.
• O jeito novo (SpatialReward): O chef é obrigado a provar cada ingrediente separadamente antes de provar o prato. Ele prova a carne, prova o arroz, prova o molho. Só depois, com essa "lupa" em cada parte, ele dá a nota final.

O SpatialReward é essa "lupa" que garante que, ao editar uma foto, a gente não estrague o que já estava perfeito, mantendo a magia da edição sem perder a essência da imagem original.

Resumo técnico

Título: SpatialReward: Superando a Lacuna de Percepção no RL Online para Edição de Imagens via Raciocínio Espacial Explícito

1. O Problema: A Lacuna de Percepção e o "Colapso de Atenção"

A edição de imagens guiada por instruções avançou rapidamente, mas os modelos atuais enfrentam um dilema crítico: executam a edição solicitada, mas frequentemente comprometem a identidade da imagem original ou a consistência de regiões não-alvo.

O artigo identifica que o principal gargalo para o Aprendizado por Reforço Online (RL Online) nessa tarefa é a falta de sinais de recompensa confiáveis e granulares. Os avaliadores existentes (baseados em modelos de linguagem multimodal - MLLMs) sofrem de um fenômeno denominado "Colapso de Atenção" (Attention Collapse):

• Falta de Comparação Cruzada: Os modelos tendem a ignorar a imagem original (fonte) ao avaliar a imagem editada.
• Cegueira Contextual: Em vez de comparar regiões específicas entre a imagem original e a editada, o modelo "afunda" em um estado cego, tratando a avaliação como se fosse uma imagem única.
• Consequência: Isso leva a julgamentos imprecisos, onde inconsistências sutis (como alterações de estilo não intencionais ou perda de detalhes) são ignoradas, resultando em pontuações de recompensa mal calibradas que não refletem a preferência humana.

2. Metodologia: SpatialReward e a Arquitetura "Think-with-Boxes"

Para resolver o colapso de atenção, os autores propõem o SpatialReward, um modelo de recompensa que integra raciocínio espacial explícito na avaliação pontual (pointwise) de geração.

A. Arquitetura "Think-with-Boxes" (Pensar com Caixas)
A inovação central é forçar o modelo a ancorar seu raciocínio em coordenadas espaciais antes de emitir um julgamento. O processo ocorre em duas correntes (streams):

1. Corrente de Consistência Semântica (SC - Semantic Consistency):
   • Localização: O modelo primeiro prevê caixas delimitadoras (bounding boxes) para os objetos editados.
   • Verificação Ancorada: O modelo gera um raciocínio textual onde os tokens das caixas (ex: <|bbox_0|>) são intercalados com o texto. Isso força o modelo a "olhar de volta" para os pixels específicos da imagem original e editada nessas regiões, reduzindo alucinações.
   • Avaliação Global: Um token especial <|global|> é usado para verificar a consistência do restante da imagem.
2. Corrente de Qualidade Perceptiva (PQ - Perceptual Quality):
   • Avalia a imagem editada isoladamente (sem referência à original) para verificar naturalidade e artefatos visuais.

B. Pipeline de Dados Espacialmente Consciente (SPATIALREWARD-260K)
Os autores construíram um conjunto de dados de 260k amostras utilizando um pipeline guiado por priores espaciais:

• Grounding Espacial: Uso de modelos VLM robustos (Qwen-3-VL) para gerar caixas delimitadoras precisas.
• Roteamento de Especialistas: Uso de diferentes modelos (Gemini-2.5-Pro para detalhes humanos, GPT-5 para objetos gerais) para gerar raciocínios e pontuações.
• Verificação de Alinhamento: Um processo de validação onde o modelo verifica se o raciocínio gerado é consistente com as evidências visuais das caixas, descartando amostras com alucinações.

C. Estratégia de Treinamento em Duas Etapas

1. Ajuste Fino Supervisionado (SFT): Treinamento no dataset 260k para aprender a estrutura de saída (caixas + raciocínio + pontuação).
2. RL Online de Consistência (GRPO): Uso de Group Relative Policy Optimization (GRPO) para refinar o modelo, utilizando um "Oracle" (Gemini-3-Flash) para fornecer sinais de recompensa de consistência, penalizando raciocínios não fundamentados.

3. Contribuições Principais

1. Identificação do "Colapso de Atenção": Demonstrar que a falta de âncoras espaciais em avaliadores de MLLM leva a falhas críticas na comparação cruzada de imagens.
2. Framework SpatialReward: O primeiro framework a integrar raciocínio espacial explícito (via caixas delimitadoras) na avaliação pontual de edição de imagens.
3. Dataset SPATIALREWARD-260K: Um conjunto de dados em larga escala com traços de raciocínio espacial de alta qualidade.
4. MultiEditReward-Bench (MER-Bench): Um novo benchmark desafiador com tarefas de edição complexa e multi-região para testar a capacidade de verificação espacial.
5. Validação no RL Online: Demonstração de que o SpatialReward atua como um sinal de recompensa robusto, superando avaliadores proprietários (como GPT-4.1) e discriminadores tradicionais.

4. Resultados Experimentais

O SpatialReward foi avaliado em três benchmarks e em cenários de RL Online:

• Desempenho em Benchmarks:

  • EditReward-Bench: Superou a linha de base gerativa (EditScore-8B) em +11.3% e superou o avaliador discriminativo líder (EditReward).
  • MMRB2: Melhorou em +9.1% em relação à linha de base, demonstrando forte generalização em tarefas de múltiplas imagens.
  • MER-Bench: Alcançou 48.3% de precisão geral, superando o EditScore-8B (35.0%) e competindo de perto com modelos proprietários avançados (Gemini-2.5-Pro). Destacou-se especialmente em cenários complexos (4 pares), onde outros modelos falharam.
  • Análise de Atenção: Métricas quantitativas mostraram que o SpatialReward reduz drasticamente o "Gap de Entropia" (indicador de colapso) e mantém uma distribuição de atenção saudável e simétrica entre imagem original e editada.

• Aplicação em RL Online (OmniGen2):

  • Ao usar o SpatialReward para treinar o modelo de geração OmniGen2 via Flow-GRPO, houve um ganho de +0.90 no GEdit-Bench.
  • Este ganho é quase o dobro do obtido usando o GPT-4.1 como recompensa (+0.45) e supera significativamente o EditScore (+0.61).
  • Qualidade: As imagens geradas com SpatialReward preservaram melhor o contexto original e evitaram a "deriva de conteúdo" (alterações indesejadas em regiões não solicitadas) observada com outros avaliadores.

5. Significado e Conclusão

O trabalho estabelece que o raciocínio espacial explícito é fundamental para alinhar modelos de geração com preferências humanas em edição de imagens. Ao forçar o modelo a "pensar com caixas" e ancorar o julgamento em evidências pixel a pixel, o SpatialReward elimina o colapso de atenção que limitava os avaliadores anteriores.

Isso não apenas melhora a avaliação estática, mas, crucialmente, fornece o sinal de recompensa denso e preciso necessário para o Aprendizado por Reforço Online, permitindo que modelos de geração aprendam a executar edições complexas sem corromper a identidade da imagem original. O estudo sugere que futuras abordagens de RL para visão computacional devem incorporar mecanismos de grounding espacial para serem eficazes.