GoT-R1: Unleashing Reasoning Capability of MLLM for Visual Generation with Reinforcement Learning

O artigo apresenta o GoT-R1, um framework que utiliza aprendizado por reforço e um sistema de recompensa dual para aprimorar o raciocínio semântico-espacial de modelos de geração visual, resultando em melhorias significativas na criação de imagens complexas com relações espaciais precisas.

O essencial

Imagine que você pediu a um artista para pintar um quadro com uma descrição muito específica: "Uma borboleta laranja voando à esquerda de uma vela acesa, com um fundo escuro e texturizado".

Se você pedir isso a um artista humano, ele primeiro pensa: "Ok, onde fica a vela? Onde fica a borboleta? De que cor é cada uma?". Ele cria um rascunho mental antes de colocar a tinta no papel.

O problema com os computadores que geram imagens hoje (chamados de modelos de geração visual) é que eles são como artistas que pulam direto para a pintura, sem fazer o rascunho. Eles tentam adivinhar a imagem inteira de uma vez só baseada apenas nas palavras. Quando o pedido é simples ("um gato"), funciona bem. Mas quando o pedido é complexo ("uma borboleta à esquerda da vela"), eles se confundem: às vezes a borboleta aparece à direita, ou a cor está errada, ou os dois objetos se misturam.

O que é o GoT-R1?

O GoT-R1 é uma nova técnica que ensina o computador a fazer exatamente o que o artista humano faz: pensar antes de agir.

Aqui está a analogia principal para entender como funciona:

1. O "Rascunho" (Cadeia de Pensamento)

Antes de gerar a imagem final, o modelo GoT-R1 escreve um "rascunho" ou um "mapa". Ele diz para si mesmo:

"Ok, primeiro vou desenhar uma vela no centro. Suas coordenadas são X e Y. Agora, vou desenhar uma borboleta. O pedido diz 'à esquerda', então vou colocar a borboleta nas coordenadas que ficam à esquerda da vela."

Isso é chamado de Cadeia de Pensamento de Geração (Generation Chain-of-Thought). O modelo não apenas "adivinha" a imagem; ele planeja a lógica dela.

2. O "Treinador" (Reinforcement Learning)

Aqui está a parte genial do GoT-R1. Antigamente, os computadores aprendiam esse "rascunho" apenas copiando exemplos feitos por humanos (como um aluno copiando do quadro). O problema é que o aluno fica preso ao jeito que o professor fez, sem criar soluções melhores.

O GoT-R1 usa uma técnica chamada Aprendizado por Reforço (Reinforcement Learning). Imagine um treinador de cachorro muito inteligente:

• O computador tenta gerar uma imagem e um rascunho.
• O treinador (que é um outro modelo de IA super esperto) olha o resultado.
• Se o computador colocou a borboleta à direita em vez da esquerda, o treinador dá um "choque" (recompensa baixa).
• Se o computador acertou o plano e a imagem, o treinador dá um "petisco" (recompensa alta).

Com o tempo, o computador descobre sozinho as melhores estratégias para pensar e desenhar, sem precisar que um humano lhe diga exatamente como fazer cada passo. Ele aprende a "pensar de forma criativa" para resolver problemas complexos.

3. O "Juiz" (Recompensas Múltiplas)

O que torna o GoT-R1 especial é que o "treinador" não julga apenas a imagem final. Ele julga todo o processo em quatro etapas:

1. O Plano vs. O Pedido: O rascunho mental do computador foi fiel ao que você pediu?
2. O Plano vs. O Espaço: O computador entendeu corretamente "esquerda", "direita", "em cima"? (Para isso, ele transforma os números das coordenadas em desenhos visuais para o treinador entender melhor).
3. A Imagem vs. O Plano: A pintura final seguiu o rascunho que foi feito?
4. A Imagem vs. O Pedido: A imagem final ficou bonita e correta?

Se o computador fizer um plano perfeito, mas pintar a imagem errada, ele é punido. Se ele pintar uma imagem bonita, mas o plano estava errado, ele também é punido. Isso força o modelo a ser coerente do início ao fim.

Por que isso é importante?

Antes do GoT-R1, se você pedisse "Um cachorro azul e um gato vermelho sentados em cadeiras diferentes", o computador provavelmente faria um cachorro vermelho ou misturaria os dois.

Com o GoT-R1, o computador:

1. Pensa: "Preciso de um cachorro azul na cadeira A e um gato vermelho na cadeira B".
2. Planeja as posições exatas.
3. Gera a imagem seguindo esse plano rigoroso.

O resultado: Imagens muito mais precisas, onde os objetos estão exatamente onde devem estar, com as cores e características certas, mesmo em cenários muito complicados.

Resumo em uma frase

O GoT-R1 ensina a IA a pensar como um arquiteto (fazendo um plano detalhado) e a aprender como um atleta (recebendo feedback constante para melhorar suas jogadas), resultando em imagens geradas por computador que entendem perfeitamente o que você quer dizer, mesmo quando você pede coisas difíceis.

Resumo técnico

1. O Problema

Os modelos de geração visual (text-to-image) avançaram significativamente na criação de imagens realistas a partir de prompts simples. No entanto, eles ainda enfrentam dificuldades com prompts complexos e composicionais que exigem:

• Múltiplos objetos com relações espaciais precisas (ex: "uma borboleta à esquerda de uma vela").
• Vinculação de atributos específicos a entidades corretas.
• Estrutura semântica complexa.

A limitação fundamental reside na falta de um processo de raciocínio explícito. Modelos existentes mapeiam diretamente embeddings de texto para características visuais, sem decompor a cena.
O framework anterior, Generation Chain-of-Thought (GoT), introduziu um processo intermediário de raciocínio semântico-espacial (gerando descrições de objetos com coordenadas antes da imagem). Contudo, o GoT original era limitado por:

1. Templates pré-definidos: O raciocínio era supervisionado por templates humanos, impedindo a descoberta de estratégias mais eficazes.
2. Falta de alinhamento: Mesmo seguindo templates, as cadeias de raciocínio geradas podiam ser infiel ao prompt ou inconsistentes com a imagem final.

2. Metodologia: GoT-R1

O GoT-R1 propõe um novo framework que aplica Aprendizado por Reforço (RL) para aprimorar as capacidades de raciocínio semântico-espacial em modelos de geração visual autoregressiva.

Arquitetura Base

• Utiliza um MLLM (Large Language Model Multimodal) Unificado Autoregressivo (baseado em Janus-Pro) que processa tokens de texto e imagem de forma conjunta.
• O modelo gera primeiro uma Cadeia de Pensamento de Geração (GoT) (descrição semântica + coordenadas espaciais) e, em seguida, os tokens da imagem.

Estratégia de Treinamento

O treinamento ocorre em duas etapas:

1. Ajuste Fino Supervisionado (SFT): O modelo é treinado em dados anotados do GoT para aprender a gerar cadeias de raciocínio estruturadas e imagens básicas.
2. Otimização por Reforço (RL): Utiliza o algoritmo GRPO (Group Relative Policy Optimization), que elimina a necessidade de um modelo crítico separado. O modelo amostra múltiplas cadeias de raciocínio e imagens para um mesmo prompt, e os parâmetros são atualizados com base em recompensas relativas.

Sistema de Recompensa Dual-Stage Multidimensional

A inovação central é um sistema de recompensa baseado em MLLMs que avalia tanto o processo de raciocínio quanto o resultado final, garantindo consistência em todas as etapas. As recompensas são escaladas de 0 a 1 e combinadas multiplicativamente:

1. $R_{PI}$ (Prompt-Image): Avalia o alinhamento geral entre o prompt e a imagem final (semântica, layout, qualidade estética).
2. $R_{PR}$ (Prompt-Reasoning): Avalia a fidelidade da cadeia de raciocínio ao prompt. É dividida em:
   • $R_{sem}$ (Semântica): Verifica completude, fidelidade, consistência lógica e clareza.
   • $R_{spa}$ (Espacial): Verifica se as coordenadas e relações espaciais no texto correspondem ao prompt.
     • Inovação Técnica: Para superar a baixa sensibilidade de LLMs a coordenadas numéricas em texto, o GoR-R1 renderiza as caixas delimitadoras (bounding boxes) em uma tela em branco e usa o MLLM para avaliar visualmente a disposição espacial, melhorando drasticamente a precisão da recompensa.
3. $R_{RI}$ (Reasoning-Image): Garante que a imagem gerada reflita fielmente o plano de raciocínio. Calcula o IoU (Interseção sobre União) entre as coordenadas planejadas no GoT e as caixas delimitadoras detectadas na imagem gerada.
4. $R_{HPS}$: Utiliza o HPS v2.1 para garantir qualidade estética geral.

Fórmula da Recompensa Total:
$$R_{total} = R_{PI} \times \left(\frac{R_{sem} + R_{spa}}{2}\right) \times R_{RI} \times R_{HPS}$$

3. Principais Contribuições

1. Framework GoT-R1: A primeira aplicação de RL para aprimorar o raciocínio semântico-espacial em geração visual autoregressiva, permitindo que o modelo descubra estratégias de raciocínio autônomas além de templates fixos.
2. Sistema de Recompensa Unificado: Desenvolvimento de um mecanismo de recompensa multidimensional baseado em MLLM que supervisiona o processo intermediário (raciocínio) e o resultado final simultaneamente, resolvendo o problema de desalinhamento entre texto, plano e imagem.
3. Método de Avaliação Espacial Visual: A transformação de coordenadas de texto em representações visuais (renderização de caixas) para avaliação por MLLM, superando as limitações de modelos de linguagem em entender relações espaciais puramente textuais.

4. Resultados Experimentais

Os resultados foram avaliados nos benchmarks T2I-CompBench e GenEval, mostrando melhorias significativas em relação a modelos de difusão, modelos de duas etapas e autoregressivos anteriores.

• T2I-CompBench: O modelo GoT-R1-7B alcançou o estado da arte (SOTA), obtendo as pontuações mais altas em 5 das 6 categorias. Houve uma melhoria de até 15% em tarefas complexas após 1000 passos de ajuste fino com GRPO.
  • Exemplo: Na categoria "Complex compositions", o score subiu de 0.3754 (Janus-Pro-7B-GoT) para 0.3944 (GoT-R1-7B).
• GenEval: O GoT-R1-7B estabeleceu um novo SOTA com pontuação geral de 0.75.
  • Melhoria notável em Geração de Dois Objetos: de 0.69 para 0.94.
  • Melhoria em Vinculação de Atributos: de 0.43 para 0.68.
• Qualidade Geral: No conjunto de validação COCO 2014, o modelo obteve melhores pontuações em CLIP Score, Score Estético e preferência humana (77% de preferência sobre o baseline).
• Avaliação Qualitativa: O modelo gerou imagens que seguem prompts complexos com muito maior precisão espacial e semântica do que o modelo base ou o modelo apenas ajustado por SFT (GoT-finetuned).

5. Significado e Conclusão

O GoT-R1 representa um avanço crucial ao transferir capacidades sofisticadas de raciocínio (comumente vistas em modelos de linguagem como o OpenAI o1 ou DeepSeek-R1) para o domínio da geração visual.

• Superação de Limitações: Demonstra que o RL pode libertar os modelos de geração visual da dependência de templates rígidos, permitindo que eles aprendam estratégias de raciocínio mais robustas e adaptativas.
• Alinhamento Processo-Resultado: A abordagem de recompensa dual-stage resolve o problema crítico de "alucinação" onde o raciocínio planejado não corresponde à imagem final ou ao prompt.
• Futuro: Abre novas vias para a criação de conteúdo visual mais preciso, contextualmente consciente e capaz de lidar com instruções complexas de composição, estabelecendo um novo padrão para a geração de imagens autoregressiva.

O código e os checkpoints estão disponíveis publicamente, promovendo a reprodutibilidade e o avanço contínuo na área.