Resumo Técnico: MIRO (Pré-treinamento Condicionado a Múltiplas Recompensas)

1. Declaração do Problema

Os pipelines atuais de geração de texto para imagem (T2I) geralmente seguem um paradigma de três etapas: (1) pré-treinamento em dados da web ruidosos para aprender a estrutura da imagem, (2) ajuste fino supervisionado em subconjuntos curados para estreitar a distribuição e (3) Aprendizado por Reforço a partir de Feedback Humano (RLHF) para alinhar com as preferências do usuário. Os autores argumentam que este paradigma sofre de três ineficiências críticas:

• Descarte de Dados: O ajuste fino descarta dados de "baixa qualidade", perdendo os sinais estruturais presentes na distribuição completa dos dados.
• Colapso de Modo e Perda de Fidelidade: O RLHF otimiza para uma única recompensa escalar, frequentemente colapsando a distribuição (reduzindo a diversidade) e prejudicando a fidelidade semântica.
• Inflexibilidade: O compromisso de recompensa é travado no momento do treinamento, impedindo que os usuários ajustem as preferências na inferência.
• Ineficiência: O processo de múltiplas etapas requer recursos computacionais significativos e ajuste de hiperparâmetros para cada etapa.

O artigo postula que alinhar múltiplas recompensas durante a própria fase de pré-treinamento, em vez de como uma etapa posterior, pode preservar o espectro completo de dados enquanto permite uma geração controlável.

2. Metodologia: MIRO

O MIRO (Pré-treinamento Condicionado a Múltiplas Recompensas) é um framework que integra o alinhamento diretamente na fase de pré-treinamento, condicionando o modelo generativo a um vetor de pontuações de recompensa.

2.1. Aumento de Conjunto de Dados

Em vez de filtrar dados, o MIRO anota cada imagem de treinamento $(x, c)$ com um vetor de $N$ pontuações de recompensa $s = [s_1, s_2, \dots, s_N]$. Os autores utilizam sete modelos de recompensa complementares:

1. Pontuação Estética: Apelo visual.
2. HPSv2 e PickScore: Alinhamento com preferências humanas.
3. ImageReward: Seguimento de instruções e preferência do usuário.
4. VQAScore: Compreensão visual.
5. Pontuação JINA CLIP: Alinhamento texto-imagem (otimizado para legendas longas).
6. SciScore: Corretude científica.

As pontuações brutas são normalizadas e agrupadas em $B$ bins discretos para garantir representação equilibrada em todos os níveis de qualidade e para lidar com escalas variáveis entre diferentes modelos de recompensa.

2.2. Correspondência de Fluxo Condicionada a Múltiplas Recompensas

O objetivo central de treinamento modifica a formulação padrão de Correspondência de Fluxo (Flow Matching). O modelo $v_\theta$ aprende a prever o campo de velocidade condicionado à amostra ruidosa $x_t$, ao prompt de texto $c$ e ao vetor de recompensa $s$:
$$\mathcal{L} = \mathbb{E}_{(x,c,s) \sim \tilde{D}, \epsilon \sim \mathcal{N}(0,I), t \sim U(0,1)} \left[ \| v_\theta(x_t, c, \hat{s}) - (\epsilon - x) \|_2^2 \right]$$
Ao treinar no espectro completo de níveis de recompensa, o modelo aprende a distribuição condicional $p(x|c, s)$, associando características visuais específicas a níveis de recompensa específicos sem descartar nenhum dado.

2.3. Inferência Guiada por Recompensa

Na inferência, o MIRO permite controle fino por meio de Correção sem Classificador para Múltiplas Recompensas (CFG). O vetor de orientação é computado contrastando um alvo de recompensa positivo $\hat{s}^+$ (ex.: recompensas máximas) e um alvo negativo $\hat{s}^-$ (ex.: recompensas mínimas):
$$\hat{v}_\theta(x_t, c) = (1 + \omega)v_\theta(x_t, c, \hat{s}^+) - \omega v_\theta(x_t, c, \hat{s}^-)$$
Teoricamente, isso corresponde a amostrar de uma distribuição inclinada por recompensa $p_\omega(x|c) \propto p(x|c, s^+) \left( \frac{p(s^+|x, c)}{p(s^-|x, c)} \right)^\omega$. Isso permite que os usuários:

• Maximizem todas as recompensas simultaneamente.
• Naveguem por compromissos (ex.: priorizar estética sobre alinhamento de texto) ajustando componentes específicos de $\hat{s}^+$.
• Evitem a exploração de recompensas (reward hacking) equilibrando múltiplos objetivos.

3. Contribuições Principais

1. Framework MIRO: Um método de pré-treinamento que condiciona em um vetor de pontuações de recompensa, eliminando a necessidade de etapas separadas de filtragem, ajuste fino ou RLHF posterior.
2. Eficiência e Desempenho: Um modelo MIRO de 0,36B de parâmetros alcança resultados state-of-the-art no GenEval e em benchmarks de preferência de usuário (PickScore, ImageReward, HPSv2), superando o modelo FLUX-dev de 12B de parâmetros enquanto requer 370× menos computação de treinamento.
3. Velocidade de Convergência: O MIRO converge até 19× mais rápido que o pré-treinamento de base em métricas estéticas e de preferência.
4. Eficiência de Inferência: Sob escalamento baseado em amostras, o MIRO alcança desempenho comparável ou superior às bases com 3× menos computação de inferência.
5. Garantias Teóricas: O artigo fornece provas de que o MIRO preserva a distribuição completa de dados (preservação de entropia) e evita o colapso de modo e conflitos de gradiente inerentes ao alinhamento baseado em RL (DDPO).

4. Resultados Experimentais

• GenEval (Benchmark Composicional): O MIRO alcança uma pontuação geral de 57 (vs. 52 da base), com ganhos significativos em tarefas desafiadoras como Atribuição de Cor (+31%) e Dois Objetos (+24%). Quando combinado com legendas sintéticas, o MIRO atinge 68, superando o FLUX-dev (67).
• Preferência do Usuário: O MIRO lidera os benchmarks ImageReward, HPSv2 e PickScore.
• Dinâmica de Treinamento: A análise qualitativa mostra que o MIRO gera imagens reconhecíveis e de alta qualidade em 50k passos, enquanto as bases requerem 200k–400k passos para qualidade similar.
• Exploração de Recompensas (Reward Hacking): Modelos de recompensa única (ex.: otimizados apenas para Pontuação Estética) mostram degradação severa em métricas semânticas. O condicionamento de múltiplas recompensas do MIRO previne isso, mantendo desempenho equilibrado em todas as métricas.
• Escalamento no Tempo de Teste: O MIRO demonstra eficiência superior de amostra; para métricas como PickScore, o MIRO com 4 amostras iguala o desempenho da base com 128 amostras (um ganho de eficiência de 32×).

5. Significado e Alegações

O artigo alega que o MIRO representa uma mudança de paradigma de "otimizar para uma recompensa" para "aprender a distribuição de recompensas". Ao tratar pontuações de recompensa como entradas controláveis durante o pré-treinamento, o MIRO:

• Desacopla conteúdo de qualidade: O modelo aprende a gerar em qualquer nível de qualidade desejado sem retreinamento.
• Elimina o compromisso "Filtragem vs. Sinal": Utiliza o espectro completo de dados, preservando os sinais estruturais de imagens naturais que são frequentemente descartados em conjuntos de dados curados.
• Fornece Controle Principiado: Os usuários podem explicitamente ajustar os compromissos entre objetivos concorrentes (ex.: estética vs. alinhamento semântico) no momento da inferência, uma capacidade não disponível em pipelines padrão de RLHF.
• Reduz Custo Computacional: O método alcança resultados state-of-the-art com modelos significativamente menores e menos computação, abordando as preocupações de eficiência e ambientais do escalonamento de modelos T2I.

Os autores concluem que esta abordagem abre novas direções de pesquisa para pré-treinamento consciente de recompensas, oferecendo uma alternativa estável, eficiente e controlável aos pipelines atuais de alinhamento em múltiplas etapas.