Resumo Técnico: DyCoRM: Modelagem de Recompensa Dinâmica Consciente de Critérios para Geração de Texto para Imagem

1. Declaração do Problema

Embora os modelos de geração de texto para imagem (T2I) tenham avançado significativamente na produção de imagens de alta qualidade, as demandas dos usuários estão migrando para resultados que satisfaçam requisitos específicos e relevantes para a tarefa. Os modelos de recompensa e os frameworks de avaliação existentes dependem amplamente de dimensões estáticas e pré-definidas ou de sinais agregados de preferência. Essas abordagens falham em adaptar-se à natureza dinâmica do julgamento do usuário, onde os critérios de avaliação variam significativamente com base no prompt, no par de imagens e no caso de uso pretendido (por exemplo, priorizar a legibilidade do texto para tarefas de design versus o tom emocional para contação de histórias).

O desafio central identificado é que os modelos atuais não conseguem decompor a avaliação em duas etapas distintas: (1) inferir os critérios relevantes para a tarefa a partir do contexto prompt-imagem e (2) modelar preferências de imagem condicionadas a esses critérios específicos. Consequentemente, os modelos existentes lutam para priorizar os aspectos corretos de uma imagem quando diferentes tarefas exigem padrões de avaliação distintos.

2. Metodologia

2.1 Construção de Dados: DyCoDataset-20K e DyCoBench-1K

Para habilitar a modelagem dinâmica e consciente de critérios, os autores construíram um novo conjunto de dados e benchmark:

• DyCoDataset-20K: Um conjunto de dados compreendendo 4.876 prompts, 23.378 pares de imagens e 94.572 critérios de granularidade fina. O pipeline de construção envolve:
  • Geração de Prompt: Uso do GPT-4o para gerar prompts diversos controlados por seis componentes (assunto, aparência, cena, movimento, formato, renderização) para variar a complexidade.
  • Aquisição de Imagens: Geração de 5 a 6 imagens por prompt a partir de um conjunto de 14 modelos (incluindo proprietários e de código aberto) para garantir comparações diversas.
  • Anotação Humana: Um protocolo de duas etapas onde anotadores primeiro formulam critérios de granularidade fina relevantes para o par prompt-imagem específico e, em seguida, realizam comparações em pares sob cada critério finalizado. As etiquetas são mantidas apenas se >70% dos anotadores concordarem.
• DyCoBench-1K: Um benchmark curado derivado do conjunto de dados, contendo 192 prompts e 822 pares de imagens. Ele é projetado para testar capacidades de avaliação dinâmica, incluindo casos de reversão de preferência onde o vencedor muda com base no critério selecionado.

2.2 Arquitetura do Modelo: DyCoRM

O DyCoRM é um framework de modelagem de recompensa em duas etapas:

• Etapa 1: Fundamentação de Critérios: O modelo recebe um prompt e um par de imagens como entrada e gera um conjunto de critérios de granularidade fina relevantes para a tarefa ($C = \{c_1, c_2, ..., c_M\}$). Isso é treinado como uma tarefa de geração de sequência autoregressiva usando perda de entropia cruzada contra critérios anotados por humanos.
• Etapa 2: Aprendizado de Recompensa Condicionado a Critérios: Dado o prompt, o par de imagens e um critério específico (ou conjunto de critérios), o modelo prevê a preferência entre as imagens. Os autores investigaram tanto funções de perda pontual quanto em pares, encontrando que a perda em pares produz consistentemente melhor desempenho. O modelo aprende a emitir uma probabilidade indicando qual imagem é preferida sob a condição especificada.

2.3 Aplicação: DyCoPick

O DyCoPick estende o framework de modelagem de recompensa para a fase de seleção de geração. Ele opera em três etapas:

1. Geração de Candidatos: Múltiplos modelos T2I geram candidatos para um prompt dado.
2. Resolução de Critérios: Se o usuário fornecer critérios, eles são utilizados; caso contrário, o sistema deriva automaticamente critérios relevantes para a tarefa a partir do prompt e dos candidatos.
3. Seleção por Critério: O DyCoRM realiza comparações em pares entre os candidatos sob cada critério para selecionar a melhor saída para o alinhamento de preferência personalizado.

3. Contribuições Principais

1. Framework DyCoRM: O primeiro framework de modelagem de recompensa que decompõe explicitamente a avaliação em fundamentação de critérios e aprendizado de preferência condicionado a critérios, permitindo que os modelos adaptem julgamentos a requisitos diversos de tarefas.
2. DyCoDataset-20K e DyCoBench-1K: A construção de um conjunto de dados em grande escala com critérios dinâmicos e de granularidade fina e um benchmark especificamente projetado para avaliar modelos de recompensa sob julgamentos dinâmicos e específicos de critérios, indo além de etiquetas de preferência geral estáticas.
3. DyCoPick: Uma aplicação prática demonstrando como a modelagem de recompensa dinâmica e consciente de critérios pode ser integrada em pipelines de geração T2I para seleção de saída personalizada.

4. Resultados Experimentais

Os autores avaliaram o DyCoRM no DyCoBench-1K e em quatro benchmarks de domínio cruzado (ImageReward, Pick-a-Pic, HPDv2, HPDv3).

• Desempenho no DyCoBench-1K: O DyCoRM superou significativamente tanto modelos de recompensa T2I especializados (por exemplo, HPSv3, ImageReward) quanto Modelos Multimodais Grandes (LMMs) gerais em configurações de preferência única, múltiplos critérios e preferência geral. Por exemplo, na configuração de preferência geral, o DyCoRM alcançou uma precisão de 0,791 (Kappa de Cohen 0,772), comparado a 0,732 para a próxima melhor linha de base (HPSv3).
• Generalização: Em benchmarks de domínio cruzado, o DyCoRM manteve desempenho competitivo, demonstrando que seu treinamento em critérios dinâmicos generaliza para tarefas padrão de avaliação de preferência geral.
• Capacidade Dinâmica: A análise mostrou que o desempenho do DyCoRM permanece robusto em diversas dificuldades de tarefa e contagens de critérios, indicando que ele se adapta a condições de avaliação em mudança em vez de depender de heurísticas fixas.
• Estudo Humano (DyCoPick): Em um estudo humano comparando o DyCoPick contra outros modelos de recompensa como seletores, o DyCoPick foi preferido em todas as configurações (geral, critério único e múltiplos critérios), com vantagens particularmente fortes em avaliações específicas de critérios.

5. Significado e Alegações

O artigo afirma estabelecer o primeiro framework de modelagem de recompensa para avaliação dinâmica e de granularidade fina na geração T2I. Ao mudar o paradigma da previsão de preferência estática para a avaliação dinâmica e consciente de critérios, o trabalho aborda a limitação dos modelos atuais que não conseguem adaptar-se a requisitos específicos do usuário. Os autores postulam que essa abordagem permite um alinhamento mais preciso entre as saídas geradas e a intenção do usuário, preenchendo a lacuna entre avaliação offline e seleção prática no momento da geração. O estudo enfatiza que, embora a coleta dinâmica de critérios seja mais cara do que a rotulagem de preferência estática, o conjunto de dados e o framework resultantes fornecem uma base necessária para a próxima geração de sistemas T2I personalizados.