Resumo Técnico: Composição de Pessoas Juntas

Declaração do Problema

Os modelos atuais de difusão texto-para-imagem lutam para gerar cenas semanticamente diversas e composicionalmente precisas envolvendo interações entre múltiplas pessoas. Embora modelos recentes (por exemplo, FLUX, SDXL) tenham melhorado na captura da aparência individual, eles frequentemente falham em realizar corretamente papéis específicos, relações espaciais e affordances mútuas entre pessoas. Modos de falha comuns incluem a omissão de entidades, o desalinhamento de ações (por exemplo, um padre lavando as mãos sem um assistente despejando água), o colapso em poses repetitivas e a falha em fundamentar semânticas de interação de granularidade fina. Abordagens existentes que dependem de layouts espaciais grosseiros (caixas delimitadoras) ou pistas estruturais externas carecem da granularidade necessária para modelar o vasto espaço combinatório de poses humanas, expressões e contextos sociais.

Metodologia

Os autores propõem um framework que preenche essa lacuna introduzindo priors estruturais centrados na pessoa diretamente em transformadores de difusão pré-treinados. O núcleo do método consiste em três componentes integrados:

1. Representação Dupla Pose–Imagem

Em vez de tratar a pose humana como uma condição externa, o modelo prevê conjuntamente uma imagem de visualização de pose 2D e sua imagem RGB correspondente.

• Arquitetura: Construído sobre o Transformador de Difusão FLUX (DiT), o método introduz um fluxo de pose paralelo inicializado a partir dos parâmetros do ramo de imagem.
• Estratégia de Treinamento: Os fluxos de texto e imagem pré-treinados são congelados para preservar a qualidade visual. Apenas o fluxo de pose (usando LoRA) e camadas de projeção específicas são treináveis.
• Raciocínio Conjunto: O modelo aprende a raciocinar explicitamente sobre a estrutura relevante para a interação durante a geração, em vez de depender de pistas implícitas de aparência. A pose é representada como uma imagem 2D renderizada (formato OpenPose) para maximizar a compatibilidade com o VAE pré-treinado.

2. Alinhamento Multimodal via RoPE Consciente de Papel

Para garantir uma fundamentação consistente entre as modalidades de texto, pose e imagem, os autores modificam a Codificação Posicional Rotativa 3D (RoPE) usada no transformador.

• Mecanismo: A coordenada temporal $\tau$ na codificação padrão $(\tau, x, y)$ é reaproveitada para estabelecer uma identidade de papel unificada.
• Implementação: Todos os tokens associados a uma pessoa específica (descrições de texto, tokens de pose e tokens de imagem dentro de uma caixa delimitadora) recebem um índice $\tau$ compartilhado (por exemplo, $\tau = i$ para a $i$-ésima pessoa). Tokens fora das caixas delimitadoras usam $\tau = 0$. Isso vincula descrições textuais por pessoa às suas regiões visuais e estruturais correspondentes sem alterar a arquitetura principal.

3. Construção Iterativa de Cena

Aproveitando a natureza decomponível das representações de pose, os autores empregam um esquema de geração iterativa para construir cenas complexas.

• Processo: A cena é construída incrementalmente, adicionando uma pessoa de cada vez. No estágio $i$, o modelo condiciona-se ao estado de pose previamente gerado $P_{i-1}$ (representando as pessoas $1$a$i-1$), à descrição global de interação e à descrição específica para a $i$-ésima pessoa.
• Vantagem: Isso transforma o complexo problema de raciocínio multi-pessoal em uma sequência de tarefas sub-simples, decompondo efetivamente a complexidade da geração e reduzindo o emaranhamento semântico.
• Treinamento: Imagens de verdade fundamental são decompostas em estados de pose intermediários ($P_1, \dots, P_N$). O modelo é supervisionado na pose em cada estágio, mas apenas na imagem RGB final no último estágio.

Contribuições Chave

1. Representação Dupla Pose–Imagem: Uma arquitetura inovadora que injeta priors estruturais centrados na pessoa em transformadores de difusão, permitindo a geração iterativa multi-pessoal ao prever conjuntamente pose e aparência.
2. Benchmark DrawWaldoWorlds: Um novo benchmark de avaliação derivado do dataset Who's Waldo, apresentando três níveis de especificidade de prompt (A, B, C) para avaliar o alinhamento e a diversidade na síntese multi-humana centrada em interação.
3. Melhorias de Desempenho: Ganhos significativos demonstrados tanto no alinhamento semântico (fidelidade ao prompt) quanto na diversidade de cena, em comparação com baselines de texto-para-imagem, edição e controle de layout de última geração.

Resultados

O método foi avaliado no DrawWaldoWorlds e no MultiHuman-Testbench.

• Alinhamento Semântico: O método proposto alcançou as pontuações mais altas de Precisão VQA e Similaridade VQA em todos os níveis de prompt. Ele manteve alto alinhamento mesmo com o aumento da complexidade do prompt (Nível C), enquanto as baselines frequentemente falhavam em capturar todas as entidades ou suas interações.
• Diversidade: O método superou a maioria das baselines nas métricas de diversidade (DINO Diff, LPIPS, GRADE), produzindo realizações variadas, porém semanticamente coerentes, do mesmo prompt.
• Estudo com Usuários: Em uma comparação cega contra FLUX [dev] e FLUX Kontext [dev], juízes humanos preferiram as saídas do método proposto em 63,3% e 79,0% dos casos, respectivamente, citando melhor adesão ao texto.
• Estudos de Ablação: A remoção de qualquer um dos três componentes principais (supervisão de pose, composição iterativa ou RoPE consciente de papel) resultou em quedas mensuráveis de desempenho, confirmando que todos os elementos são necessários para um forte alinhamento semântico.

Significância

O artigo argumenta que abstrações estruturais explícitas e centradas na pessoa servem como uma ponte poderosa entre a intenção semântica de alto nível e a geração visual de baixo nível. Ao desvendar a estrutura de interação da aparência e aproveitar a composição iterativa, a abordagem oferece uma solução escalável para a complexidade combinatória inerente a cenas multi-entidade. Os autores sugerem que a integração de tais representações estruturadas e decomponíveis como modalidades de primeira classe dentro de modelos generativos abre novas oportunidades para uma síntese mais fiel, interpretável e controlável, não apenas para interações humanas, mas potencialmente para cenas complexas envolvendo dinâmicas mais ricas e diversas entidades interagentes.