NumColor: Precise Numeric Color Control in Text-to-Image Generation

Resumo Técnico: NumColor

1. O Problema

Os modelos de difusão de texto para imagem (T2I) atuais, como FLUX, Stable Diffusion 3 (SD3) e PixArt, demonstram alta fidelidade visual ao seguir descrições linguísticas naturais. No entanto, eles falham drasticamente ao interpretar cores numéricas precisas, como códigos hexadecimais (#FF5733) ou valores RGB (rgb(255,87,51)).

As causas principais dessa limitação são:

• Fragmentação por Tokenização: Os codificadores de texto padrão (como CLIP e T5) tratam códigos de cor como subpalavras semânticas. Por exemplo, #FF5733 é fragmentado em tokens arbitrários (#, FF, 57, 33). Esses tokens não possuem representação de cor coerente no espaço de embeddings, quebrando a ligação entre a cor e o objeto na geração da imagem.
• Falta de Dados de Treinamento: Os conjuntos de dados massivos usados para treinar esses modelos descrevem cores predominantemente por nomes (ex: "vermelho", "azul marinho"), raramente utilizando especificações numéricas precisas.
• Inconsistência Geométrica: Existe um desalinhamento entre o espaço de representação de cores numéricas e o espaço de embeddings do codificador de texto, impedindo interpolações suaves e controle preciso.

2. Metodologia

O NumColor é um framework plug-and-play projetado para habilitar o controle de cor numérica precisa em modelos de difusão, sem a necessidade de retreinar o modelo base inteiro. A abordagem consiste em dois componentes principais e um conjunto de dados sintético:

A. Agregador de Tokens de Cor (Color Token Aggregator - CTA)

• Função: Identifica e unifica fragmentos de especificações de cor numérica, independentemente de como o tokenizador os divide.
• Arquitetura: É um módulo leve baseado em aprendizado de sequência (inspirado em rotulagem de sequências). Ele processa os tokens em nível de caractere (usando embeddings de caracteres e convoluções 1D) para detectar padrões de cores (hex ou RGB) e atribui tags BIO (Begin, Inside, Outside).
• Resultado: Converte a sequência fragmentada em um único token semântico coerente antes da injeção no codificador de texto.

B. ColorBook (Livro de Cores)

• Conceito: Um código de embeddings aprendíveis que mapeia cores do espaço perceptualmente uniforme CIE Lab para o espaço de embeddings do codificador de texto (T5).
• Construção: Em vez de tentar aprender milhões de cores (impossível em termos de memória), o sistema amostra o espaço Lab dentro do gamut sRGB com intervalos de 5 unidades, criando 6.707 cores âncora.
• Inicialização: Os embeddings são inicializados a partir de vocabulários de cores existentes (ISCC-NBS e CSS3/X11) para evitar viés semântico de objetos (ex: evitar que "salmon" traga associações de peixe).
• Injeção: As embeddings de cor são injetadas antes das camadas de auto-atenção do transformador (pré-contextualização). Isso permite que os tokens de cor e objeto participem da atenção mútua, garantindo a ligação correta entre a cor e o objeto.
• Interpolação Suave: Para cores que não são âncoras exatas, utiliza-se uma interpolação suave ponderada pelos k vizinhos mais próximos no espaço Lab.

C. Funções de Perda Auxiliares
Para garantir que o espaço de embeddings aprenda a estrutura geométrica das cores, são introduzidas duas perdas adicionais durante o treinamento do ColorBook:

1. Alinhamento Direcional: Garante que deslocamentos no espaço Lab correspondam a deslocamentos direcionais no espaço de embeddings.
2. Consistência de Interpolação: Garante que o ponto médio de duas cores no espaço Lab mapeie para o ponto médio das suas embeddings, permitindo transições suaves.

D. NumColor-Data (Conjunto de Dados)

• Um conjunto de dados sintético de 500.000 imagens geradas com Blender.
• Contém objetos 3D com materiais Lambertianos uniformes e cores de albedo definidas exatamente pelos códigos numéricos.
• Elimina ambiguidades de iluminação e material presentes em datasets fotográficos reais, fornecendo uma supervisão "cor-pixel" inequívoca.

3. Principais Contribuições

1. Framework NumColor: Uma solução que resolve a fragmentação de tokens e o desalinhamento de embeddings para controle de cor numérica.
2. Generalização Zero-Shot: O ColorBook, treinado exclusivamente no modelo FLUX, transfere-se para SD3, SD3.5, PixArt-α e PixArt-Σ sem necessidade de adaptação específica do modelo, graças ao uso compartilhado do codificador T5.
3. Novo Dataset Sintético: A criação do NumColor-Data para superar a falta de dados de treinamento com especificações de cor precisas.
4. Abordagem Token-Agnóstica: O CTA funciona independentemente do esquema de tokenização (CLIP, T5, GPT-2), tornando a solução robusta a diferentes arquiteturas.

4. Resultados

Os experimentos foram realizados no benchmark GenColorBench, utilizando 9.8 mil prompts cobrindo mais de 400 cores.

• Precisão de Cor: O NumColor melhorou a precisão numérica de cor em 4 a 9 vezes em comparação com os modelos base (baselines) em todos os cinco modelos testados.
  • Exemplo: No FLUX, a precisão no nível ISCC-L1 saltou de 13,82% (baseline) para 55,71%.
• Harmonia de Cor: Houve uma melhoria de 10 a 30 vezes nas pontuações de harmonia de cor, indicando que o controle preciso também resulta em paletas esteticamente mais coerentes.
• Qualidade Visual: A qualidade da imagem gerada foi preservada, e a transferência zero-shot funcionou consistentemente em diferentes arquiteturas de difusão.
• Análise de Embeddings: A análise geométrica mostrou que o NumColor reorganiza o espaço de embeddings para refletir a estrutura perceptual do espaço Lab, superando a degradação de ~60% observada em modelos base para códigos hexadecimais.

5. Significado e Impacto

O NumColor preenche uma lacuna crítica na geração de imagens por IA, permitindo que designers e profissionais utilizem modelos de difusão em fluxos de trabalho que exigem fidelidade de cor estrita (como branding, publicidade e visualização de produtos), onde códigos hexadecimais e RGB são o padrão.

Ao demonstrar que é possível controlar cores numéricas com precisão sem retrainar todo o modelo de difusão, o trabalho oferece uma solução eficiente e escalável. Além disso, ele revela que a limitação não é inerente à arquitetura de difusão, mas sim à forma como os codificadores de texto processam e representam informações numéricas, propondo uma correção arquitetural elegante (CTA + ColorBook) que pode ser aplicada a futuros modelos.

Limitações Identificadas:
O método ainda enfrenta desafios com "vazamento de cor" (a cor vazando para áreas adjacentes devido à falta de ancoragem espacial explícita) e "viés de cor de memória" (onde objetos com cores canônicas fortes, como bananas amarelas, resistem à mudança de cor), o que reflete limitações fundamentais dos modelos de difusão pré-treinados, não do NumColor em si.