Resumo Técnico: TeleStyle V2

Declaração do Problema

O TeleStyle V2 aborda limitações críticas observadas em seu predecessor, o TeleStyle V1, especificamente em relação à rigidez dos domínios de entrada e ao tratamento de referências. Embora o TeleStyle V1 tenha realizado com sucesso a transferência de estilo preservando o conteúdo, ele foi treinado exclusivamente em tripletos Realista-e-Estilizado (RnS) (referências de conteúdo fotorealistas e referências de estilo artístico). Essa distribuição de treinamento levou a três principais modos de falha:

1. Incapacidade de lidar com conteúdo estilizado: O modelo falhou quando a referência de conteúdo era uma imagem artística ou estilizada.
2. Incapacidade de lidar com estilos realistas: O modelo teve dificuldades quando a referência de estilo era uma imagem fotorealista em vez de uma artística.
3. Confusão de Ordem de Referência: Em certos casos, o modelo ignorou completamente a referência de conteúdo, gerando saídas quase idênticas à referência de estilo, apesar do uso de MS-RoPE e índices de imagem no template de entrada.

Além disso, o processo de Ajuste Fino Supervisionado (SFT) necessário para a transferência de estilo causou uma degradação nas capacidades gerais de edição de imagem guiada por texto e na consistência de conteúdo do modelo base.

Metodologia

1. Autodestilação para Expansão de Domínio

Para superar o gap de domínio, os autores introduziram uma estratégia de síntese de dados de autodestilação. Aproveitando as capacidades existentes do TeleStyle V1, eles construíram tripletos de treinamento cobrindo quatro combinações distintas de referências:

• Realista-e-Realista (RnR): Usando uma imagem realista como conteúdo e alvo, com uma imagem realista aleatória como referência de estilo.
• Estilizado-e-Estilizado (SnS): Usando uma única referência de conteúdo para gerar dois alvos estilizados diferentes ($result_0, result_1$) através de duas diferentes referências de estilo. Estes são então trocados para formar novos tripletos (ex: $[result_1, style_0, result_0]$), criando dados de treinamento onde conteúdo, estilo e alvo são todos estilizados.
• Estilizado-e-Realista (SnR): Convertendo um resultado estilizado de volta para um alvo realista. Os autores observam que esta tarefa específica é instável e recomendam o uso de prompts de texto diretos para esta conversão em vez do modo de transferência de estilo.

Esta abordagem permite que o TeleStyle V2 generalize através de todas as combinações de entradas realistas e estilizadas.

2. Distribuição de Correspondência de Destilação (DMD)

Para mitigar a degradação da consistência de conteúdo e preservar as habilidades gerais de edição de imagem do modelo base, os autores integraram a Destilação de Correspondência de Distribuição (DMD).

• Mecanismo: A DMD minimiza a divergência Kullback-Leibler reversa entre a distribuição de dados reais ($p_{real}$) e a distribuição de dados gerados ($p_{fake}$).
• Benefícios: Esta técnica atua como um regularizador que evita o "esquecimento catastrófico" das capacidades do modelo base. Ela permite que o TeleStyle V2 realize a transferência de estilo preservando o conteúdo e a edição de imagem geral guiada por texto em uma única execução. Os autores relatam que a DMD reduz os custos de inferência em aproximadamente 10 vezes, mantendo ou melhorando a integridade estética e estrutural da saída.

3. Melhoria de Prompt para Confusão de Ordem de Referência

Os autores investigaram a Otimização de Preferência Direta (DPO) para resolver o problema de confusão de ordem de referência, mas descobriram que ela era ineficaz mesmo com grandes conjuntos de dados (400k pares). Em vez disso, adotaram uma estratégia de Melhoria de Prompt:

• Implementação: Eles utilizam o modelo Qwen2.5-VL-7B (já presente como o codificador VLM na arquitetura Qwen-Image-Edit) para gerar uma breve descrição textual dos objetos na referência de conteúdo.
• Efeito: Este "prompt de conteúdo" autogerado é adicionado à entrada, fornecendo uma dica semântica que guia o modelo para associar corretamente a referência de conteúdo ao alvo, resolvendo efetivamente a confusão sem exigir técnicas de otimização complexas.

Principais Contribuições

1. Mecanismo de Autodestilação: Uma abordagem de síntese de dados inovadora que constrói tripletos de treinamento RnR, RnS, SnR e SnS, permitindo que o modelo lide com modalidades mistas (realistas e estilizadas) tanto para referências de conteúdo quanto de estilo.
2. Integração de DMD: Demonstrar que a Destilação de Correspondência de Distribuição preserva eficazmente as capacidades gerais de edição de imagem guiada por texto da série Qwen-Image-Edit, enquanto corrige problemas de consistência de conteúdo introduzidos pelo SFT.
3. Solução de Melhoria de Prompt: Identificar que a adição de descrições de conteúdo autogeradas resolve o problema de confusão de ordem de referência de forma mais eficaz do que o DPO.

Resultados e Avaliação

Capacidade Geral de Edição de Imagem

Avaliado no GEdit-Bench (usando Qwen2.5-VL-72B como juiz), o TeleStyleV2-QIE-2509-DMD demonstrou desempenho em par com, e em alguns casos superior ao, Qwen-Image-Edit-2509-DMD vanilla em 11 subtarefas (incluindo mudança de fundo, alteração de cor e substituição de assunto). Notavelmente, mostrou melhorias específicas em tarefas de mudança de estilo, apesar de não ter sido explicitamente treinado em transferência de estilo guiada por texto.

Desempenho de Transferência de Estilo

• Comparação: O TeleStyle V2 foi comparado qualitativamente com o modelo comercial de ponta gemini-3-pro-image-preview (referido como "nano banana pro").
• Descobertas: O TeleStyle V2 alcançou consistência de conteúdo comparável e, na maioria dos casos, similaridade de estilo superior ao modelo comercial.
• Cautela Quantitativa: Os autores optaram por não lançar estatísticas quantitativas de taxa de vitória contra o modelo comercial, observando que a taxa de vitória do TeleStyle V2 foi inesperadamente alta, o que suspeitam ser devido a um viés em seu conjunto de testes. Eles afirmam conservadoramente que o modelo performa "em par" com o benchmark comercial.

Significância e Alegações

O artigo posiciona o TeleStyle V2 como um passo significativo à frente na transferência de estilo de código aberto, indo além das restrições rígidas de modelos anteriores. Ao combinar a autodestilação com a correspondência de distribuição, os autores alegam ter criado um modelo que não é apenas uma ferramenta especializada em transferência de estilo, mas também um editor de imagem geral robusto guiado por texto. O trabalho demonstra que modelos de código aberto podem alcançar desempenho comparável a sistemas comerciais de alto nível (gemini-3-pro-image-preview) ao realizar transferência de estilo preservando o conteúdo, mantendo a flexibilidade da edição de imagem geral. A resolução bem-sucedida da confusão de ordem de referência via engenharia de prompt simples, em vez de algoritmos de alinhamento complexos, é destacada como um insight prático e eficaz para o desenvolvimento de modelos futuros.