💻 computer science

TeleStyle V2: Beyond Content-Preserving Style Transfer with Self-Distillation and Distribution-Matching-Distillation

Este artículo presenta TeleStyle V2, un modelo de transferencia de estilo avanzado que supera las limitaciones de su predecesor mediante el empleo de la Auto-Destilación para combinaciones versátiles de referencia de contenido y estilo, y la Destilación por Emparejamiento de Distribución para preservar las capacidades generales de edición de imágenes, logrando finalmente un rendimiento comparable al de los modelos comerciales de vanguardia.

Autores originales: Shiwen Zhang, Yifan Xu, Haibin Huang, Chi Zhang, Xuelong Li

Publicado 2026-06-23

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Shiwen Zhang, Yifan Xu, Haibin Huang, Chi Zhang, Xuelong Li

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes a un artista talentoso que es excelente tomando la foto de una persona real y pintándola al estilo de Van Gogh. Ese fue el TeleStyle V1 original. Fue un gran exponente, pero tenía una debilidad muy específica: solo sabía pintar fotos reales. Si le entregabas un dibujo de caricatura y le pedías que lo hiciera parecer una fotografía, o si le pedías que pintara una foto real al estilo de otra foto real, se confundía y fallaba.

TeleStyle V2 es la gran actualización del artista. El equipo detrás de él enseñó al modelo a ser mucho más versátil, de modo que puede manejar cualquier mezcla de entradas "reales" y de "caricatura". Así es como lo hicieron, explicado de forma sencilla:

1. El truco de "auto-enseñanza" (Autodestilación)

En la versión anterior, el modelo solo practicaba con fotos reales. Para solucionar esto, los investigadores inventaron un ingenioso bucle de "auto-enseñanza".

Piensa en el modelo como un estudiante que ya ha dominado la pintura de fotos reales. Los investigadores le dijeron al estudiante: "Está bien, toma la pintura que acabas de hacer, trátala como una nueva 'foto real' e intenta pintarla en un estilo diferente".

Al hacer esto una y otra vez, el modelo generó sus propios ejemplos de práctica donde tanto la imagen inicial como el estilo eran artísticos (o ambos eran reales). Esto le permitió aprender cómo manejar tareas de Estilizado-a-Estilizado o Real-a-Real, enseñándose a sí mismo de manera efectiva para salir de su caja original.

2. El "Guardián de la Memoria" (Destilación de Coincidencia de Distribución)

Cuando entrenas a un modelo demasiado duro en una tarea específica (como la transferencia de estilo), a veces comienza a olvidar sus otras habilidades, como entender instrucciones de texto simples o mantener la apariencia natural de la imagen original. Es como un chef que aprende a hacer el sushi perfecto pero olvida cómo cocinar un simple huevo.

Para detener este "olvido", el equipo utilizó una técnica llamada Destilación de Coincidencia de Distribución (DMD).

La analogía: Imagina que el modelo es un estudiante tomando un curso nuevo y difícil. DMD es como un tutor que constantemente le susurra: "¡No olvides los conceptos básicos que aprendiste en tu clase anterior!".
El resultado: Esta técnica asegura que el modelo no pierda su capacidad de seguir comandos de texto o de mantener las imágenes con un buen aspecto. De hecho, hizo que el modelo fuera tan bueno que ahora puede realizar la edición de imágenes general (como cambiar un fondo o añadir un objeto) tan bien como la versión original no entrenada, siendo al mismo tiempo un maestro de la transferencia de estilo.

3. Corrigiendo el problema de la "mezcla" (Potenciador de Prompts)

Los investigadores notaron un error curioso: a veces el modelo invertía las instrucciones. Si le mostrabas una foto de un perro (Contenido) y una imagen de un atardecer (Estilo), a veces ignoraba al perro y simplemente copiaba el atardecer, o viceversa. Era como un camarero que te trae el menú equivocado porque se confundió sobre qué plato pediste.

Intentaron un método complejo llamado DPO para solucionarlo, pero no funcionó. En su lugar, encontraron una solución simple: el Potenciador de Prompts.

La analogía: Antes de que el camarero tome el pedido, describe rápidamente el plato al chef: "El cliente quiere el perro, no el atardecer".
Cómo funciona: Utilizan un asistente de IA inteligente (Qwen2.5-VL-7B) para escribir automáticamente una descripción corta de la imagen de contenido y de la imagen de estilo. Al añadir estas descripciones a las instrucciones, el modelo entiende inmediatamente cuál es cuál, y el problema de la confusión desaparece.

La conclusión

TeleStyle V2 es un gran salto adelante porque:

Puede manejar cualquier combinación de imágenes reales y artísticas (Real-a-Real, Arte-a-Arte, Real-a-Arte, Arte-a-Real).
No perdió su "sentido común" general para la edición de imágenes; de hecho, mejoró en ello.
Corrigió la confusión sobre qué imagen es el "sujeto" y cuál es el "estilo".

El equipo afirma que, en términos de mantener el sujeto original mientras se cambia el estilo, TeleStyle V2 se desempeña tan bien como el modelo comercial de alto nivel Gemini-3-Pro-Image-Preview (también conocido como "Nano Banana Pro"), pero es un proyecto de código abierto. También han compartido su código y página del proyecto para que otros puedan usarlo.

Resumen Técnico: TeleStyle V2

Declaración del Problema

TeleStyle V2 aborda las limitaciones críticas observadas en su predecesor, TeleStyle V1, específicamente con respecto a la rigidez de los dominios de entrada y el manejo de las referencias. Aunque TeleStyle V1 realizó con éxito la transferencia de estilo preservando el contenido, fue entrenado exclusivamente en tríos Realista-y-Estilizado (RnS) (referencias de contenido fotorrealistas y referencias de estilo artístico). Esta distribución de entrenamiento derivó en tres modos de falla principales:

Incapacidad para manejar contenido estilizado: El modelo fallaba cuando la referencia de contenido era una imagen artística o estilizada.
Incapacidad para manejar estilos realistas: El modelo tenía dificultades cuando la referencia de estilo era una imagen fotorrealista en lugar de una artística.
Confusión de Orden de Referencia: En ciertos casos, el modelo ignoraba por completo la referencia de contenido, generando salidas casi idénticas a la referencia de estilo, a pesar del uso de MS-RoPE e índices de imagen en la plantilla de entrada.

Además, el proceso de Ajuste Fino Supervisado (SFT) requerido para la transferencia de estilo causó una degradación en las capacidades generales de edición de imágenes guiada por texto y en la consistencia del contenido del modelo base.

Metodología

1. Auto-destilación para la Expansión de Dominio

Para superar la brecha de dominio, los autores introdujeron una estrategia de síntesis de datos de auto-destilación. Aprovechando las capacidades existentes de TeleStyle V1, construyeron tríos de entrenamiento que cubren cuatro combinaciones distintas de referencias:

Realista-y-Realista (RnR): Usando una imagen realista tanto para el contenido como para el objetivo, con una imagen realista aleatoria como referencia de estilo.
Estilizado-y-Estilizado (SnS): Utilizando una única referencia de contenido para generar dos objetivos estilizados diferentes ( $result_0, result_1$ ) mediante dos diferentes referencias de estilo. Estos se intercambian para formar nuevos tríos (por ejemplo, $[result_1, style_0, result_0]$ ), creando datos de entrenamiento donde el contenido, el estilo y el objetivo son todos estilizados.
Estilizado-y-Realista (SnR): Convirtiendo un resultado estilizado de vuelta a un objetivo realista. Los autores señalan que esta tarea específica es inestable y recomiendan usar prompts de texto directos para esta conversión en lugar del modo de transferencia de estilo.

Este enfoque permite que TeleStyle V2 se generalice a través de todas las combinaciones de entradas realistas y estilizadas.

2. Destilación de Coincidencia de Distribución (DMD)

Para mitigar la degradación de la consistencia del contenido y preservar las habilidades generales de edición de imágenes guiada por texto del modelo base, los autores integraron la Destilación de Coincidencia de Distribución (DMD).

Mecanismo: DMD minimiza la divergencia de Kullback-Leibler inversa entre la distribución de datos reales ( $p_{real}$ ) y la distribución de datos generados ( $p_{fake}$ ).
Beneficios: Esta técnica actúa como un regularizador que evita el "olvido catastrófico" de las capacidades del modelo base. Permite que TeleStyle V2 realice la transferencia de estilo preservando el contenido y la edición de imágenes general guiada por texto en una sola ejecución. Los autores reportan que DMD reduce los costos de inferencia aproximadamente 10 veces mientras mantiene o mejora la integridad estética y estructural de la salida.

3. Mejora de Prompts para la Confusión de Orden de Referencia

Los autores investigaron la Optimización de Preferencia Directa (DPO) para resolver el problema de la confusión de orden de referencia pero encontraron que era ineficaz incluso con grandes conjuntos de datos (400k pares). En su lugar, adoptaron una estrategia de Mejora de Prompts:

Implementación: Utilizan el modelo Qwen2.5-VL-7B (ya presente como el codificador VLM en la arquitectura Qwen-Image-Edit) para generar una breve descripción textual de los objetos en la referencia de contenido.
Efecto: Este "prompt de contenido" autogenerado se añade a la entrada, proporcionando una pista semántica que guía al modelo para asociar correctamente la referencia de contenido con el objetivo, resolviendo efectivamente la confusión sin requerir técnicas de optimización complejas.

Contribuciones Clave

Mecanismo de Auto-destilación: Un novedoso enfoque de síntesis de datos que construye tríos de entrenamiento RnR, RnS, SnR y SnS, permitiendo que el modelo maneje modalidades mixtas (realistas y estilizadas) tanto para las referencias de contenido como de estilo.
Integración de DMD: Demostrar que la Destilación de Coincidencia de Distribución preserva eficazmente las capacidades generales de edición de imágenes guiada por texto de la serie Qwen-Image-Edit mientras corrige los problemas de consistencia de contenido introducidos por el SFT.
Solución de Mejora de Prompts: Identificar que añadir descripciones de contenido autogeneradas resuelve el problema de la confusión de orden de referencia de manera más efectiva que el DPO.

Resultados y Evaluación

Capacidad General de Edición de Imágenes

Evaluado en GEdit-Bench (usando Qwen2.5-VL-72B como juez), TeleStyleV2-QIE-2509-DMD demostró un rendimiento a la par con, y en algunos casos superior al, Qwen-Image-Edit-2509-DMD original en 11 sub-tareas (incluyendo cambio de fondo, alteración de color y reemplazo de sujeto). Notablemente, mostró mejoras específicas en tareas de cambio de estilo a pesar de no haber sido entrenado explícitamente en transferencia de estilo guiada por texto.

Rendimiento de la Transferencia de Estilo

Comparación: TeleStyle V2 fue comparado cualitativamente contra el modelo comercial de vanguardia gemini-3-pro-image-preview (referido como "nano banana pro").
Hallazgos: TeleStyle V2 logró una consistencia de contenido comparable y, en la mayoría de los casos, una similitud de estilo superior al modelo comercial.
Cautela Cuantitativa: Los autores optaron por no publicar estadísticas cuantitativas de la tasa de victoria contra el modelo comercial, señalando que la tasa de victoria de TeleStyle V2 fue inesperadamente alta, lo cual sospechan que puede deberse a un sesgo en su conjunto de pruebas. Afirman de forma conservadora que el modelo rinde "a la par" con el benchmark comercial.

Significancia y Reivindicaciones

El artículo posiciona a TeleStyle V2 como un paso significativo adelante en la transferencia de estilo de código abierto, yendo más allá de las restricciones rígidas de los modelos anteriores. Al combinar la auto-destilación con la coincidencia de distribución, los autores afirman haber creado un modelo que no solo es una herramienta especializada en transferencia de estilo, sino también un robusto editor de imágenes general guiado por texto. El trabajo demuestra que los modelos de código abierto pueden lograr un rendimiento comparable a los sistemas comerciales de primer nivel (gemini-3-pro-image-preview) en la transferencia de estilo preservando el contenido, manteniendo al mismo tiempo la flexibilidad de la edición de imágenes general. La resolución exitosa de la confusión de orden de referencia mediante una simple ingeniería de prompts, en lugar de algoritmos de alineación complejos, se destaca como un conocimiento práctico y efectivo para el desarrollo de modelos futuros.