🤖 AI

Kontinuous Kontext: Continuous Strength Control for Instruction-based Image Editing

El artículo presenta Kontinuous Kontext, un modelo de edición de imágenes basado en instrucciones que permite un control suave y continuo sobre la intensidad de la edición al entrenar un proyector ligero para mapear un valor de intensidad escalar y una instrucción de texto en el espacio de modulación del modelo, permitiendo a los usuarios ajustar las ediciones desde sutiles hasta plenamente realizadas a través de diversas operaciones sin entrenamiento específico de atributos.

Autores originales: Rishubh Parihar, Or Patashnik, Daniil Ostashev, R. Venkatesh Babu, Daniel Cohen-Or, Kuan-Chieh Wang

Publicado 2026-07-22

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Rishubh Parihar, Or Patashnik, Daniil Ostashev, R. Venkatesh Babu, Daniel Cohen-Or, Kuan-Chieh Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que sostienes una varita mágica que puede cambiar imágenes con solo hablarles. Dices: "Haz que el perro parezca un gato", y puf, la cara del perro se transforma en la de un felino. Este es el mundo de la edición de imágenes basada en instrucciones, un superpoder construido sobre la IA generativa. Estos son cerebros informáticos entrenados con miles de millones de fotos y subtítulos, aprendiendo a pintar nuevas imágenes desde cero o a retocar las existentes basándose en tus palabras. Durante mucho tiempo, estos magos solo podían hacer una cosa: seguir tu orden al pie de la letra. Si pedías una "chaqueta azul", te daban una chaqueta que era 100% azul. Si pedías "nieve", toda la escena se convertía en una tormenta de nieve. Pero, ¿qué pasaría si quisieras solo un poco de nieve? ¿O una chaqueta que fuera mayormente roja pero con un toque de azul? Hasta ahora, la varita mágica era un poco torpe; era un interruptor de encendido/apagado, no un regulador de intensidad.

Aquí es donde comienza la historia de Kontinuous Kontext. Los investigadores querían convertir ese tosco interruptor de encendido/apagado en un suave regulador de intensidad. Se plantearon una pregunta sencilla: ¿Podemos enseñar a una IA no solo qué cambiar, sino cuánto cambiarlo? No querían simplemente que la IA adivinara la cantidad correcta; querían que un usuario pudiera arrastrar un control deslizante y ver cómo la imagen se transforma gradualmente, como subir el volumen de una canción o ajustar el brillo de una pantalla. Este artículo presenta una nueva forma de dotar a la IA de ese control detallado, permitiéndonos graduar una edición desde "no ha pasado nada" hasta "completamente transformada" en un solo movimiento fluido.

El Problema: La Varita Mágica de "Todo o Nada"

Imagina que eres un chef con un libro de recetas mágico. Si pides una "sopa picante", el libro te da un cuenco que está tan caliente que te quema la lengua. Si pides una "sopa suave", te da un cuenco que sabe a agua. No puedes pedir "solo un poquito de picante". Así es exactamente como funciona la IA de edición de imágenes actual. Le das una instrucción de texto, como "convierte la chaqueta en piel", y o bien no hace nada o realiza una transformación completa y esponjosa. No hay término medio.

Los intentos anteriores para solucionar esto fueron como intentar construir una cocina nueva para cada ingrediente. Algunos científicos intentaron entrenar modelos especiales solo para cambiar el color del pelo, otros para cambiar el clima y otros para cambiar la forma de los objetos. Era como tener un chef diferente para cada plato. Funcionaba, pero era lento, costoso y no podías mezclar y combinar fácilmente. Necesitabas un único chef universal que pudiera manejar cualquier petición y te permitiera controlar la intensidad de cada cambio.

La Solución: El "Control de Volumen" para la IA

El equipo detrás de Kontinuous Kontext (un nombre lúdico que mezcla "Continuo" y "Contexto") construyó un sistema que actúa como un control de volumen universal para las ediciones de imagen. En lugar de limitarse a escuchar la instrucción "Hazlo azul", la IA ahora escucha la instrucción más un número que dice "qué tan azul".

Piensa en la IA como un músico tocando una canción. La instrucción de texto es la partitura, que le dice al músico qué tocar. El nuevo "control deslizante" es el control de volumen. En el pasado, el músico solo podía tocar la canción a todo volumen o en silencio. Ahora, con Kontinuous Kontext, puedes girar la perilla de cero a diez. En cero, la música está en silencio (la imagen no cambia). En cinco, la música es suave y gentil (una edición sutil). En diez, es un concierto de rock (una transformación completa). La magia es que la transición entre cero y diez es perfectamente fluida, sin saltos repentinos ni fallos.

Cómo Enseñaron a la IA a Deslizarse

Te preguntarás: "¿De dónde sacaron los datos para enseñar a la IA esto?". Después de todo, la gente real no suele tomar una foto, editarla ligeramente, editarla un poco más y luego editarla totalmente, guardando cada paso en el camino. Ese tipo de datos no existe en la naturaleza.

Así que los investigadores se convirtieron en magos de los datos. Crearon un conjunto de datos sintético: una biblioteca de ejemplos falsa pero realista. Así lo hicieron:

La Configuración: Tomaron 110.000 fotos aleatorias.
El Comando: Utilizaron un asistente de IA inteligente para escribir una instrucción única para cada foto, como "Convierte el coche en una nave espacial".
La Edición Completa: Utilizaron una IA potente ya existente (llamada Flux Kontext) para realizar la edición completa, convirtiendo el coche en una nave espacial.
El Puente: Esta fue la parte difícil. Necesitaban mostrarle a la IA cómo se veía el coche al 10%, 20%, 50% y 90% de "nave espacialidad". Utilizaron una herramienta especial de "morphing" (transformación gradual) para crear estas imágenes intermedias, como un vídeo que se desvanece de una escena a otra.
La Limpieza: La herramienta de morphing no era perfecta. A veces creaba artefactos extraños, como un coche con media rueda o una nave espacial que parecía un bloque informe. Los investigadores construyeron un filtro estricto para descartar cualquier ejemplo "malo" donde la transición no fuera fluida o la imagen pareciera rota. Terminaron con 64.000 "trayectorias de edición" de alta calidad (caminos suaves desde el inicio hasta el final).

La Receta Secreta: El "Proyector Traductor"

La invención central es una red pequeña y ligera que llaman proyector. Piensa en el modelo de IA principal como una orquesta gigante y compleja. La instrucción de texto le dice a la orquesta qué tocar. El nuevo proyctor es un pequeño traductor que se sitúa entre el control deslizante y la orquesta.

Cuando deslizas el control a "0.5" (a la mitad), el traductor no se limita a gritar "¡MITAD!" a la orquesta. En su lugar, le susurra una instrucción muy específica y calibrada al director de la orquesta (el espacio de modulación). Dice: "De acuerdo, para esta instrucción específica sobre una chaqueta azul, aplica esta cantidad exacta de azul".

El artículo descubrió que si simplemente intentaban introducir el número en las palabras de texto (como añadir un token de "mitad"), la música se volvía errática y extraña. Pero al introducir el número en el espacio de modulación —una capa oculta donde la IA controla la "vibra" de la imagen— pudieron hacer que los cambios fueran suaves y precisos. Es como darse cuenta de que, para cambiar el volumen, no debes gritarle al cantante; debes ajustar directamente el control de ganancia del amplificador.

Lo que Encontraron (y lo que no)

Los resultados fueron impresionantes. Cuando probaron su sistema contra otros métodos, Kontinuous Kontext fue el claro ganador en suavidad.

La Competencia: Otros métodos eran como un ascensor averiado. Iban desde la planta baja hasta el décimo piso, pero a veces se saltaban el quinto piso por completo, o las puertas se abrían en el piso equivocado. Algunos métodos intentaban simplemente "fusionar" dos imágenes, pero eso a menudo resultaba en monstruos extraños y borrosos en los pasos intermedios.
El Ganador: Kontinuous Kontext se movía como un ascensor suave. A medida que el control deslizante avanzaba de 0 a 1, la imagen cambiaba de forma gradual y lógica. Una chaqueta no se volvía azul de repente; ganaba más azul gradualmente. Una escena nevada no aparecía de golpe; los copos de nieve aparecían lentamente y el suelo se volvía blanco progresivamente.

El artículo también demostró que este método funciona para todo, no solo para una cosa. Ya sea que estés cambiando el color de un vestido, el material de una roca (haciéndola parecer oro), la forma de un coche o el clima de una escena, el mismo control deslizante funciona. Esto es enorme porque significa que no necesitas un modelo diferente para cada tipo de edición. Un único modelo universal puede manejarlo todo.

Sin embargo, los autores son honestos sobre los límites. El sistema es excelente para ediciones "continuas", como cambiar colores o materiales. Pero si pides un cambio geométrico muy específico y difícil —como rotar un coche 90 grados perfectamente— el sistema a veces tiene dificultades, porque la IA base sobre la que está construido (Flux Kontext) también tiene dificultades con eso. Además, si intentas llevar el control deslizante más allá del máximo (como pedir un "120% de azul"), el sistema no sabe qué hacer; simplemente se detiene en el 100% o se confunde. Es un regulador de intensidad, no una máquina del tiempo.

Por qué esto Importa

Este artículo sugiere que estamos dejando atrás la era de la IA de "sí o no". Estamos entrando en la era del "¿cuánto?". Al dar a los usuarios un control deslizante, Kontinuous Kontext cierra la brecha entre el deseo humano, complejo y creativo por el matiz, y la naturaleza rígida y binaria del código informático. Convierte la edición de imágenes de un juego de azar —donde esperas que la IA adivine la cantidad correcta de cambio— en un instrumento preciso donde puedes ajustar el resultado exactamente a tu gusto.

Los investigadores no solo construyeron una mejor herramienta; demostraron que el "control" para controlar la intensidad ya está escondido dentro de estos modelos de IA, esperando ser encontrado. Solo tenían que construir la llave adecuada para desbloquearlo. Ahora, en lugar de pedirle a una IA que "lo haga perfecto", finalmente puedes decirle: "Hazlo casi perfecto", y ver cómo se desliza hasta su lugar.

Resumen Técnico: Kontinuous Kontext

Planteamiento del Problema

La edición de imágenes basada en instrucciones ha avanzado significativamente, permitiendo a los usuarios manipular imágenes mediante lenguaje natural. Sin embargo, depender únicamente de instrucciones de texto presenta una limitación fundamental: el texto es una modalidad gruesa que especifica qué cambiar, pero no en qué medida. Los modelos actuales carecen de un control fino sobre la fuerza de la edición, forzando a los usuarios a un paradigma binario de "antes/después". Si bien trabajos previos han explorado el control continuo a través de traslaciones en el espacio latente (GANs) o módulos especializados por atributo (Difusión), estos enfoques suelen estar restringidos a dominios estrechos o requieren un entrenamiento dedicado para cada atributo específico, fallando al no proporcionar una solución unificada para diversas tareas de edición.

Metodología

Los autores presentan Kontinuous Kontext, un modelo de edición impulsado por instrucciones que integra una entrada de intensidad de edición escalar para permitir un control suave y continuo sobre la intensidad de las ediciones. El enfoque consta de dos etapas principales:

1. Generación y Filtrado de Datos Sintéticos

Dado que no se dispone de conjuntos de datos del mundo real con intensidades de edición anotadas, los autores sintetizan un conjunto de datos de cuádrupletos $(x, e, s, y_s)$ , donde $x$ es la imagen de origen, $e$ es la instrucción, $s$ es el escalar de intensidad y $y_s$ es la edición objetivo.

Pipeline de Generación:
- Generación de Instrucciones: Un Modelo de Lenguaje-Visión Grande (Qwen LVLM) genera instrucciones de edición diversas y específicas de la imagen, categorizadas en ediciones globales (estilización, entorno) y locales (material, atributo, forma).
- Edición de Fuerza Completa: El modelo base, Flux Kontext, genera la edición de fuerza completa ( $s=1$ ) a partir del origen y la instrucción.
- Síntesis Intermedia: Un modelo de morfismo basado en difusión (Freemorph) interpola entre la fuente y la edición de fuerza completa para generar imágenes intermedias a diversas intensidades ( $s \in [0, 1]$ ).
Filtrado: Los datos sintéticos suelen contener artefactos, transiciones no suaves o pérdida de identidad debido a errores de inversión en el proceso de morfismo. Los autores aplican un riguroso pipeline de filtrado basado en:
- Calidad de Inversión: Descarte de muestras donde la inversión de difusión de la imagen de origen o de la editada se desvía significativamente (medido mediante LPIPS).
- Suavidad de la Trayectoria: Cuantificación de la uniformidad de la trayectoria de edición utilizando la divergencia KL en la secuencia de deltas de imagen.
- Validez de la Edición: Eliminación de casos donde el modelo base falla al realizar la edición (ediciones débiles).
- Este proceso reduce los 110K muestras iniciales a 64K trayectorias de edición de alta calidad y suavidad.

2. Arquitectura del Modelo: El Proyector de Intensidad (Strength Projector)

La innovación central es una red de Proyector de Intensidad ligera que inyecta el escalar de intensidad $s$ en el espacio de modulación del modelo subyacente Flux Kontext, basado en DiT.

Condicionamiento del Espacio de Modulación: En lugar de tratar la intensidad como un token de texto (lo que produce transiciones abruptas), el modelo condiciona el escalar dentro del espacio de modulación. Se sabe que este espacio está altamente desentrelazado y es adecuado para el control fino de atributos.
Diseño del Proyector: Un pequeño Perceptrón de Capas Múltiples (MLP) mapea el escalar de entrada $s$ $s$ y el embedding de texto CLIP agrupado de la instrucción hacia desplazamientos ( $\Delta y_{shift}, \Delta y_{scale}$ $Δ y_{s hi f t}, Δ y_{sc a l e}$ ) para los parámetros de modulación de los tokens de texto.
- Conciencia de la Instrucción: Incluir el embedding de texto es crucial; sin él, el proyector predeciría desplazos idénticos para todas las ediciones a una intensidad dada, lo que provocaría saltos abruptos y no calibrados. El embedding de texto permite que la modulación sea específica al tipo de edición.
Entrenamiento: El modelo se ajusta mediante LoRA en las matrices de proyección de atención de Flux Kontext junto con la red del proyector, optimizando una pérdida de coincidencia de flujo (flow matching loss).

Contribuciones Clave

Control Continuo Unificado: Un único modelo capaz de control de intensidad fino a través de diversas categorías de edición (estilización, material, atributo, fondo, forma) sin requerir entrenamiento específico por atributo.
Inyección en el Espacio de Modulación: Demostración de que la intensidad de la edición puede controlarse eficazmente modulando los parámetros de los tokens de texto en una arquitectura DiT, cerrando la brecha entre instrucciones discretas y trayectorias continuas.
Pipeline de Datos Sintéticos: Un pipeline robusto para generar y filtrar cuádrupletos de imagen-edición-intensidad sintéticos, permitiendo el entrenamiento de modelos de control continuo donde los datos reales son escasos.
Arquitectura Ligera: La adición de un pequeño proyector MLP añade un gasto de inferencia insignificante mientras mejora significativamente la capacidad de control.

Resultados y Evaluación

Los autores evalúan Kontinuous Kontext frente a dos categorías de líneas de base (baselines):

Edición + Interpolación: Métodos que generan una edición completa y luego interpolan (Diffmorpher, Freemorph, WAN-2.1). Estas líneas de base sufren de artefactos, desaparición de objetos y transiciones abruptas en los pasos intermedios.
Métodos Específicos de Dominio: Modelos entrenados para atributos específicos (ConceptSliders para rostros, MARBLE para materiales). Estos suelen fallar en atributos no vistos o exhiben un comportamiento no monotónico.

Métricas:

Suavidad ( $\delta_{smooth}$ ): Medida mediante el déficit de triángulo (consistencia de segundo orden) usando DreamSim. Kontinuous Kontext logra el $\delta_{smooth}$ más bajo (0.329), indicando las transiciones más suaves en comparación con las líneas de base de interpolación (0.365–0.853) y los métodos de dominio específico (0.143–2.577).
Seguimiento de Instrucciones (CLIP-Dir): El modelo mantiene una alta alineación con la instrucción en todas las intensidades.
Preservación de Identidad: El método preserva la identidad de la fuente de manera más efectiva que las líneas de base, mostrando un decaimiento lineal en la similitud de la imagen a medida que aumenta la intensidad.
Estudio de Usuario: En una comparación directa, Kontinuous Kontext ganó en todos los criterios (suavidad, realismo, capacidad de edición, calidad general) contra todas las líneas de base.

Significado y Reivindicaciones

El artículo afirma que Kontinuous Kontext establece un marco poderoso y general para la edición de imágenes continua impulsada por instrucciones. Al transformar prompts de texto discretos en trayectorias de edición continuas, el método ofrece un nivel de precisión inalcanzable solo con texto.

Los autores enfatizan que su enfoque no requiere entrenamiento específico por atributo, lo que lo convierte en una solución unificada para diversas operaciones. Destacan que la intensidad de la edición se codifica naturalmente en el espacio de modulación de los modelos de difusión impulsados por instrucciones; aprender un proyector ligero en este espacio desbloquea un mecanismo de control flexible. El trabajo sugiere que otras formas de control continuo (por ejemplo, campos de intensidad espacial o temporal) podrían introducirse de manera similar, abriendo nuevas direcciones para herramientas de edición interactiva que combinen la riqueza del lenguaje con la precisión de los controles deslizantes continuos.

El documento reconoce modestamente las limitaciones: el método hereda las debilidades de manipulación geométrica del modelo base Flux Kontext (por ejemplo, rotación/traslación precisa) y tiene dificultades con la extrapolación más allá del rango de intensidad de entrenamiento ( $s > 1$ ).