🤖 AI

Kontinuous Kontext: Continuous Strength Control for Instruction-based Image Editing

O artigo apresenta o Kontinuous Kontext, um modelo de edição de imagem baseado em instruções que permite o controle suave e contínuo sobre a força da edição ao treinar um projetor leve para mapear um valor escalar de força e uma instrução de texto no espaço de modulação do modelo, permitindo que os usuários ajustem as edições de sutis a totalmente realizadas através de diversas operações sem treinamento específico de atributos.

Autores originais: Rishubh Parihar, Or Patashnik, Daniil Ostashev, R. Venkatesh Babu, Daniel Cohen-Or, Kuan-Chieh Wang

Publicado 2026-07-22

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Rishubh Parihar, Or Patashnik, Daniil Ostashev, R. Venkatesh Babu, Daniel Cohen-Or, Kuan-Chieh Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está segurando uma varinha mágica que pode mudar imagens apenas falando com elas. Você diz: "Faça o cachorro parecer um gato" e, poof, o rosto do cachorro se transforma em um felino. Este é o mundo da edição de imagem baseada em instruções, um superpoder construído sobre a IA generativa. Estes são cérebros de computador treinados em bilhões de fotos e legendas, aprendendo a pintar novas imagens do zero ou a ajustar imagens existentes com base em suas palavras. Por muito tempo, esses magos só conseguiam fazer uma coisa: seguir seu comando à risca. Se você pedisse uma "jaqueta azul", eles lhe daviam uma jaqueta 100% azul. Se pedisse "neve", toda a cena se tornava uma nevasca. Mas e se você quisesse apenas um pouco de neve? Ou uma jaqueta que fosse majoritariamente vermelha, mas com um toque de azul? Até agora, a varinha mágica era um pouco desajeitada; era um interruptor de liga/desliga, não um dimmer.

É aqui que começa a história do Kontinuous Kontext. Os pesquisadores queriam transformar esse interruptor clunky de liga/desliga em um dimmer suave e deslizante. Eles fizeram uma pergunta simples: Podemos ensinar uma IA não apenas o que mudar, mas o quanto mudar? Eles não queriam apenas que a IA adivinhasse a quantidade certa; eles queriam que um usuário pudesse arrastar um controle deslizante e observar a imagem se transformar gradualmente, como aumentar o volume de uma música ou ajustar o brilho de uma tela. Este artigo apresenta uma nova maneira de dar à IA esse controle refinado, permitendo-nos ajustar uma edição de "nada aconteceu" para "completamente transformada" em um único movimento suave.

O Problema: A Varinha Mágica do "Tudo ou Nada"

Imagine que você é um chef com um livro de receitas mágico. Se você pedir uma "sopa apimentada", o livro lhe dá uma tigela tão quente que queima sua língua. Se você pedir uma "sopa suave", ele lhe dá uma tigela que tem gosto de água. Você não pode pedir por "apenas um toque de pimenta". É exatamente assim que a IA de edição de imagem atual funciona. Você dá a ela uma instrução de texto, como "transforme a jaqueta em pele", e ela ou não faz nada ou vai direto para uma transformação total e peluda. Não há meio-termo.

Tentativas anteriores de corrigir isso eram como tentar construir uma cozinha nova para cada ingrediente. Alguns cientistas tentaram treinar modelos especiais apenas para mudar a cor do cabelo, outros para mudar o clima, e outros para mudar a forma de objetos. Era como ter um chef diferente para cada prato. Funcionava, mas era lento, caro e você não podia facilmente misturar e combinar. Você precisava de um chef único e universal que pudesse lidar com qualquer pedido e permitir que você controlasse a intensidade de cada mudança.

A Solução: O "Botão de Volume" para a IA

A equipe por trás do Kontinuous Kontext (um nome lúdico que mistura "Contínuo" e "Contexto") construiu um sistema que atua como um botão de volume universal para edições de imagem. Em vez de apenas ouvir a instrução "torne-a azul", a IA agora ouve a instrução mais um número que diz o quão azul.

Pense na IA como um músico tocando uma música. A instrução de texto é a partitura, dizendo ao músico o que tocar. O novo "controle deslizante" é o botão de volume. No passado, o músico só podia tocar a música no volume máximo ou em silêncio. Agora, com o Kontinuous Kontext, você pode girar o botão de zero a dez. Em zero, a música está silenciosa (a imagem permanece inalterada). Em cinco, a música é suave e gentil (uma edição sutil). Em dez, é um show de rock (uma transformação completa). A magia é que a transição entre zero e dez é perfeitamente suave, sem saltos repentinos ou falhas.

Como Eles Ensinaram a IA a Deslizar

Você pode se perguntar: "Onde eles conseguiram os dados para ensinar a IA isso?" Afinal, pessoas reais geralmente não tiram uma foto, editam-na ligeiramente, editam-na um pouco mais e depois a editam totalmente, salvando cada etapa do caminho. Esse tipo de dado não existe no mundo real.

Então, os pesquisadores tornaram-se magos de dados. Eles criaram um conjunto de dados sintético — uma biblioteca de exemplos falsos, mas realistas. Veja como eles fizeram:

A Configuração: Eles pegaram 110.000 fotos aleatórias.
O Comando: Usaram um assistente de IA inteligente para escrever uma instrução única para cada foto, como "Transforme o carro em uma nave espacial".
A Edição Completa: Usaram uma IA poderosa já existente (chamada Flux Kontext) para fazer a edição completa, transformando o carro em uma nave espacial.
A Ponte: Esta foi a parte difícil. Eles precisavam mostrar à IA como o carro parecia a 10%, 20%, 50% e 90% de "nave espacial-idade". Eles usaram uma ferramenta especial de "morphing" (transformação gradual) para criar essas imagens intermediárias, como um vídeo fazendo o fade entre duas cenas.
A Limpeza: A ferramenta de morphing não era perfeita. Às vezes, criava artefatos estranhos, como um carro com meia roda ou uma nave espacial que parecia uma massa informe. Os pesquisadores construíram um filtro rigoroso para descartar quaisquer exemplos "ruins" onde a transição não fosse suave ou a imagem parecesse quebrada. Eles terminaram com 64.000 "trajetórias de edição" de alta qualidade (caminhos suaves do início ao fim).

O Ingrediente Secreto: O Projetor "Tradutor"

A invenção central é uma rede pequena e leve que chamam de projetor. Pense no modelo de IA principal como uma orquestra gigante e complexa. A instrução de texto diz à orquestra o que tocar. O novo projetor é um pequeno tradutor que se senta entre o controle deslizante e a orquestra.

Quando você desliza o controle para "0.5" (meio termo), o tradutor não apenas grita "METADE!" para a orquestra. Em vez disso, ele sussurra uma instrução muito específica e calibrada para o maestro da orquestra (o espaço de modulação). Ele diz: "Ok, para esta instrução específica sobre uma jaqueta azul, aplique esta quantidade exata de azul".

O papel descobriu que, se tentassem simplesmente inserir o número nas palavras do texto (como adicionar um token de "metade"), a música ficaria instável e estranha. Mas, ao inserir o número no espaço de modulação — uma camada oculta onde a IA controla a "vibe" da imagem — eles conseguiram tornar as mudanças suaves e precisas. É como perceber que, para mudar o volume, você não deve gritar com o cantor; você deve ajustar o botão de ganho do amplificador diretamente.

O Que Eles Descobriram (e o Que Não Descobriram)

Os resultados foram impressionantes. Quando testaram seu sistema contra outros métodos, o Kontinuous Kontext foi o vencedor claro em suavidade.

A Competição: Outros métodos eram como um elevador quebrado. Eles iriam do térreo ao 10º andar, mas às vezes pulavam o 5º andar inteiro, ou as portas abriam no andar errado. Alguns métodos tentavam apenas "fundir" duas imagens, mas isso frequentemente resultava em monstros estranhos e borrados nos passos intermediários.
O Vencedor: O Kontinuous Kontext movia-se como um elevador suave. À medida que o controle deslizante ia de 0 a 1, a imagem mudava de forma gradual e lógica. Uma jaqueta não ficava azul de repente; ela ganhava mais azul lentamente. Uma cena de neve não aparecia subitamente; os flocos de neve surgiam lentamente e o chão tornava-se branco aos poucos.

O artigo também mostrou que este método funciona para tudo, não apenas para uma coisa. Quer você esteja mudando a cor de um vestido, o material de uma rocha (fazendo-a parecer ouro), a forma de um carro ou todo o clima de uma cena, o mesmo controle deslizante funciona. Isso é enorme porque significa que você não precisa de um modelo diferente para cada tipo de edição. Um modelo universal pode lidar com tudo.

No entanto, os autores são honestos sobre os limites. O sistema é ótimo para edições "contínuas", como mudar cores ou materiais. Mas, se você pedir uma mudança geométrica muito específica e rígida — como rotacionar um carro 90 graus perfeitamente — o sistema às vezes tem dificuldades, porque a IA base sobre a qual ele foi construído (Flux Kontext) também tem dificuldades com isso. Além disso, se você tentar empurrar o controle além do máximo (como pedir por "120% de azul"), o sistema não sabe o que fazer; ele apenas para em 100% ou fica confuso. É um dimmer, não uma máquina do tempo.

Por Que Isso Importa

Este artigo sugere que estamos deixando a era da IA de "sim ou não". Estamos entrando na era do "quanto?". Ao dar aos usuários um controle deslizante, o Kontinuous Kontext preenche a lacuna entre o desejo humano desordenado e criativo pela nuance e a natureza rígida e binária do código de computador. Transforma a edição de imagem de um jogo de azar — onde você espera que a IA adivinhe a quantidade certa de mudança — em um instrumento preciso onde você pode ajustar o resultado exatamente ao seu gosto.

Os pesquisadores não apenas construíram uma ferramenta melhor; eles mostraram que o "botão" para controlar a intensidade já está escondido dentro desses modelos de IA, esperando para ser encontrado. Eles só precisavam construir a chave certa para desbloqueá-lo. Agora, em vez de pedir a uma IA para "torná-la perfeita", você pode finalmente dizer a ela: "Torne-a quase perfeita", e observar enquanto ela desliza exatamente para o lugar certo.

Resumo Técnico: Kontinuous Kontext

Declaração do Problema

A edição de imagens baseada em instruções avançou significativamente, permitindo que usuários manipulem imagens via linguagem natural. No entanto, confiar apenas em instruções de texto apresenta uma limitação fundamental: o texto é uma modalidade grosseira que especifica o que mudar, mas não até que ponto. Os modelos atuais carecem de controle refinado sobre a intensidade da edição, forçando os usuários a um paradigma binário de "antes/depois". Embora trabalhos anteriores tenham explorado o controle contínuo através de travessias no espaço latente (GANs) ou módulos especializados por atributo (Diffusion), essas abordagens são frequentemente restritas a domínios estreitos ou exigem treinamento dedicado para cada atributo específico, falhando em fornecer uma solução unificada para diversas tarefas de edição.

Metodologia

Os autores introduzem o Kontinuous Kontext, um modelo de edição impulsionado por instruções que integra uma entrada escalar de força de edição para permitir um controle suave e contínuo sobre a intensidade das edições. A abordagem consiste em duas etapas primárias:

1. Geração e Filtragem de Dados Sintéticos

Como conjuntos de dados do mundo real com intensidades de edição anotadas não estão disponíveis, os autores sintetizam um conjunto de dados de quadrupletas $(x, e, s, y_s)$ , onde $x$ é a imagem de origem, $e$ é a instrução, $s$ é o escalar de força e $y_s$ é a edição alvo.

Pipeline de Geração:
- Geração de Instrução: Um Modelo de Linguagem-Visão Grande (Qwen LVLM) gera instruções de edição diversas e específicas da imagem, categorizadas em edições globais (estilização, ambiente) e locais (material, atributo, forma).
- Edição de Força Total: O modelo base, Flux Kontext, gera a edição de força total ( $s=1$ ) a partir da origem e da instrução.
- Síntese Intermediária: Um modelo de morfismo baseado em difusão (Freemorph) interpola entre a origem e a edição de força total para gerar imagens intermediárias em várias forças ( $s \in [0, 1]$ ).
Filtragem: Os dados sintéticos frequentemente contêm artefatos, transições não suaves ou perda de identidade devido a erros de inversão no processo de morfismo. Os autores aplicam um pipeline de filtragem rigoroso baseado em:
- Qualidade de Inversão: Descartando amostras onde a inversão de difusão da origem ou da imagem editada desvia significativamente (medido via LPIPS).
- Suavidade da Trajetória: Quantificando a uniformidade da trajetória de edição usando divergência KL na sequência de deltas de imagem.
- Validade da Edição: Removendo casos onde o modelo base falha em realizar a edição (edições fracas).
- Este processo reduz as 110 mil amostras iniciais para 64 mil trajetórias de edição de alta qualidade e suaves.

2. Arquitetura do Modelo: O Projetor de Força (Strength Projector)

A inovação central é uma rede de Projetor de Força leve que injeta o escalar de força $s$ no espaço de modulação do modelo subjacente Flux Kontext, baseado em DiT.

Condicionamento do Espaço de Modulação: Em vez de tratar a força como um token de texto (o que gera transições abruptas), o modelo condiciona o escalar dentro do espaço de modulação. Este espaço é conhecido por ser altamente desentranhado e adequado para o controle refinado de atributos.
Design do Projetor: Um pequeno Perceptron de Camadas Multicamadas (MLP) mapeia o escalar de entrada $s$ $s$ e o embedding de texto CLIP agrupado da instrução para offsets ( $\Delta y_{shift}, \Delta y_{scale}$ $Δ y_{s hi f t}, Δ y_{sc a l e}$ ) para os parâmetros de modulação do token de texto.
- Consciência de Instrução: Incluir o embedding de texto é crucial; sem ele, o projetor prevê offsets idênticos para todas as edições em uma determinada força, levando a saltos abruptos e não calibrados. O embedding de texto permite que a modulação seja específica ao tipo de edição.
Treinamento: O modelo é ajustado usando LoRA nas matrizes de projeção de atenção do Flux Kontext junto com a rede do projetor, otimizando uma perda de correspondência de fluxo (flow matching loss).

Principais Contribuições

Controle Contínuo Unificado: Um único modelo capaz de controle de força refinado através de diversas categorias de edição (estilização, material, atributo, fundo, forma) sem exigir treinamento específico por atributo.
Injeção no Espaço de Modulação: Demonstrando que a força da edição pode ser efetivamente controlada pela modulação dos parâmetros dos tokens de texto em uma arquitetura DiT, preenchendo a lacuna entre instruções discretas e trajetórias contínuas.
Pipeline de Dados Sintéticos: Um pipeline robusto para gerar e filtrar quadrupletas de imagem-edição-força sintéticas, permitindo o treinamento de modelos de controle contínuo onde dados reais são escassos.
Arquitetura Leve: A adição de um pequeno projetor MLP adiciona um overhead de inferência negligenciável enquanto aumenta significativamente a controlabilidade.

Resultados e Avaliação

Os autores avaliam o Kontinuks Kontext contra duas categorias de baselines:

Edição + Interpolação: Métodos que geram uma edição completa e então interpolam (Diffmorpher, Freemorph, WAN-2.1). Esses baselines sofrem com artefatos, desaparecimento de objetos e transições abruptas nos passos intermediários.
Métodos de Domínio Específico: Modelos treinados para atributos específicos (ConceptSliders para faces, MARBLE para materiais). Estes frequentemente falham em atributos não vistos ou exibem comportamento não monotônico.

Métricas:

Suavidade ( $\delta_{smooth}$ ): Medida via déficit de triângulo (consistência de segunda ordem) usando DreamSim. O Kontinuous Kontext alcança o menor $\delta_{smooth}$ (0,329), indicando as transições mais suaves comparado aos baselines de interpolação (0,365–0,853) e métodos de domínio específico (0,143–2,577).
Seguimento de Instrução (CLIP-Dir): O modelo mantém um alto alinhamento com a instrução em todas as forças.
Preservação de Identidade: O método preserva a identidade da origem de forma mais eficaz que os baselines, mostrando um decaimento linear na similaridade da imagem conforme a força aumenta.
Estudo com Usuários: Em uma comparação direta, o Kontinuous Kontext venceu em todos os critérios (suavidade, realismo, capacidade de edição, qualidade geral) contra todos os baselines.

Significância e Alegações

O artigo afirma que o Kontinuous Kontext estabelece um framework poderoso e geral para edição de imagens impulsionada por instruções contínuas. Ao transformar prompts de texto discretos em trajetórias de edição contínuas, o método oferece um nível de precisão inalcançável apenas com texto.

Os autores enfatizam que sua abordagem não requer treinamento específico por atributo, tornando-a uma solução unificada para diversas operações. Eles destacam que a intensidade da edição é naturalmente codificada no espaço de modulação de modelos de difusão impulsionados por instrução; aprender um projetor leve para este espaço desbloqueia um mecanismo de controle flexível. O trabalho sugere que outras formas de controle contínuo (por exemplo, campos de intensidade espacial ou temporal) poderiam ser introduzidas de forma semelhante, abrindo novas direções para ferramentas de edição interativas que combinam a riqueza da linguagem com a precisidade de controles deslizantes contínuos.

O artigo reconhece modestamente as limitações: o método herda as fraquezas de manipulação geométrica do modelo base Flux Kontext (por exemplo, rotação/translação precisa) e tem dificuldade com extrapolação além da faixa de força de treinamento ( $s > 1$ ).