Referring Layer Decomposition

Este trabalho apresenta a tarefa de Decomposição de Camadas de Referência (RLD) e o conjunto de dados RefLade, que permitem a geração precisa de camadas RGBA a partir de uma única imagem e prompts flexíveis, superando as limitações das abordagens holísticas atuais para edição de imagens e geração composicional.

O essencial

Imagine que você tem uma fotografia de uma rua movimentada. Hoje, se você quiser mudar a cor do carro vermelho ou remover o cachorro que está na frente, você precisa "pintar" sobre a imagem inteira, como se estivesse usando um pincel digital. O problema é que o computador vê a foto como uma única "massa" de pixels. Ele não sabe que o carro é um objeto separado do asfalto, nem que o cachorro está escondendo parte de um poste atrás dele.

Este novo trabalho de pesquisa, apresentado na conferência ICLR 2026, propõe uma solução genial: desmontar a foto em camadas separadas, como se fosse um sanduíche ou um bolo de vários andares.

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: A Foto é um "Bloco Único"

Atualmente, as IAs de imagem são ótimas em criar fotos do zero, mas péssimas em editar partes específicas. É como tentar mudar a cor da camisa de uma pessoa em uma foto antiga sem manchar o fundo. As ferramentas atuais só mexem no que está visível. Se algo estiver escondido atrás de outra coisa (oculto), a IA não sabe como preencher esse espaço porque "não existe" na foto original.

2. A Solução: "Desmontar o Quebra-Cabeça" (RLD)

Os autores criaram uma nova tarefa chamada Decomposição de Camadas de Referência (RLD).

• A Analogia: Imagine que você tem uma foto impressa e, em vez de cortá-la com tesoura, você a transforma em um conjunto de adesivos transparentes (camadas).
  • Uma camada tem apenas o carro.
  • Outra tem apenas o pedestre.
  • Outra tem o céu.
• O Truque Mágico: Mesmo que o pedestre esteja escondendo parte do carro na foto original, a IA consegue "adivinhar" e desenhar a parte do carro que está escondida. Ela entrega a você uma camada completa do carro, pronta para ser movida, girada ou trocada de cor, sem estragar o resto da imagem.

3. Como a IA Sabe o que Você Quer? (Os "Comandos")

O sistema é muito flexível. Você pode pedir a camada de um objeto de várias formas, como se estivesse falando com um assistente pessoal:

• Apontando: Você clica no carro (ponto) ou desenha um quadrado ao redor dele.
• Falando: Você escreve "o cavalo marrom e branco" ou "o fundo da imagem".
• Misturando: Você escreve "o cachorro" e aponta para ele.

A IA entende o comando e entrega exatamente a "peça" que você pediu, completa e transparente (como um arquivo PNG com fundo transparente).

4. O "Laboratório de Treinamento" (RefLade)

Para ensinar essa IA a fazer isso, os pesquisadores precisavam de milhões de exemplos. Como não existem fotos prontas com essas camadas separadas na natureza, eles criaram uma fábrica automática de dados chamada RefLade.

• A Analogia: Imagine um chef de cozinha que precisa aprender a separar os ingredientes de um prato complexo. Como ele não tem os ingredientes separados, ele usa um robô superpoderoso para:
  1. Pegar uma foto de um prato.
  2. Identificar o que é o que.
  3. "Desmontar" o prato no computador, recriando as partes que estavam escondidas.
  4. Verificar se o resultado ficou bom.
• Eles criaram 1,1 milhão desses exemplos. É como ter um livro de receitas gigante onde cada prato já vem com todos os ingredientes separados e prontos para uso.

5. O "Cozinheiro" (RefLayer)

Com esse livro de receitas gigante, eles treinaram um modelo chamado RefLayer.

• É como um assistente de cozinha que, quando você diz "me dê o tomate", ele não apenas corta o tomate visível, mas "imagina" e desenha a parte do tomate que estava escondida atrás da cebola, entregando um tomate inteiro e perfeito.
• O modelo é capaz de entender que, se você pedir para mover o objeto, o fundo deve permanecer intacto e o objeto deve manter sua forma original, mesmo que tenha sido "completado" pela IA.

6. Por que isso é importante?

Hoje, editar fotos é difícil e limitado. Com essa tecnologia:

• Edição Precisa: Você pode trocar a cor de um carro em uma foto de rua sem afetar o céu ou os prédios.
• Composição Criativa: Você pode pegar um objeto de uma foto e colá-lo em outra, e a IA garante que ele pareça real, preenchendo as sombras e partes escondidas.
• Futuro: Isso abre portas para ferramentas de edição de imagem que são tão fáceis de usar quanto arrastar e soltar peças de LEGO, mas com a qualidade de uma foto real.

Resumo em uma frase:
Os pesquisadores criaram uma nova forma de "desmontar" fotos em peças individuais e transparentes, usando um treinamento massivo e inteligente, permitindo que qualquer pessoa edite, mova ou recrie partes de uma imagem com a facilidade de mexer em camadas de um Photoshop, mas com a magia de uma IA que sabe preencher o que está escondido.

Resumo técnico

Título: Referring Layer Decomposition (RLD)

Autores: Fangyi Chen, Yaojie Shen, Lu Xu, Ye Yuan, Shu Zhang, Yulei Niu, Longyin Wen (ByteDance).

---

1. O Problema

Os modelos generativos modernos de imagem são excelentes em sintetizar imagens realistas, mas geralmente operam de forma holística (sobre a imagem inteira), sem representações explícitas de objetos, estrutura ou componentes da cena. Isso limita severamente a capacidade de:

• Manipular seletivamente elementos individuais.
• Manter a consistência em edições complexas.
• Alinhar semanticamente as edições com a intenção do usuário.

Técnicas de edição baseadas em regiões (máscaras ou caixas) existentes são limitadas porque afetam apenas pixels visíveis, carecem de consciência sobre oclusão (partes escondidas de um objeto) e não possuem semântica de nível de objeto. Há uma necessidade urgente de avançar de arrays de pixels planos para representações de cena estruturadas e centradas em objetos, onde os elementos podem ser compreendidos, editados e compostos individualmente.

2. Metodologia

O artigo propõe uma nova tarefa chamada Decomposição de Camadas por Referência (Referring Layer Decomposition - RLD) e apresenta três pilares principais para viabilizá-la:

A. Definição da Tarefa (RLD)

A RLD visa prever camadas completas RGBA (Red, Green, Blue, Alpha) a partir de uma única imagem RGB, condicionada a prompts flexíveis do usuário.

• Entrada: Uma imagem RGB + um prompt de referência (pode ser espacial: pontos, caixas, máscaras; linguístico: descrições em texto natural; ou uma combinação).
• Saída: Uma camada RGBA que representa um objeto ou elemento específico, incluindo tanto as regiões visíveis quanto as regiões ocluídas (invisíveis na imagem original), permitindo que o objeto seja "removido" ou "recolocado" em outros contextos.

B. O Dataset RefLade e o Motor de Dados

Para superar a falta de dados de treinamento de alta qualidade, os autores criaram o RefLade, um dataset massivo de 1,11 milhão de tripletos (imagem-camada-prompt).

• Motor de Dados Escalável: Um pipeline automatizado de 6 estágios para gerar dados a partir de imagens naturais:
  1. Pré-filtragem: Remove imagens de baixa qualidade ou muito complexas.
  2. Compreensão de Cena: Detecta e segmenta entidades visuais salientes usando ensembles de modelos (detecção fechada, aberta e MLLM).
  3. Completamento de Camada: Reconstrói regiões ocluídas usando modelos generativos (inpainting) guiados por estimativas de profundidade.
  4. Pós-completamento: Refina máscaras e prevê alpha mattes (transparência).
  5. Geração de Prompt: Cria descrições textuais e referências espaciais diversas.
  6. Pós-filtragem: Avalia a fidelidade visual e a consistência semântica usando modelos de visão computacional.
• Composição: O dataset contém 430k imagens com ~1,11M de camadas (incluindo 100k camadas curadas manualmente para ajuste de qualidade).

C. Protocolo de Avaliação (HPA)

Os autores propõem um protocolo de avaliação alinhado ao julgamento humano, composto por três métricas:

1. Preservação (Svis): Similaridade perceptual (LPIPS) das partes visíveis originais.
2. Completamento (Sgen): Similaridade direcional (baseada em CLIP) entre a "ação" de completar a parte ocluída no ground truth e na previsão.
3. Fidelidade (Sfid): Similaridade de distribuição (FID) entre a camada gerada e a real.

• HPA Score: Uma pontuação unificada que normaliza e combina essas métricas, mostrando alta correlação com rankings humanos (ELO).

D. Modelo Baseline: RefLayer

Um modelo baseado em difusão (construído sobre o Stable Diffusion 3) projetado para a tarefa RLD.

• Arquitetura: Codifica a imagem e o prompt espacial (mapeado como cores em um mapa RGB) em um espaço latente.
• Decodificador Alpha: Um decodificador paralelo dedicado que mapeia o latente denoised para um mapa de transparência (Alpha), permitindo a saída RGBA.
• Treinamento: O modelo é treinado para denoising e para prever a máscara de transparência, aprendendo a separar objetos e preencher oclusões.

3. Principais Contribuições

1. Formalização da Tarefa RLD: A primeira tarefa a explorar a decomposição de camadas guiada por entradas de referência multimodais (texto + espaço).
2. Dataset RefLade: A criação do maior dataset de camadas RGBA com prompts, incluindo um motor de dados automatizado e escalável que supera abordagens anteriores em escala e diversidade.
3. Protocolo de Avaliação Alinhado ao Humano: Introdução do HPA Score, que supera métricas individuais ao capturar a preferência humana de forma robusta.
4. Modelo RefLayer: Um baseline eficaz que demonstra alta fidelidade visual e alinhamento semântico, com forte capacidade de generalização zero-shot.

4. Resultados Experimentais

• Desempenho do Dataset: Modelos treinados no RefLade superam consistentemente os treinados em datasets anteriores (como MuLAn), mesmo com o mesmo número de camadas, destacando a superioridade da qualidade dos dados.
• Escala de Dados: O desempenho na decomposição de foreground (primeiro plano) melhora com o aumento da escala de dados (até 1M), enquanto o background beneficia-se mais da qualidade dos dados do que da quantidade.
• Tipos de Prompt: Prompts espaciais (máscaras, caixas) superam prompts puramente textuais em precisão de localização. A combinação de texto + máscara oferece o melhor equilíbrio entre precisão e completamento semântico.
• Generalização Zero-Shot: O RefLayer demonstrou capacidades notáveis em tarefas relacionadas, como segmentação amodal (no dataset COCOA) e completamento amodal, superando métodos especializados sem ter sido treinado especificamente para eles.
• Avaliação Humana: O modelo alcançou altas taxas de aprovação (Passrate@K) em avaliações humanas, especialmente quando treinado com o conjunto de ajuste de alta qualidade (RefLade+Q).

5. Significado e Impacto

Este trabalho estabelece um novo paradigma para a edição e geração de imagens:

• Controle Granular: Permite que usuários editem cenas complexas manipulando objetos individuais (incluindo partes invisíveis) de forma intuitiva.
• Reutilização Modular: As camadas RGBA geradas podem ser reutilizadas em composições, animações ou outras cenas, facilitando fluxos de trabalho criativos.
• Fundação para Pesquisa: O RefLade e o protocolo HPA fornecem uma base sólida e benchmarkável para futuras pesquisas em compreensão de cena, edição de imagens e geração composicional.
• Aplicações Práticas: Abre caminho para agentes de decomposição de cena completa, geração escalável de dados de treinamento RGBA e integração com tarefas existentes como remoção de objetos e inpainting.

Em resumo, o artigo preenche a lacuna entre a geração de imagens "planas" e a necessidade de representações de cena estruturadas e editáveis, oferecendo uma solução completa que vai desde a criação de dados até a avaliação e modelagem.