Resumo Técnico: Imagens em Frases (Inset)

Declaração do Problema

Avanços recentes em modelos de linguagem multimodal permitiram a geração de imagens a partir de instruções expressivas e multiimagem. No entanto, os métodos existentes lutam para manter o desempenho sob instruções complexas e intercaladas envolvendo múltiplas imagens de referência. Essa limitação decorre de dois fatores principais:

1. Mecanismos de Referência Indireta: Os paradigmas atuais tratam tipicamente as imagens como referências externas recuperadas por meio de índices explícitos (por exemplo, "o cachorro na Imagem 1"). Isso força os modelos a superar dependências de longo alcance difíceis para alinhar índices abstratos com características visuais distantes, levando frequentemente a falhas de vinculação de atributos ou ao descaso de entradas de imagem específicas à medida que o comprimento da sequência aumenta.
2. Escassez de Dados Complexos: Os conjuntos de dados intercalados existentes são frequentemente limitados em escala e complexidade, carecendo de sequências ricas e de longo horizonte necessárias para ensinar aos modelos como lidar com raciocínio composicional intrincado com contextos visuais densos.

Metodologia: Inset

Para abordar esses desafios, os autores propõem Imagens em Frases (Inset), um modelo de geração unificado que repensa fundamentalmente como a informação visual é integrada às instruções textuais.

1. Modelagem Intercalada Unificada

Em vez de tratar as imagens como referências externas que exigem recuperação, o Inset incorpora as imagens diretamente como vocabulário nativo dentro da instrução textual.

• Formulação Nativa: As características visuais são posicionadas diretamente em seus slots semânticos correspondentes dentro da frase (por exemplo, "Um robô [Imagem1] segura um vaso de flores [Imagem2]"). Isso aproveita a localidade contextual dos transformadores para vincular diretamente descrições textuais a alvos visuais, eliminando a necessidade de o modelo resolver dependências de longo alcance entre texto e tokens de imagem distantes.
• Arquitetura: Construído sobre o modelo BAGEL, o Inset utiliza uma arquitetura de Mistura de Transformadores. Crucialmente, descarta características latentes de VAE em nível de pixel da entrada, confiando exclusivamente em embeddings semânticos ViT. Os autores argumentam que incluir latentes de VAE viésa os modelos para "colagem de imagem" (cópia rígida) em vez de integração semântica.
• Estratégia de Inferência: Para impedir que modalidades visuais dominem o processo de geração, é empregada uma estratégia de orientação em duas etapas. Isso envolve calibrar o equilíbrio texto-visual (aumentando a influência do texto) e aplicar orientação livre de classificador.

2. Motor de Dados Escalável

Reconhecendo a falta de dados intercalados de alta qualidade, os autores desenvolveram um motor de dados escalável para sintetizar 15 milhões de amostras de alta qualidade a partir de conjuntos de dados padrão de imagens e vídeos.

• A partir de Imagens: O pipeline usa Modelos Visão-Linguagem (VLMs) para gerar legendas globais e extrair instâncias de objetos de granularidade fina (máscaras e legendas) por meio do Segment Anything Model (SAM) e do Describe Anything Model (DAM). Um LLM então sintetiza esses elementos em sequências de texto natural com embeddings visuais posicionados explicitamente em suas posições semânticas.
• A partir de Vídeos: Para ensinar a manipulação de estados dinâmicos, o motor processa corpora de vídeo. Ele identifica correspondências de objetos entre pares de quadros com variância temporal significativa usando VLMs. Filtra pares que exibem mudanças semânticas significativas (ação, pose, morfologia) e constrói instruções onde o token visual vem de um quadro de origem, e o alvo de geração é um estado transformado em um quadro de destino.

3. InterleaveBench

Os autores introduzem o InterleaveBench, um benchmark rigoroso projetado para avaliar cenários complexos de múltiplas imagens. Ele apresenta composições multiimagem com instruções intrincadas que exigem raciocínio espacial lógico e modificação adaptativa de atributos. A avaliação utiliza um framework de LLM como Juiz de dupla perspectiva para medir:

• Consistência da Imagem: Preservação de identidade (escala de 1 a 5), penalizando desvios enquanto tolera variações orientadas por instruções.
• Consistência do Texto: Alinhamento semântico por meio de perguntas binárias baseadas em VQA que visam atributos e relacionamentos específicos.

Principais Resultados

Experimentos no InterleaveBench demonstram que o Inset supera significativamente os métodos mais avançados:

• Diferenças de Desempenho: O Inset alcança desempenho superior tanto na consistência de imagem quanto na de texto em comparação com modelos de código aberto (por exemplo, DreamOmni2, FluxKontext, Qwen Image).
• Escalabilidade: A vantagem de desempenho aumenta à medida que a complexidade da entrada cresce. Na configuração "Cinco Objetos", o Inset supera as linhas de base de código aberto em 0,29 na consistência de imagem e 0,24 na consistência de texto.
• Posicionamento Competitivo: Apesar de ter menos parâmetros (7B+7B) do que muitos concorrentes, o Inset alcança desempenho comparável a modelos proprietários poderosos (por exemplo, GPT-4o, Seedream 4.0) na consistência de imagem.
• Estudos de Ablação: A remoção de características de VAE e o uso de dados baseados em vídeo foram identificados como componentes críticos para prevenir a "colagem de imagem" e permitir a manipulação de estados dinâmicos, respectivamente.

Significado e Alegações

O artigo afirma que tratar o conteúdo visual como tokens de linguagem densos e expressivos oferece uma direção promissora para a construção de sistemas multimodais mais intuitivos e unificados. Ao incorporar imagens sem emendas como vocabulário nativo, o Inset supera a separação estrutural de imagens e texto nos paradigmas atuais.

Além da geração padrão, os autores destacam que esse formato intercalado se estende naturalmente à edição de imagem multimodal. O modelo pode integrar conteúdo visual como parte da instrução, facilitando manipulações visuais altamente expressivas e criativas onde tanto o texto quanto referências visuais específicas orientam o processo de edição. O trabalho sugere que a vinculação precisa de objetos é melhor alcançada explorando a localidade contextual do transformador, em vez de depender de referência indireta baseada em índices.