💻 computer science

Twins: Learn to Predict Unified Representations with Focal Loss

O artigo propõe o "Twins", um espaço de tokens contínuos unificado que concatena características de ViT e VAE, e aborda o desequilíbrio de otimização resultante em modelos de difusão ao adaptar um objetivo de regressão focal para melhorar significativamente tanto a qualidade da geração de imagens quanto o desempenho de compreensão multimodal.

Autores originais: Kaixiong Gong, Xin Cai, Bin Lin, Hao Wang, Yunlong Lin, Mingzhe Zheng, Bohao Li, Jian-Wei Zhang, Miles Yang, Zhao Zhong, Liefeng Bo, Xiangyu Yue

Publicado 2026-07-27

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Kaixiong Gong, Xin Cai, Bin Lin, Hao Wang, Yunlong Lin, Mingzhe Zheng, Bohao Li, Jian-Wei Zhang, Miles Yang, Zhao Zhong, Liefeng Bo, Xiangyu Yue

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando construir um robô que possa tanto ver o mundo como um humano quanto pintar quadros como um artista. No mundo da inteligência artificial, essas duas tarefas geralmente exigem conjuntos de ferramentas completamente diferentes. Para "ver" e entender uma imagem (como saber que uma foto mostra um "golden retriever"), a IA usa um mapa cerebral de alto nível que captura as grandes ideias, mas ignora detalhes minúsculos como a textura do pelo. Para "pintar" ou gerar uma nova imagem, a IA precisa de uma ferramenta diferente que se prenda a cada pixel e detalhe fino, mas que frequentemente perde o significado da visão geral. Por muito tempo, os cientistas ficaram presos tentando forçar essas duas ferramentas diferentes a trabalharem juntas, muitas vezes tendo que escolher entre um robô que entende bem mas pinta imagens borradas, ou um que pinta lindamente mas não sabe o que está desenhando. Este artigo aborda esse delicado equilíbrio, perguntando: podemos criar uma única "linguagem" para o robô que o permita fazer ambas as coisas perfeitamente ao mesmo tempo?

Os pesquisadores por trás deste estudo, conhecidos como "Twins", decidiram parar de escolher entre as duas ferramentas e, em vez disso, colá-las. Eles pegaram o mapa "cerebral" (de um sistema chamado SigLIP) e o mapa "orientado a detalhes" (de um sistema chamado VAE) e os costuraram lado a lado em uma única tira longa de informação. Pense nisso como dar ao seu robô um par de óculos onde a lente esquerda vê o quadro geral e a lente direita vê os detalhes finos, tudo em uma única visão. No entanto, quando tentaram ensinar o modelo de IA a usar essa nova visão combinada, eles encontraram um obstáculo. O modelo era preguiçoso; ele amava a parte fácil e abrangente e ignorava completamente a parte difícil e detalhada, resultando em imagens geradas que eram nebulosas e careciam de textura.

Para corrigir isso, a equipe descobriu por que o modelo estava sendo preguiçoso. Eles descobriram que a parte "fácil" dos dados era suave e simples, enquanto a parte "difícil" era cheia de detalhes complexos e ruidosos. A IA naturalmente preferia o conteúdo suave, assim como um aluno pode pular os problemas de matemática difíceis para fazer primeiro as tarefas fáceis de ortografia. Para resolver isso, eles inventaram uma regra de treinamento especial chamada "Focal Loss". Imagine um professor que, em vez de dar a mesma nota para todas as questões, dá pontos de crédito extras por acertar as questões mais difíceis. Isso forçou a IA a prestar atenção às partes difíceis e detalhadas da imagem que ela estava tentando aprender.

Os resultados foram impressionantes. Ao usar esta nova regra de "Focal Loss", a IA parou de ignorar os detalhes. Em um teste padrão de qualidade de imagem, o novo método melhorou a pontuação em até 10,57 pontos em comparação com a antiga forma de treinamento, sem precisar de truques extras para guiá-la. As imagens que ela gerou eram nítidas e claras, e o robô ainda conseguia entender o que estava desenhando tão bem quanto antes. O artigo sugere que esta abordagem consegue quebrar o antigo "triângulo impossível" onde você tinha que sacrificar uma habilidade em favor de outra, provando que, com os truques de treinamento certos, um único modelo de IA pode verdadeiramente dominar tanto o ver quanto o criar.

Resumo Técnico: Twins: Aprender a Predizer Representações Unificadas com Perda Focal (Focal Loss)

1. Definição do Problema

Modelos multimodais unificados visam utilizar um único modelo e um espaço de representação compartilhado para suportar tanto a compreensão multimodal quanto a geração de imagens. As abordagens existentes enfrentam um compromisso persistente, frequentemente descrito como um "triângulo impossível" entre Compreensão, Reconstrução e Geração:

Métodos Discretos: Unificam a interface por meio de um codebook compartilhado, mas frequentemente lutam com a fidelidade de reconstrução ou exigem uma tokenização complexa.
Métodos Contínuos: Tipicamente dependem de duas representações díspares: características semânticas de alto nível (ex: ViT) para compreensão e latentes de baixo nível (ex: VAE) para síntese. Essa divisão cria espaços latentes desalinhados, forçando os sistemas a realizar ciclos extras de decodificação–codificação para "compreender" suas próprias gerações e quebrando a consistência representacional.
Tentativas Recentes: Métodos como UniFlow e UniLip tentam unificar representações comprimindo características de alta dimensão do CLIP, mas essa redução de dimensionalidade compromete a capacidade de compreensão. Por outro lado, abordagens como o RAE, que geram embeddings semânticos de alta dimensão (ex: DINOv2), falham em reconstruir detalhes de alta frequência, resultando em baixa qualidade de imagem.

O desafio central é obter uma representação contínua única que suporte simultaneamente uma forte compreensão semântica, reconstrução de alta fidelidade e previsibilidade amigável à geração sem aumentar o custo computacional (ex: custos de atenção).

2. Metodologia

2.1. A Representação Twins

Os autores propõem o Twins, um espaço de tokens contínuos unificado formado pela concatenação canal a canal de características de dois codificadores pré-treinados no mesmo grid de tokens:

Componente ViT: Características ricas em semântica do SigLIP2, otimizadas para raciocínio semântico discriminativo.
Componente VAE: Latentes preservadores de detalhes do Flux.2 VAE, otimizados para fidelidade de reconstrução ao nível de pixel.

Ao concatenar ao longo da dimensão do canal em vez da dimensão da sequência, o Twins mantém o comprimento original da sequência. Isso garante que o custo de atenção quadrático ( $O(L^2)$ ) não aumente com o número de tokens, preservando a eficiência computacional.

2.2. O Desequilíbrio de Otimização

Ao treinar um Diffusion Transformer (DiT) para predizer a representação unificada Twins, os autores observaram um severo desequilíbrio de otimização: o modelo ajusta bem o componente ViT (SigLIP), mas tem dificuldade em corresponder à distribuição do latente do VAE, levando a imagens borradas e baixos escores de FID.

O artigo atribui esse desequilíbrio a três fontes de heterogeneidade:

Viés Espectral (Spectral Bias): As características do ViT são dominadas por sinais de baixa frequência, enquanto as características do VAE contêm energia significativa de alta frequência (textura, ruído). Redes neurais naturalmente priorizam o aprendizado de funções de baixa frequência (Teoria do Viés Espectral), fazendo com que o DiT se ajuste primeiro às características do ViT e trate os detalhes do VAE como ruído difícil.
Dimensionalidade Intrínseca (ID): Embora o SigLIP tenha uma dimensão física maior (768) que o VAE (128), sua dimensão intrínseca é significativamente menor (~15 vs. ~35). O manifold de baixo ID do SigLIP é mais fácil de aprender, enquanto o manifold de alto ID do VAE apresenta um cenário de otimização mais complexo.
Dependência Condicional: As características do SigLIP são altamente estruturadas e alinhadas à condição (determinísticas dada uma classe), enquanto as características do VAE retêm uma incerteza significativa independente da condição. O modelo naturalmente prioriza o objetivo previsível e alinhado à condição.

2.3. Focal Loss para Flow Matching

Para abordar esse desequilíbrio, os autores adaptam uma estratégia de Focal Loss para o objetivo de Flow Matching. Em vez de usar o Erro Quadrático Médio (MSE) padrão, que trata todas as dimensões igualmente, eles introduzem um esquema de reponderação para os canais do VAE:

A função de perda atribui penalidades maiores para resíduos "difíceis" (erros grandes) nas dimensões do VAE.
O fator de ponderação é definido como $w_i = |v_i - v_\theta(z, t)_i|^{2\gamma}$ , onde $\gamma$ é definido como 0.5.
Isso força o modelo a focar nas características de alta frequência do VAE, que são mais difíceis de aprender, impedando que a otimização estagne em um ótimo local dominado pelas características mais fáceis do ViT.

3. Principais Contribuições

Representação Unificada (Twins): Uma concatenação simples e eficiente de características de ViT e VAE ao longo do canal, que suporta tanto compreensão quanto geração sem aumentar o comprimento da sequência ou os custos de atenção.
Análise de Desequilíbrio: Uma identificação e análise sistemática do desequilíbrio de otimização na modelagem conjunta, atribuindo-o ao viés espectral, dimensionalidade intrínseca e dependência condicional.
Adaptação de Focal Loss: A aplicação de uma estratégia de reponderação focal ao Flow Matching, que mitiga efetivamente o desequilíbrio ao aumentar o peso das dimensões difíceis do VAE.
Ganhos de Desempenho: Demonstração de que esta abordagem produz melhorias substanciais na geração em relação à perda MSE ingênua, mantendo um desempenho competitivo de compreensão multimodal.

4. Resultados Experimentais

4.1. Reconstrução

No conjunto de validação ImageNet-1K, o Twins alcança métricas de reconstrução de estado da arte entre os tokenizadores unificados:

PSNR: 31.46
SSIM: 0.90
rFID: 0.11
O Twins supera significativamente o RAE (PSNR 18.83) e iguala a qualidade de reconstrução de autoencoders generativos dedicados como Wan2.2 e SD-VAE 3, provando que a representação unificada retém a consistência pixel a pixel.

4.2. Compreensão Multimodal

Quando integrado em um pipeline de VLM (usando Qwen2.5-7B), o Twins performa de forma competitiva contra codificadores especializados:

Ele geralmente supera a forte linha de base do SigLIP2.
A inclusão de características de baixo nível do VAE resulta em melhorias em tarefas de detalhamento fino, como GQA (64.93 vs. 64.54) e TQA (58.89 vs. 56.92), atribuídas à preservação de texturas e detalhes exatos de forma que são frequentemente abstraídos por codificadores puramente semânticos.

4.3. Geração de Imagem

Em ImageNet@256 e @512:

Sem Orientação (Without Guidance): O modelo base Twins com perda MSE mostra um FID ruim (degradado em comparação com a linha de base Flux.2 VAE). Aplicar a Focal Loss melhora significativamente a predição das características do VAE, reduzindo o FID de 14.41 (MSE) para 3.84 (Focal Loss) em 80 épocas.
Com Orientação (With Guidance): O Twins alcança um gFID de 1.59 (ImageNet@256) e 1.79 (ImageNet@512) com orientação livre de classificador (classifier-free guidance).
Resolução de Compromisso: Embora o RAE alcance um FID ligeiramente menor, o Twins supera significativamente o RAE em qualidade de reconstrução (PSNR), conseguindo estreitar o abismo entre representações orientadas para compreensão e para geração.

5. Significância e Alegações

O artigo afirma que o Twins consegue quebrar o "triângulo impossível" da tokenização visual ao construir uma representação unificada que funde explicitamente as características semanticamente ricas do ViT com as características de preservação de detalhes do VAE.

A significância reside em:

Simplicidade: Evita redesenhos arquiteturais complexos ou codificadores residuais adicionais, baseando-se na concatenação direta de codificadores prontos para uso.
Otimização Equilibrada: Identifica e resolve o modo de falha específico onde os DiTs ignoram detalhes de alta frequência em espaços unificados, fornecendo uma solução generalizável (Focal Loss) para a modelagem conjunta de características heterogêneas.
Interface Unificada: Permite que um modelo tanto compreenda quanto gere no mesmo espaço de tokens, eliminando a necessidade de etapas extras de decodificação–codificação e garantindo a consistência representacional entre tarefas.

Os autores concluem que, embora a modelagem conjunta de características heterogêneas não seja trivial, a estratégia proposta estabelece um novo patamar para a geração de representação unificada, permitindo a predição de alta qualidade tanto de latentes semânticos quanto de detalhes finos em um único framework.