Beyond Accuracy: Benchmarking Cross-Task Consistency in Unified Multimodal Models

1. Declaração do Problema

Modelos Multimodais Unificados (uMMs) visam realizar tanto a compreensão visual (percepção) quanto a geração visual (síntese) dentro de um espaço arquitetônico e representacional compartilhado. Embora os benchmarks atuais avaliem essas capacidades independentemente (por exemplo, VQA para compreensão, pontuações FID/CLIP para geração), eles falham em avaliar a coerência semântica entre as duas tarefas.

O Problema Central: Um modelo pode se destacar em responder perguntas sobre uma imagem (compreensão), mas falhar em gerar esses mesmos detalhes quando solicitado (geração), ou vice-versa. Isso indica uma assimetria estrutural na representação interna do modelo. Pontuações altas em tarefas isoladas podem mascarar uma falta fundamental de alinhamento semântico unificado, onde o modelo aprende a "alucinar" consistentemente entre as tarefas, em vez de fundamentar ambas em uma realidade compartilhada.

2. Metodologia: XTC-Bench

Os autores introduzem o XTC-Bench, um framework de avaliação fundamentado em grafos de cena, projetado para medir a consistência semântica visual entre tarefas.

A. Pipeline de Construção de Dados

• Fonte: 2.000 imagens curadas manualmente do COCO 2017 e Visual Genome.
• Extração de Grafo de Cena: Um pipeline de duas etapas é utilizado para criar um "Grafo de Cena de Referência" ($G$) para cada imagem:
  1. Detecção de Objetos e Segmentação: Utiliza kMaX-DeepLab para segmentação panóptica.
  2. Predição de Relações: Utiliza Fair-PSG para prever relações pares.
  3. Refinamento:
     • Filtragem: Limites de alta confiança são aplicados para remover relações espúrias.
     • Verificação por VLM: Um grande Modelo Visão-Linguagem (Qwen3-VL-235B) verifica relações e atributos usando anotações de caixas delimitadoras.
     • Geração de Atributos: Utiliza uma abordagem de "Dupla Visão" (Foco Semântico + Recorte de Detalhe) para garantir o reconhecimento preciso de atributos para objetos específicos.
• Geração de Prompts e Consultas:
  • Prompts de Geração: O grafo de cena é linearizado em um prompt de linguagem natural para geração de imagem.
  • Consultas de Compreensão: Perguntas VQA alinhadas a fatos são geradas para cada fato atômico (objeto, atributo, relação) no grafo de cena.

B. Protocolo de Avaliação

Para um modelo dado $M$:

1. Geração: O modelo gera uma imagem ($\hat{I}$) a partir do prompt. Esta imagem é analisada de volta em um grafo de cena predito ($\hat{G}$) usando o mesmo pipeline de extração.
2. Compreensão: O modelo responde às perguntas VQA com base na imagem original.
3. Correspondência: Um algoritmo de correspondência de grafos semânticos de duas etapas (usando o algoritmo húngaro) alinha nós e arestas entre o grafo de verdade fundamental $G$ e o grafo predito $\hat{G}$.

C. Métricas

O framework introduz três métricas principais:

1. Pontuação de Geração ($G$) e Pontuação de Compreensão ($U$): Avaliadas usando um LLM-como-Juiz (Qwen3-235B) que pontua a equivalência semântica (escala de 0–5) entre a saída do modelo e a verdade fundamental, em vez de correspondência exata de strings.
2. Acordo Contínuo entre Tarefas (CCTA):
   • Mede a consistência entre as respostas de geração e compreensão para os mesmos fatos atômicos.
   • Fórmula: $CCTA = \frac{\sum (1 - |g_f - u_f|)}{\sum 1}$.
   • Limitação: Um modelo que está consistentemente errado (alucinando o mesmo erro em ambas as tarefas) obterá uma pontuação alta no CCTA.
3. CCTA Ponderado por Precisão (AW-CCTA):
   • Aborda a falha da "alucinação consistente" escalando o termo de consistência pela precisão conjunta média.
   • Fórmula: $AW\text{-}CCTA = \frac{\sum (1 - |g_f - u_f|) \cdot \frac{g_f + u_f}{2}}{\sum 1}$.
   • Esta métrica penaliza modelos que estão incorretos simetricamente, recompensando apenas aqueles que estão corretos simetricamente.

3. Contribuições Principais

1. Formalização da Consistência entre Tarefas: Definida a consistência como uma propriedade mensurável distinta da precisão autônoma, introduzindo CCTA e AW-CCTA para quantificar a simetria representacional.
2. Framework XTC-Bench: Um benchmark totalmente automatizado e fundamentado em grafos de cena que avalia conjuntamente geração, compreensão e seu alinhamento sob uma representação estruturada compartilhada.
3. Descoberta Empírica: Demonstrou que os uMMs atuais exibem assimetria estrutural sistemática. Alto desempenho em uma tarefa não garante alinhamento na outra, e a unificação arquitetônica por si só não assegura coerência semântica.

4. Resultados Experimentais

Os autores avaliaram 8 modelos de código aberto (por exemplo, BAGEL, OmniGen, Show-o, Janus-Pro) e 2 modelos comerciais (Gemini, GPT-5).

• Correlação Fraca: Existe uma relação preditiva fraca entre o desempenho em tarefas isoladas ($G$ ou $U$) e a consistência entre tarefas (AW-CCTA). Um modelo pode ter altas pontuações de geração, mas baixo alinhamento.
• Modo de Falha da "Alucinação Consistente":
  • Modelos como MMaDA-8B mostraram um CCTA bruto alto (0,630), mas um AW-CCTA próximo de zero (0,144). Isso indica que o modelo gera e compreende os mesmos fatos incorretos, um modo de falha invisível para métricas padrão.
  • BAGEL-7B e Gemini-2.5 Flash alcançaram o maior AW-CCTA, indicando um desempenho mais equilibrado.
• Insights Arquiteturais:
  • Modelos Puramente Autoregressivos (AR) (por exemplo, OmniGen, Janus-Pro) mostraram o maior AW-CCTA médio, sugerindo que um objetivo unificado de previsão do próximo token acopla as tarefas de forma mais natural.
  • Modelos AR + Difusão mostraram a maior lacuna entre geração e compreensão, indicando sensibilidade à calibração entre os dois componentes.
  • Modelos Puramente de Difusão mostraram alta consistência bruta, mas baixa consistência ponderada por precisão.
• Compreensão > Geração: A maioria dos modelos obteve pontuações mais altas em compreensão do que em geração, sugerindo que os objetivos de treinamento atuais favorecem o fundamentamento perceptual sobre a fidelidade generativa.

5. Significado e Direções Futuras

• Além de Métricas Isoladas: O XTC-Bench prova que avaliar uMMs exige ir além da precisão isolada para medir a coerência da representação interna.
• Ferramenta de Diagnóstico: A divergência entre CCTA e AW-CCTA serve como um diagnóstico crítico para "alucinações consistentes", um modo de falha perigoso em aplicações críticas de segurança.
• Orientação para Treinamento: Os resultados sugerem que simplesmente unificar arquiteturas é insuficiente; pesquisas futuras devem focar no acoplamento de objetivos de aprendizado entre modalidades para garantir que a percepção e a síntese compartilhem o mesmo fundamento semântico.
• Limitações: O framework atualmente depende de modelos professores automatizados (que podem herdar vieses) e imagens estáticas. Trabalhos futuros devem explorar sondagem de caixa branca para localizar pontos de divergência na arquitetura e estender o framework para vídeo e áudio.

Em conclusão, o XTC-Bench fornece um método rigoroso e reproduzível para expor a "lacuna semântica" em modelos multimodais unificados, oferecendo um caminho concreto para o desenvolvimento de modelos que verdadeiramente compreendem e geram uma realidade consistente.