ELIQ: A Label-Free Framework for Quality Assessment of Evolving AI-Generated Images

1. Declaração do Problema

A rápida evolução dos modelos generativos de texto para imagem (T2I) criou uma "deriva perceptiva", onde o teto de qualidade do conteúdo gerado por IA (AIGC) se desloca continuamente. Os métodos tradicionais de Avaliação de Qualidade de Imagem (IQA) dependem de Pontuações de Opinião Média (MOS) derivadas de anotações humanas. No entanto, essa abordagem enfrenta duas limitações críticas no contexto do AIGC em evolução:

• Obsolescência: Os rótulos MOS coletados para modelos mais antigos (por exemplo, anteriores a 2023) tornam-se pouco confiáveis para gerações mais recentes (por exemplo, 2025), pois os artefatos mudam e os padrões perceptivos se deslocam.
• Escalabilidade: Manter uma supervisão válida exige reanotação frequente e massiva (milhões de classificações), o que é custoso e insustentável.

Métodos existentes não supervisionados ou sem rótulos frequentemente dependem de estatísticas de baixo nível ou estatísticas de cenas naturais (NSS), falhando em capturar modos de falha específicos do AIGC (por exemplo, desalinhamento entre prompt e imagem, alucinações semânticas) e a interação complexa entre fidelidade visual e aderência ao prompt.

2. Metodologia: A Estrutura ELIQ

O ELIQ (IQA sem Rótulos Evolutivo) propõe uma estrutura que desacopla a avaliação de qualidade de escalas MOS fixas, utilizando supervisão relativa construída automaticamente. A estrutura opera em duas etapas principais:

A. Construção de Supervisão sem Rótulos

Em vez de classificações humanas, o ELIQ gera seus próprios dados de treinamento criando pares positivos e negativos específicos por aspecto:

1. Seleção de Prompts: 400 prompts diversos são curados em 7 categorias semânticas (por exemplo, Urbano, Natural, Pessoas).
2. Geração de Amostras Positivas: Imagens de alta qualidade ($I^+$) são geradas usando três modelos T2I de última geração (Qwen-Image, FLUX.1-dev, Stable Diffusion 3.5).
3. Geração de Amostras Negativas: Negativos diversos são sintetizados para cobrir tanto distorções convencionais quanto falhas específicas do AIGC em três dimensões:
   • Qualidade Técnica ($I^-_{tec}$): Simulada via compressão JPEG, ruído gaussiano ou decodificação de difusão prematura.
   • Qualidade Estética ($I^-_{aes}$): Gerada via edição controlada de imagem para imagem (degradação de composição/cor) ou modelos T2I de baixa qualidade.
   • Qualidade de Alinhamento ($p^-_{ali}$): Criada embaralhando pares imagem-prompt ou modificando prompts para induzir incompatibilidades semânticas.

B. Pipeline de Treinamento do Modelo

O ELIQ adapta um Modelo de Linguagem Multimodal Pré-treinado (MLLM) em um crítico consciente da qualidade através de um processo de dois passos:

1. Ajuste Fino de Instrução Consciente da Qualidade:

   • O MLLM é ajustado para atuar como uma base consciente de aspectos.
   • Ele recebe instruções específicas (por exemplo, "Avalie a Qualidade Técnica") e gera rótulos discretos ("Alto" ou "Baixo") com base nos pares positivos/negativos construídos.
   • Esta etapa cria uma base congelada ($MLLM_{\theta^*}$) capaz de raciocinar sobre aspectos técnicos, estéticos e de alinhamento sem pontuações humanas.

2. Módulo de Pontuação Leve (QQT):

   • Representação de Alinhamento Visual com Portão: O sistema extrai embeddings para qualidades técnica ($z_{tec}$) e estética ($z_{aes}$). Estes são fundidos usando mecanismos com portão (portões aprendíveis modulam a contribuição de cada ramo) para criar um embedding visual unificado ($z_{vis}$).
   • Transformador de Consulta de Qualidade (QQT): Um encoder Transformer leve recebe os embeddings visuais e de alinhamento concatenados ($z_{va}$) juntamente com dois tokens de consulta aprendíveis ($q_{vis}, q_{ali}$).
   • Objetivo de Treinamento: O modelo é treinado usando perdas de classificação em pares (baseadas em margem) para garantir que a amostra positiva tenha pontuação mais alta que seus negativos correspondentes. Nenhuma regressão para valores absolutos de MOS é realizada durante o treinamento.

3. Principais Contribuições

• Estrutura sem Rótulos: O ELIQ é a primeira estrutura a substituir a supervisão MOS absoluta por comparações relativas específicas por aspecto, construídas automaticamente, permitindo avaliação escalável para modelos em evolução.
• Modelagem de Dupla Dimensão: Ele modela conjuntamente Qualidade Visual (técnica + estética) e Alinhamento Prompt-Imagem, abordando os modos de falha únicos do AIGC que a IQA tradicional ignora.
• Generalização: A estrutura generaliza perfeitamente do AIGC para Conteúdo Gerado pelo Usuário (UGC) sem alterações arquitetônicas, provando sua robustez através de diferentes distribuições de dados.
• Eficiência: Ao usar ajuste fino de instrução e um cabeçalho de pontuação leve, evita a necessidade de conjuntos de dados massivos de anotação humana, superando ao mesmo tempo os métodos existentes sem rótulos.

4. Resultados Experimentais

Os autores avaliaram o ELIQ em três benchmarks de AIGC (AGIQA-3K, AIGCIQA2023, AIGIQA-20K) e dois benchmarks de UGC (KonIQ-10k, SPAQ).

• Desempenho em Qualidade Visual:
  • Configuração sem Rótulos: O ELIQ superou significativamente todas as linhas de base existentes sem rótulos (por exemplo, NIQE, CLIP-IQA, QualiCLIP). Por exemplo, no AGIQA-3K, alcançou um SRCC de 0,801, comparado ao próximo melhor método sem rótulos (DUBMA) em 0,684.
  • Configuração de Supervisão Fraca: Quando ajustado finamente com apenas 20-30% dos dados MOS, o ELIQ alcançou desempenho de última geração, igualando ou superando linhas de base totalmente supervisionadas (por exemplo, SRCC 0,876 no AGIQA-3K versus 0,893 para MA-AGIQA).
• Desempenho em Qualidade de Alinhamento:
  • Na configuração sem rótulos, o ELIQ alcançou um SRCC de 0,717 no AGIQA-3K, superando substancialmente outras métricas de alinhamento sem rótulos (por exemplo, CLIP-IQA+ em 0,501).
• Estudos de Ablação:
  • Confirmou que combinar degradações Convencionais e Específicas de IA produz os melhores resultados.
  • Demonstrou que modelar todos os três aspectos (Técnico, Estético, Alinhamento) é necessário; usar apenas um aspecto degrada o desempenho em outras dimensões.

5. Significado

O ELIQ aborda um gargalo crítico no ecossistema de IA generativa: a incapacidade de avaliar a qualidade à medida que os modelos evoluem. Ao mudar de supervisão estática ancorada em humanos para supervisão relativa dinâmica e orientada por modelos, o ELIQ oferece um caminho sustentável para avaliação de qualidade.

• Escalabilidade: Elimina a necessidade de reanotação humana contínua e cara à medida que novos modelos são lançados.
• Adaptabilidade: A estrutura pode ser atualizada periodicamente regenerando pares positivos/negativos com novos modelos, garantindo que a métrica de avaliação permaneça relevante.
• Praticidade: Oferece uma alternativa confiável e de baixo custo para desenvolvedores e pesquisadores avaliarem novos modelos generativos e monitorarem a deriva de qualidade em aplicações do mundo real.