Understanding Pure Textual Reasoning for Blind Image Quality Assessment

1. Problema e Motivação

A Avaliação de Qualidade de Imagem Cega (BIQA - Blind Image Quality Assessment) tradicionalmente foca na extração de características visuais para prever scores de qualidade, muitas vezes carecendo de interpretabilidade. Com o advento de Modelos de Linguagem Multimodal (MLLMs), abordagens recentes passaram a incorporar raciocínio textual (gerando legendas ou explicações) para melhorar a interpretabilidade.

No entanto, surge uma questão crítica: o texto gerado contribui realmente para a previsão da qualidade ou o modelo apenas gera explicações superficiais? Trabalhos anteriores sugerem que modelos podem "pular" o raciocínio textual e prever scores diretamente das imagens, ou que o texto serve apenas como uma justificativa pós-hoc. O objetivo deste trabalho é investigar o fluxo de informação entre imagem, texto e score, analisando até que ponto o texto sozinho pode representar o conteúdo relacionado à qualidade e como diferentes paradigmas de aprendizado influenciam essa relação.

2. Metodologia

Os autores propõem uma análise baseada no fluxo de informação, comparando modelos existentes com três paradigmas de treinamento desenhados para aprender a relação Imagem-Texto-Score:

1. Paradigma Chain-of-Thought (CoT):

   • O modelo gera $N$ traços de raciocínio (legendas) a partir da imagem.
   • Cada legenda é então usada para gerar $M$ previsões de score em uma segunda etapa de inferência independente.
   • Objetivo: Verificar se o texto gerado é suficiente para prever a qualidade sem a imagem.
   • Mecanismo: Usa uma função de recompensa baseada na diferença entre o score previsto e o ground-truth (MOS).

2. Paradigma Self-Consistency (Consistência Self):

   • Etapa 1: O modelo recebe a imagem e gera um par (legenda, score).
   • Etapa 2: O modelo recebe apenas a legenda gerada e deve prever o score novamente.
   • Objetivo: Forçar o modelo a aprender um raciocínio textual que seja consistente com a previsão baseada na imagem, fechando a lacuna entre as duas modalidades.
   • Mecanismo: A recompensa é aplicada para alinhar a previsão baseada apenas no texto com a previsão baseada na imagem.

3. Paradigma Autoencoder-like (Tipo Autoencoder):

   • Etapa 1: O modelo recebe a imagem e o score ground-truth para gerar uma explicação textual justificativa.
   • Etapa 2: O modelo recebe apenas a explicação textual e deve regressar o score.
   • Objetivo: Ensinar o modelo a codificar informações de qualidade no texto de forma que o texto sozinho seja preditivo.
   • Mecanismo: O texto atua como um "bottleneck" que deve conter toda a informação necessária para recuperar o score.

Treinamento: Todos os modelos utilizam a base Qwen-VL-2.5-7B-Instruct e são treinados com GRPO (Group-Relative Policy Optimization), uma estratégia de aprendizado por reforço auto-supervisionado que reduz a necessidade de anotações humanas detalhadas de raciocínio.

3. Principais Contribuições

• Avaliação Sistemática: O trabalho fornece uma linha de base estruturada para estudar o raciocínio textual em BIQA, comparando explicitamente o desempenho condicionado à imagem versus condicionado apenas ao texto.
• Análise de Lacuna Imagem-Texto: Demonstra que a maioria dos modelos atuais possui uma grande lacuna de desempenho entre usar a imagem e usar apenas o texto gerado.
• Novos Paradigmas de Aprendizado: Propõe e valida que paradigmas como Self-Consistency e Autoencoder-like são eficazes para reduzir essa lacuna, ao contrário do Chain-of-Thought padrão.
• Análise de Atenção: Revela, através de padrões de atenção em nível de token, como diferentes estratégias de treinamento alteram o foco do modelo (ex.: de termos genéricos para termos específicos de qualidade).

4. Resultados Experimentais

Os experimentos foram realizados no conjunto de dados KonIQ (treinamento) e testados em seis benchmarks (SPAQ, LIVE-W, KADID, AGIQA, CSIQ, KonIQ).

• Desempenho Geral: Os modelos propostos alcançam desempenho competitivo com o estado da arte (SOTA) em condições condicionadas à imagem.
• Fechamento da Lacuna (Image-Text Gap):
  • O paradigma Chain-of-Thought mostrou pouca melhoria no desempenho baseado apenas em texto.
  • O paradigma Self-Consistency reduziu significativamente a lacuna entre previsões baseadas em imagem e texto, diminuindo a diferença de métricas PLCC/SRCC para 0.02/0.03. O modelo atingiu desempenho comparável a frameworks de BIQA baseados em deep learning tradicional, mesmo usando apenas texto.
  • O paradigma Autoencoder-like foi menos eficaz em fechar a lacuna de desempenho puro, mas revelou direções para otimização futura.
• Robustez a Palavras-Chave: Ao remover palavras relacionadas a scores (ex: "bom", "moderado", "ruim") das legendas, o desempenho dos modelos (especialmente o Self-Consistency) caiu apenas marginalmente. Isso indica que os modelos aprenderam cues implícitos de qualidade e raciocínio real, não dependendo apenas de "atalhos" lexicais.
• Análise de Atenção (Fig. 3):
  • O modelo Chain-of-Thought foca em termos genéricos como "foco" e "claro".
  • O modelo Self-Consistency desloca a atenção para palavras diretamente relacionadas ao score como "bom", "moderado" e "adequado".
  • O modelo Autoencoder-like destaca pistas de qualidade mais naturais como "borrado", "foco" e "composição".

5. Significado e Conclusão

Este trabalho fornece insights fundamentais sobre como o raciocínio textual funciona em tarefas de visão computacional.

• Conclusão Principal: O raciocínio textual não é inerentemente útil para BIQA; ele precisa ser explicitamente treinado para ser preditivo. O paradigma Self-Consistency é particularmente eficaz para alinhar a representação textual com a visual, criando sistemas de BIQA interpretáveis e robustos.
• Impacto Futuro: A metodologia proposta é geral e pode ser aplicada a outras tarefas downstream que carecem de anotações de raciocínio intermediário, oferecendo um mecanismo para induzir explicações textuais interpretáveis e específicas para a tarefa em modelos multimodais.

Em resumo, o artigo demonstra que é possível construir sistemas de avaliação de qualidade de imagem que não apenas preveem um número, mas "pensam" e justificam essa previsão através de texto, desde que o treinamento seja projetado para garantir que o texto carregue a informação de qualidade necessária.