Panoptic Pairwise Distortion Graph

Título: Panoptic Pairwise Distortion Graph (DG)

Autores: Muhammad Kamran Janjua, Abdul Wahab, Bahador Rashidi (Huawei Technologies, Canada)

1. Problema e Motivação

A avaliação de qualidade de imagem (IQA) e a análise de distorções em pares de imagens (comparação de qualidade) são tarefas fundamentais, mas os métodos atuais apresentam limitações significativas:

• Abordagem Holística: A maioria dos modelos existentes analisa a imagem inteira de forma global, ignorando nuances regionais. Eles dependem implicitamente de uma compreensão de nível de região, mas não a modelam explicitamente.
• Limitações dos MLLMs: Modelos de Linguagem Multimodal (MLLMs) de última geração, mesmo quando instruídos com marcadores visuais de regiões (como caixas delimitadoras), falham em realizar comparações precisas de distorções em nível de região. Eles tendem a "alucinar", omitir regiões ou fornecer respostas genéricas baseadas em templates, especialmente em cenários complexos com múltiplos tipos de degradação.
• Falta de Representação Estruturada: Não existe uma representação estruturada que conecte regiões específicas entre duas imagens para capturar relações comparativas, tipos de distorção, severidade e pontuações de qualidade de forma compacta e interpretável.

O trabalho propõe que a tomada de decisão perceptiva humana é frequentemente deliberada e contextual, baseada em comparações par a par de elementos específicos, e que os modelos computacionais precisam de uma estrutura similar para replicar esse raciocínio.

2. Metodologia: O Gráfico de Distorção (DG)

Os autores introduzem o Distortion Graph (DG), uma nova estrutura topológica que representa um par de imagens como uma composição estruturada de suas regiões.

• Definição Formal: O DG é definido como uma tupla $G = (O_{IA}, O_{IT}, E_D, E_S)$, onde:
  • $O_{IA}$ e $O_{IT}$ são conjuntos de nós (objetos/regiões) nas imagens âncora e alvo.
  • $E_D$ são arestas de distorção que conectam regiões correspondentes entre as duas imagens, codificando relações comparativas (predicados).
  • $E_S$ são arestas de cena (relações intra-imagem), embora o foco principal seja a distorção.
• Atributos dos Nós: Cada nó (região) contém atributos locais: tipo de distorção, nível de severidade e uma pontuação de qualidade regional.
• Propriedades Chave:
  1. Validade: As arestas de distorção conectam estritamente regiões correspondentes entre as duas imagens (não há arestas intra-imagem para distorção).
  2. Ordenação: As relações são direcionadas (Âncora vs. Alvo).
  3. Comparação Funcional: Para cada par de regiões correspondentes, existe exatamente uma relação de comparação (ex: "melhor", "pior", "igual").

3. Contribuições Principais

Para viabilizar a tarefa de aprender um DG, os autores contribuem com três pilares fundamentais:

A. PANDASET (Conjunto de Dados)

• Um dataset de nível de região contendo 528.000 pares de imagens.
• Derivado de PSG (Panoptic Scene Graph) e Seagull-100w.
• Contém 15 tipos de distorções (incluindo chuva, neve, neblina, ruído, desfoque, etc.) com 4 níveis de severidade (limpo, leve, moderado, severo).
• Cada região possui uma pontuação de qualidade quantitativa (baseada no TOPIQ) e rótulos comparativos.

B. PANDABENCH (Benchmark)

• Um conjunto de avaliação derivado do PANDASET, dividido em três níveis de dificuldade crescente:
  • Easy: Distorção única aplicada uniformemente em toda a imagem (com severidades variadas).
  • Medium: Uma imagem com distorção única, a outra com distorções mistas por região.
  • Hard: Ambas as imagens possuem distorções mistas e severidades variadas por região.
• Este benchmark testa a capacidade de raciocínio fino e compreensão regional de modelos.

C. PANDA (Arquitetura)

• Uma arquitetura neural eficiente baseada em DETR (Detection Transformer) projetada para prever o DG.
• Funcionamento:
  1. Usa um codificador pré-treinado (ex: DINOv2) para extrair características.
  2. Utiliza segmentação panótica (ex: SAM) para obter máscaras de regiões.
  3. Implementa um mecanismo de Token Pool e Decodificador de Degradação com camadas Transformer.
  4. Realiza atenção cruzada para alinhar regiões entre a imagem âncora e a alvo.
  5. Possui cabeças de previsão (MLPs) para classificar: Relação Comparativa, Tipo de Distorção, Severidade e Pontuação de Qualidade.

4. Resultados Experimentais

Os autores avaliaram diversos MLLMs (abertos e fechados) e a arquitetura PANDA no PANDABENCH.

• Desempenho dos MLLMs:
  • Modelos de ponta (GPT-4o, GPT-5 Mini, Gemini 2.5 Pro) e modelos especializados (Q-Instruct, DepictQA) tiveram desempenho péssimo na tarefa de nível de região, muitas vezes ficando próximos ao acaso aleatório, especialmente no conjunto Hard.
  • Eles falham em seguir instruções complexas de comparação regional e tendem a omitir regiões ou fornecer descrições genéricas.
• Desempenho do PANDA:
  • O PANDA superou consistentemente todos os MLLMs em todas as tarefas (Comparação, Classificação de Distorção, Severidade e Pontuação de Qualidade).
  • No conjunto Easy, alcançou ~58% de precisão na comparação (vs. ~30% dos melhores MLLMs).
  • No conjunto Hard, manteve a melhor performance, com uma queda de desempenho muito menor em comparação aos MLLMs, demonstrando robustez em cenários complexos.
• Aplicação de "Showcase" (CoT):
  • Ao usar o DG previsto pelo PANDA como contexto (Chain-of-Thought) para um MLLM (GPT-5 Mini), houve uma melhoria de ~15% na precisão da compreensão de distorção.
  • O MLLM consegue usar o DG como um "dica estruturada", mas ainda é capaz de corrigir o gráfico se a evidência visual (pixels) contradisser o gráfico, demonstrando uma sinergia entre a estrutura simbólica e a compreensão visual do modelo.

5. Significado e Conclusão

• Mudança de Paradigma: O trabalho propõe uma mudança de uma análise "top-down" (imagem inteira) para uma abordagem "region-first" (baseada em regiões) para avaliação comparativa de imagens.
• Interpretabilidade: O DG oferece uma representação compacta e interpretável das diferenças entre imagens, localizando exatamente onde e como a qualidade difere.
• Limitações Atuais: Os MLLMs atuais, mesmo os maiores, carecem de raciocínio estruturado fino para tarefas de IQA comparativa sem ajuda externa.
• Futuro: A estrutura do DG pode ser generalizada para outras tarefas comparativas (ex: detecção de falsificações, análise de vídeos) e serve como um scaffold para melhorar o raciocínio de modelos multimodais.

Em resumo, o artigo demonstra que a introdução de uma representação estruturada de grafo (DG), apoiada por um dataset específico (PANDASET) e uma arquitetura dedicada (PANDA), é essencial para superar as limitações atuais dos MLLMs na avaliação de qualidade de imagem em nível granular e regional.