🤖 machine learning

Panoptic Pairwise Distortion Graph

Cet article propose une nouvelle approche d'évaluation comparative d'images via le « Panoptic Pairwise Distortion Graph », qui représente les dégradations entre deux images sous forme de graphe structuré au niveau des régions, et introduit à cette fin le jeu de données PandaSet, la suite de benchmarks PandaBench et l'architecture Panda pour surmonter les limites actuelles des modèles multimodaux.

Auteurs originaux : Muhammad Kamran Janjua, Abdul Wahab, Bahador Rashidi

Publié 2026-04-14

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Muhammad Kamran Janjua, Abdul Wahab, Bahador Rashidi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous et un ami regardez deux photos de vacances prises au même endroit, mais à des moments différents. L'une est floue, l'autre est nette. L'une a un ciel gris, l'autre est ensoleillée.

Le Problème : Les "Géants aveugles"

Actuellement, les plus grands cerveaux d'intelligence artificielle (appelés MLLM, ou modèles de langage multimodaux) sont comme des géants très forts mais un peu aveugles aux détails.

Quand on leur demande "Quelle photo est la meilleure ?", ils regardent l'image d'un seul coup d'œil global.
Ils peuvent dire : "La première est belle, la deuxième est moche."
Mais si on leur demande : "Pourquoi le ciel de la première photo est-il flou alors que celui de la deuxième est net ?" ou "Pourquoi le chien sur la gauche est-il pixellisé mais pas l'arbre ?", ils échouent. Ils ne savent pas analyser région par région. Ils sont trop gros pour voir les petits détails.

La Solution : Le "Graphique de Distorsion" (DG)

Les auteurs de ce papier (de Huawei Canada) ont eu une idée brillante : au lieu de regarder l'image comme un bloc unique, ils proposent de la décomposer en une carte structurée, qu'ils appellent un Graphique de Distorsion (Distortion Graph).

Imaginez que l'image est une maison.

Les méthodes actuelles disent : "Cette maison est en mauvais état."
La nouvelle méthode dit : "Le toit est fissuré (flou), la fenêtre du salon est sale (bruit), mais la porte d'entrée est neuve (nette)."

Ce "Graphique" est comme un plan d'architecte qui relie chaque pièce de la maison (chaque région de l'image) à son état de santé. Il note :

Quel est le problème ? (Est-ce de la pluie ? Du flou ? Du bruit ?)
À quel point est-ce grave ? (Légèrement, moyennement, ou catastrophiquement ?)
La comparaison : "La fenêtre de la photo A est meilleure que celle de la photo B."

Les Outils Créés : PANDA, PANDASET et PANDABENCH

Pour entraîner une IA à lire ce plan d'architecte, les chercheurs ont construit trois choses :

PANDASET (La Bibliothèque d'entraînement) : C'est une immense collection de 500 000 paires de photos. Ils ont pris des images et y ont ajouté artificiellement des défauts (pluie, neige, flou, bruit) sur des zones précises. C'est comme un entraînement militaire où l'IA apprend à reconnaître un soldat blessé, un autre avec un casque cassé, etc., zone par zone.
PANDA (Le Médecin IA) : C'est le nom de leur nouvelle intelligence artificielle. Contrairement aux géants aveugles, PANDA est un chirurgien. Il examine chaque "région" de l'image, pose un diagnostic précis et remplit le "Graphique de Distorsion".
PANDABENCH (Le Terrain d'entraînement) : C'est un examen de difficulté progressive.
- Facile : Une seule tache sur toute l'image.
- Moyen : Des taches différentes sur différentes parties.
- Difficile : Un chaos total où chaque petit coin de l'image a un problème différent.

Le Résultat : Une Révélation

Les chercheurs ont testé les plus célèbres IA du monde (comme GPT-4o, Gemini, etc.) sur cet examen.

Le verdict : Même les IA les plus avancées ont échoué lamentablement. Elles ne comprenaient pas les détails locaux. Elles donnaient des réponses génériques ou inventaient des choses.
La victoire de PANDA : Le modèle PANDA, lui, a excellé. Il a su dire exactement quel oiseau était flou et quel arbre était net.

L'Analogie Finale : Le Détective et le Rapport

Imaginez un détective (l'IA) qui doit comparer deux scènes de crime.

L'ancienne méthode : Le détective regarde la pièce et dit : "C'est le chaos." Fin de l'histoire.
La nouvelle méthode (Graphique de Distorsion) : Le détective remplit un rapport structuré : "La vitre cassée est à gauche (flou), le tapis est taché au centre (bruit), mais le tableau au mur est intact."

Ensuite, le détective peut utiliser ce rapport pour expliquer à un juge (un autre modèle d'IA) pourquoi une scène est pire que l'autre. C'est ce que les chercheurs appellent le "Chain-of-Thought" (chaîne de pensée) : donner au cerveau de l'IA une carte précise avant de lui demander de conclure.

En Résumé

Ce papier nous dit que pour que l'IA devienne vraiment intelligente dans l'analyse d'images, elle ne doit plus seulement "voir" l'image en gros. Elle doit apprendre à lire les détails, à comparer pièce par pièce, et à organiser ces informations dans un plan clair. C'est un pas de géant vers des IA qui comprennent vraiment ce qu'elles regardent, et non pas juste ce qu'elles devinent.

1. Problématique et Contexte

Le domaine de l'évaluation de la qualité d'image (Image Quality Assessment - IQA) et de l'analyse comparative repose souvent sur des approches "top-down" qui traitent l'image comme un tout global. Bien que les modèles existants (notamment les Modèles de Langage Multimodaux ou MLLM) puissent évaluer la qualité globale, ils échouent fréquemment à comprendre les dégradations au niveau des régions (ex: un objet spécifique flou dans une image claire).

Les défis principaux identifiés sont :

Manque de granularité : Les modèles actuels peinent à attribuer des types de distorsion, des niveaux de sévérité et des scores de qualité à des régions spécifiques d'une image.
Limites des MLLM : Même les modèles de pointe (frontier MLLMs) ont du mal à raisonner sur des régions spécifiques, même lorsqu'on leur fournit des indices explicites (boîtes englobantes, descriptions). Ils tendent à donner des réponses génériques ou à "halluciner" des détails.
Absence de représentation structurée : Il n'existe pas de formalisme structuré pour représenter les relations comparatives entre les régions de deux images (une image "ancre" et une image "cible").

2. Méthodologie : Le Graphique de Distorsion (DG)

Les auteurs proposent une nouvelle perspective en introduisant le Graphique de Distorsion (Distortion Graph - DG). Ce concept étend la notion de "scène graphique" (Scene Graph) d'une seule image à une paire d'images.

Définition du DG

Le DG est une structure de graphe 4-tuple $G = (O_{IA}, O_{IT}, E_D, E_S)$ :

Nœuds ( $O$ ) : Représentent les régions (objets) de l'image ancre ($IA$) et de l'image cible ($IT$). Chaque nœud encode des attributs locaux : type de distorsion, sévérité et score de qualité.
Arêtes de distorsion ( $E_D$ ) : Représentent les relations comparatives entre les régions appariées de l'ancre et de la cible (ex: "l'ancre est significativement meilleure", "la cible a un flou sévère").
Arêtes de scène ( $E_S$ ) : (Optionnelles) Relations sémantiques au sein d'une même image.

Le DG obéit à trois propriétés clés :

Validité : Les arêtes de distorsion ne relient que des régions correspondantes entre les deux images (pas de relations intra-image dans $E_D$ ).
Ordre : Les relations sont orientées (Ancre $\to$ Cible).
Comparaison Fonctionnelle : Pour chaque paire de régions appariées, une seule relation de distorsion est définie.

Architecture PANDA

Pour apprendre à générer ces graphes, les auteurs proposent une architecture efficace nommée PANDA :

Entrée : Une paire d'images (Ancre et Cible).
Encodage : Utilisation d'un encodeur pré-entraîné (ex: DINOv2) et d'une méthode de segmentation panoptique (ex: SAM) pour obtenir des masques binaires et des caractéristiques régionales.
Token Pool : Un mécanisme pour associer des tokens apprenables aux régions spécifiques.
Décodeur de Dégradation : Un module basé sur des couches Transformer (Self-Attention et Cross-Attention) qui permet à chaque région d'une image d'interagir avec les caractéristiques de l'autre image pour apprendre les relations comparatives.
Têtes de prédiction : Quatre têtes MLP prédisent pour chaque région :
1. La relation comparative (prédicat).
2. Le type de distorsion.
3. Le niveau de sévérité.
4. Le score de qualité (régression).

3. Contributions Clés

L'article apporte trois contributions majeures pour réaliser cette tâche :

PANDASET (Jeu de données) :
- Un ensemble de données à l'échelle de 528 000 paires d'images.
- Basé sur PSG et Seagull-100w, couvrant 15 types de distorsions (pluie, neige, brouillard, bruit, flou, compression, etc.) et 4 niveaux de sévérité.
- Chaque région est annotée avec un type de distorsion, une sévérité, un score de qualité (basé sur TOPIQ) et une relation comparative.
PANDABENCH (Benchmarks) :
- Une suite de benchmarks divisée en trois niveaux de difficulté croissante pour évaluer la compréhension des régions :
  - Easy : Une seule distorsion affecte toute l'image (mais avec des sévérités variables).
  - Medium : Une image a une distorsion uniforme, l'autre a des distorsions mixtes par région.
  - Hard : Les deux images ont des distorsions mixtes et complexes par région.
- Ce benchmark teste la capacité des modèles à raisonner finement sur des dégradations locales.
Architecture PANDA :
- Un modèle efficace conçu spécifiquement pour prédire les attributs et les prédicats du DG, surpassant les approches basées sur des MLLM génériques.

4. Résultats Expérimentaux

Les expériences ont été menées sur PANDABENCH en comparant PANDA à des MLLM open-source (Q-Instruct, DepictQA, Gemma-3) et fermés (GPT-4o, GPT-5, Gemini).

Performance de PANDA : PANDA atteint les meilleurs résultats sur toutes les tâches (classification de distorsion, sévérité, comparaison, score de qualité) et sur tous les niveaux de difficulté. Il démontre une robustesse supérieure, avec une baisse de performance minime passant du niveau "Easy" au niveau "Hard".
Échec des MLLM actuels :
- Les MLLM, même les plus avancés (GPT-5, Gemini 2.5 Pro), obtiennent des scores proches du hasard sur les tâches complexes (Hard), notamment pour la comparaison régionale et la prédiction de scores.
- Ils souffrent de limitations de contexte et de rigidité dans le suivi des instructions (tendance à répéter des modèles ou à omettre des régions).
- Les modèles spécialisés (comme DepictQA) échouent car ils ne sont pas conçus avec une approche "region-first" et ne gèrent pas bien les tâches comparatives multi-images.
Application "Showcase" (Chaîne de pensée) :
- Une expérience intéressante consiste à utiliser le DG prédit par PANDA comme contexte (hint) pour un MLLM (GPT-5 Mini) via une chaîne de pensée (Chain-of-Thought).
- Résultat : Cela améliore la compréhension des distorsions régionales du MLLM d'environ 15 %. Le MLLM apprend à utiliser le graphe structuré comme un guide, tout en conservant la capacité de corriger le graphe si les preuves visuelles (pixels) contredisent la prédiction.

5. Signification et Impact

Ce travail est significatif pour plusieurs raisons :

Changement de paradigme : Il déplace l'évaluation de la qualité d'image d'une approche globale vers une approche structurée et ancrée dans les régions, ce qui est plus proche du processus décisionnel humain.
Interprétabilité : Le DG fournit une représentation compacte et interprétable des différences entre deux images, contrairement aux embeddings vectoriels opaques.
Complémentarité IA : Il démontre que les modèles spécialisés (PANDA) peuvent servir de "scaffolding" (échafaudage) pour améliorer les capacités des grands modèles de langage (MLLM) dans des tâches de vision fine, en leur fournissant une structure logique.
Benchmarks futurs : PANDABENCH établit un nouveau standard pour évaluer la compréhension visuelle fine, révélant des lacunes majeures dans les modèles actuels qui étaient masquées par des benchmarks plus simples.

En conclusion, ce papier propose une solution élégante et efficace pour l'analyse comparative d'images, prouvant que la structuration explicite des relations régionales est la clé pour dépasser les limites actuelles de l'IA visuelle.