SGG-R$^{\rm 3}$: From Next-Token Prediction to End-to-End Unbiased Scene Graph Generation

Ce papier présente SGG-R³, un cadre de raisonnement structuré combinant un ajustement fin supervisé avec augmentation des relations et un apprentissage par renforcement optimisé par GSPO, conçu pour générer des graphes de scènes complets et non biaisés en surmontant les problèmes de distribution à longue traîne et de raisonnement insuffisant des modèles actuels.

L'essentiel

🎨 Le Titre : "SGG-R3 : Apprendre à l'IA à raconter une histoire complète, pas juste à deviner"

Imaginez que vous montrez une photo de rue très animée à un robot. Votre but est qu'il vous décrive tout ce qui s'y passe : les personnes, les voitures, les arbres, et surtout, comment ils interagissent (qui marche sur le trottoir, quelle voiture est garée devant quel magasin, qui porte des lunettes).

C'est ce qu'on appelle la Génération de Graphes de Scène.

Le problème, c'est que les robots actuels sont comme des enfants qui regardent une photo : ils voient les objets évidents (un chien, un arbre), mais ils oublient souvent les détails subtils ou ils inventent des choses qui ne sont pas là (hallucinations). De plus, ils ont tendance à ne parler que des choses qu'ils connaissent déjà (comme "un chien" ou "une voiture") et ignorent les relations rares ou complexes.

SGG-R3 est une nouvelle méthode pour entraîner ces robots à devenir de véritables enquêteurs visuels.

---

🚀 Les 3 Étapes de la Méthode (Le "R3")

Au lieu de demander au robot de deviner tout d'un coup (ce qui le fait paniquer et faire des erreurs), les chercheurs lui ont appris à raisonner en trois étapes claires, comme un détective qui suit une procédure rigoureuse.

1. La Liste des Suspects (Détection des Catégories)

• L'ancienne méthode : Le robot essayait de deviner où était chaque objet individuellement, ce qui créait beaucoup de confusion.
• La méthode SGG-R3 : D'abord, le robot dit : "Attends, je vois des humains, des voitures et des arbres sur cette photo." Il fait une liste des types d'objets présents avant de chercher les détails. C'est comme faire une liste de courses avant d'aller au supermarché.

2. La Chasse aux Indices (Localisation des Instances)

• L'ancienne méthode : Le robot pouvait confondre deux voitures ou en oublier une.
• La méthode SGG-R3 : Maintenant, il se concentre sur un type d'objet à la fois. "Ok, je cherche tous les humains. En voici un, puis un deuxième, puis un troisième." Il place un cadre précis autour de chacun. C'est comme trier ses cartes par couleur avant de jouer.

3. Le Lien entre les Indices (Extraction des Relations)

• L'ancienne méthode : Le robot disait souvent "homme" et "voiture" mais ne savait pas dire si l'homme conduisait la voiture ou s'il marchait à côté.
• La méthode SGG-R3 : Il analyse les liens selon trois types de relations :
  • Spatial : Où sont les objets ? (Sur, sous, à côté).
  • Possession : À qui ça appartient ? (La voiture de Paul).
  • Interaction : Que font-ils ? (Marcher sur, porter, utiliser).
  • Analogie : C'est comme passer d'une simple liste de noms à une histoire complète : "Paul (l'homme) marche sur le trottoir (spatial) et porte un manteau (possession) tout en regardant son téléphone (interaction)."

---

🧠 Comment on a entraîné le robot ? (Les 2 Astuces Magiques)

Pour que ce robot devienne si bon, les chercheurs ont utilisé deux techniques spéciales.

A. L'Entraînement avec "Plus d'Exemples" (Augmentation des Relations)

Les photos d'entraînement sont souvent pauvres en détails. On y voit des chiens, mais rarement "un chien qui regarde un chat".

• L'astuce : Les chercheurs ont utilisé une super-intelligence artificielle (Qwen2.5-VL) pour inventer des relations plausibles qui n'étaient pas écrites dans les manuels, mais qui ont du sens.
• Le filtre : Ensuite, ils ont vérifié que ces nouvelles idées n'étaient pas de l'imaginaire pur (comme "une voiture qui vole"). Ils ont utilisé un "filtre de réalité" pour ne garder que les relations logiques.
• Résultat : Le robot a appris avec beaucoup plus d'exemples, y compris des situations rares, ce qui l'a rendu plus intelligent et moins biaisé.

B. Le Système de Récompenses "Double Niveau" (Récompense à Double Granularité)

Quand on entraîne un robot, il faut le féliciter quand il a raison. Mais comment féliciter un robot qui a trouvé une relation très rare ?

• Le problème : Si on ne félicite que les réponses courantes (comme "le chat est sur le tapis"), le robot n'essaiera jamais de trouver des choses rares.
• La solution SGG-R3 :
  1. Récompense fine : On donne des points pour chaque relation exacte trouvée.
  2. Récompense large (le génie de l'idée) : On donne aussi des points si le robot trouve une relation qui a le même sens que la vérité, même si les mots sont légèrement différents.
  • Analogie : Si la réponse attendue est "Le chien court", et que le robot dit "Le chien galope", on lui donne quand même des points car c'est la même idée. Cela encourage le robot à être créatif et à ne pas se limiter aux mots exacts du manuel.

---

🏆 Le Résultat Final

Grâce à cette méthode structurée (les 3 étapes) et à cet entraînement intelligent (plus d'exemples + récompenses intelligentes), le robot SGG-R3 devient bien meilleur que ses concurrents :

1. Il voit plus de choses : Il ne rate pas les petits détails.
2. Il comprend mieux : Il ne se contente pas de lister des objets, il raconte comment ils interagissent.
3. Il est plus juste : Il ne se contente pas de répéter ce qu'il a déjà vu mille fois ; il arrive à comprendre des situations nouvelles et rares.

En résumé : SGG-R3 ne demande pas à l'IA de "deviner" une image. Il lui apprend à observer méthodiquement, à catégoriser, puis à raconter l'histoire complète de la scène, comme un véritable narrateur visuel.

Résumé technique

1. Problématique

La Génération de Graphes de Scène (SGG) vise à structurer les scènes visuelles sous forme de graphes représentant les objets et leurs relations. Bien que les Modèles de Langage Multimodaux (MLLM) aient permis d'avancer vers une génération de bout en bout, les méthodes actuelles souffrent de deux limitations majeures :

• Absence de raisonnement structuré : L'application directe de MLLM sans pipeline de raisonnement spécifique (Chain-of-Thought) conduit à un espace de recherche trop vaste, générant des hallucinations et un faible taux de rappel (recall).
• Distribution déséquilibrée et éparsité des données : Les données d'entraînement présentent une distribution à longue traîne (long-tail) et une grande éparsité des relations. Cela entraîne des modèles biaisés vers les relations fréquentes, incapables de généraliser aux concepts rares ou non vus, produisant des graphes de scène incomplets.

2. Méthodologie : Le Framework SGG-R3

Les auteurs proposent SGG-R3, un framework de raisonnement structuré qui intègre un Supervised Fine-Tuning (SFT) guidé par le Chain-of-Thought (CoT) et un Apprentissage par Renforcement (RL) avec optimisation de stratégie de séquence de groupe (GSPO). L'approche se déroule en trois étapes séquentielles :

A. Augmentation des Relations (Relation Augmentation)

Pour pallier l'épissité des données avant le SFT :

• Utilisation d'un MLLM puissant (Qwen2.5-VL-32B) pour générer des descriptions de relations supplémentaires basées sur les entités de vérité terrain.
• Filtrage sémantique : Les triplets générés sont filtrés en calculant la similarité cosinus de leurs embeddings (via Sentence-BERT) avec les triplets de vérité terrain. Seuls les triplets dépassant un seuil de similarité sont conservés, assurant la cohérence sémantique tout en augmentant la diversité des données d'entraînement.

B. Raisonnement Structuré en Trois Étapes (Three-stage Structured Reasoning)

Le modèle est entraîné pour décomposer la génération du graphe en trois phases distinctes, encadrées par des balises XML et formatées en JSON :

1. Détection de catégories d'objets : Identification des catégories d'objets présentes dans l'image (réduction de l'espace de recherche).
2. Ancrage d'instances (Instance Grounding) : Détection et localisation précise (bounding boxes) de chaque instance pour les catégories identifiées, séquentiellement.
3. Extraction de relations multi-types : Extraction des triplets (sujet, prédicat, objet) en explorant trois types de relations prédéfinis (spatiales, possessives, interactives) basés sur la séquence des objets ancrés.

C. Optimisation par Apprentissage par Renforcement (RL)

Une fois le modèle initialisé par le SFT, une phase de RL affine les capacités de raisonnement et d'ancrage visuel grâce à un système de récompense à double granularité :

• Récompense de format : Vérifie l'intégrité structurelle (balises, syntaxe JSON).
• Récompense de détection de catégorie et d'ancrage : Basée sur le score F1 et le rappel des boîtes englobantes (IoU + distance L1).
• Récompense à double granularité pour les relations :
  • Granularité fine : Utilise un poids adaptatif basé sur la fréquence des prédicats pour atténuer le biais de la longue traîne (surpondération des relations rares).
  • Granularité coarse : Utilise un clustering sémantique (DBSCAN) pour récompenser les relations sémantiquement proches de la vérité terrain, même sans correspondance exacte sujet/objet, améliorant ainsi la couverture sémantique.

L'algorithme d'optimisation utilisé est le Group Sequence Policy Optimization (GSPO), qui stabilise l'entraînement en utilisant des ratios d'importance au niveau de la séquence plutôt qu'au niveau du token.

3. Contributions Clés

1. Framework de raisonnement structuré : Une approche systématique décomposant la génération de graphes en trois étapes logiques, améliorant la cohérence et le contrôle.
2. Stratégie d'augmentation de relations : Une méthode innovante pour enrichir les données d'entraînement SFT, atténuant le problème de démarrage à froid (cold-start) et de l'épissité.
3. Récompense à double granularité : Un mécanisme de RL unique combinant pondération adaptative et clustering sémantique pour résoudre simultanément les problèmes de biais de longue traîne et de couverture relationnelle.

4. Résultats Expérimentaux

Les expériences ont été menées sur deux benchmarks standards : VG150 et PSG.

• Performance globale : SGG-R3 surpasse les méthodes existantes (basées sur des VLM et non-VLM) en termes de Rappel (Recall), de Rappel Moyen (mRecall) et de Rappel Zero-Shot (zsRecall).
• Comparaison avec les MLLM : Sur VG150, la version SFT+RL de SGG-R3 (modèle 3B) atteint un mRecall de 14.8% et un Recall de 36.0%, surpassant des modèles baselines beaucoup plus grands (7B et 72B) et d'autres approches VLM.
• Généralisation : Le modèle démontre une capacité supérieure à reconnaître des relations rares (long-tail) et à généraliser à des triplets non vus lors de l'entraînement (zsRecall).
• Qualité de la détection : L'approche améliore significativement la détection d'objets et l'ancrage visuel par rapport aux méthodes SFT seules, réduisant les hallucinations et les boucles répétitives.

5. Signification et Impact

SGG-R3 représente une avancée significative pour la génération de graphes de scène en démontrant que :

• Le raisonnement explicite et structuré (CoT) est crucial pour guider les MLLM dans des tâches de prédiction dense et complexe.
• L'augmentation de données ciblée et les mécanismes de récompense adaptés (RL) sont essentiels pour surmonter les biais inhérents aux données d'annotation visuelle.
• Il est possible d'obtenir des performances de pointe avec des modèles de taille modérée (3B) grâce à un entraînement postérieur (post-training) soigné, rendant la technologie plus accessible et efficace pour des applications en aval comme la réponse aux questions visuelles (VQA), la recherche d'images et la navigation robotique.

En résumé, ce travail propose une voie robuste pour passer d'une prédiction de token suivante aveugle à une génération de graphes de scène complète, précise et débiaisée.