Résumé Technique : AlignG – Apprentissage de la Sémantique des Prédicats Conditionnée par le Contexte via un Feedback de Prototypes

1. Énoncé du Problème

La Génération de Graphes de Scène (SGG) vise à représenter les images sous forme de graphes structurés d'objets et de leurs relations sémantiques. Un défi fondamental dans ce domaine est la modélisation des prédicats polysémiques, où le sens d'une étiquette (par exemple, "sur", "à cheval") change selon le contexte visuel spécifique. Par exemple, une personne debout sur des skis sans mouvement est "debout sur" ceux-ci, tandis qu'une personne descendant une pente est "à cheval" sur eux, malgré des apparences visuelles similaires.

Les approches existantes tentent de résoudre ce problème par :

• Prototypes Statiques : Attribution d'un seul prototype fixe par prédicat (par exemple, PE-Net).
• Décomposition Multi-Prototype : Division des prédicats en plusieurs sous-prototypes statiques (par exemple, C-SGG).
• Récupération/Connaissances Externes : Utilisation d'exemplaires externes ou de Modèles de Langage de Grande Taille (LLM) pour la désambiguïsation.

Cependant, ces méthodes souffrent d'une limitation critique : les représentations des prédicats restent statiques. Elles ne peuvent pas réorganiser la sémantique pour refléter les preuves spécifiques à l'image lors de l'inférence. Les ancres fixes échouent à s'adapter aux nuances contextuelles, entraînant des confusions systématiques dans les scènes ambiguës où les caractéristiques visuelles seules sont insuffisantes pour distinguer le contact spatial de l'utilisation fonctionnelle.

2. Méthodologie : AlignG

Les auteurs proposent AlignG, un cadre d'apprentissage par feedback de prototypes qui fait le pont entre la sémantique globale des prédicats et le contexte relationnel spécifique à l'image. Contrairement aux travaux antérieurs qui traitent les prototypes comme des ancres fixes, AlignG les traite comme des variables conditionnées par le contexte qui s'adaptent dynamiquement en fonction des indices relationnels au sein de chaque image.

Le cadre fonctionne via un processus de raffinement en deux étapes :

Étape 1 : Contextualisation des Prototypes de Prédicats

Au lieu d'utiliser des prototypes statiques, AlignG les met à jour de manière incrémentale en utilisant des preuves relationnelles de l'image actuelle.

• Mécanisme : Il agrège les embeddings de relations pour chaque prototype via une attention croisée pondérée par la compatibilité. Ce mécanisme évalue la compatibilité entre un prototype global et tous les candidats de relations dans l'image, attribuant des poids plus élevés aux plus pertinents.
• Règle de Mise à Jour : Le signal contextuel résultant est injecté dans une cellule Unité Récurrente à Portes (GRU) aux côtés du prototype statique normalisé. Cela produit un prototype raffiné spécifique à l'image $p^{(I)}_r$.
• Objectif : Cela permet aux prototypes d'évoluer avec des preuves locales tout en maintenant la stabilité au sein de l'espace sémantique global, empêchant une dérive sémantique abrupte.

Étape 2 : Recalibrage des Embeddings de Relations

Une fois les prototypes adaptés, ils sont utilisés pour affiner les embeddings de relations.

• Mécanisme : Un mécanisme d'attention croisée inverse propage les prototypes adaptés vers les candidats de relations. Cela détermine dans quelle mesure chaque prototype adapté contribue à l'affinement d'un embedding de relation spécifique.
• Recalibrage : L'embedding de relation brut est fusionné avec le signal de feedback informé par le prototype via un réseau de projection.
• Objectif : Cet ajustement en une seule étape garantit que les représentations de relations sont flexibles face à la variation locale tout en restant cohérentes avec la sémantique globale.

Objectifs d'Entraînement

L'optimisation suit trois pertes clés :

1. Perte de Classification ($L_{cls}$) : Entropie croisée standard pour la prédiction des prédicats.
2. Perte de Régularisation ($L_{reg}$) : Impose la diversité parmi les prototypes et prévient la redondance (pénalité de similarité et marge de diversité).
3. Perte d'Alignement ($L_{align}$) : Une perte contrastive qui rapproche les embeddings de relations recalibrés de leurs prototypes globaux statiques (et non des prototypes adaptés) et les éloigne des négatifs confus.
   • Choix de Conception Crucial : L'ancrage de la perte sur des prototypes statiques empêche la co-adaptation triviale entre les relations et les prototypes au sein d'une seule image, garantissant que le classificateur reste ancré dans des centres sémantiques indépendants de l'image.

3. Contributions Clés

1. Reformulation de l'Apprentissage des Prédicats : L'article change le paradigme de l'apprentissage de prototypes statiques vers une adaptation conditionnée par l'image, traitant la sémantique des prédicats comme des variables dynamiques réactives aux preuves relationnelles.
2. Cadre AlignG : Introduction d'un mécanisme de feedback de prototypes en deux étapes qui :
   • Adapte les prototypes aux preuves spécifiques à l'image.
   • Recalibre les caractéristiques de relations sous ces prototypes adaptés.
   • Préserve la cohérence sémantique globale grâce à un ancrage statique dans la fonction de perte.
3. Validation Empirique : Démonstration de performances de pointe sur des benchmarks standards, soutenue par des visualisations montrant une réorganisation cohérente et dépendante du contexte de la sémantique des prédicats.

4. Résultats Expérimentaux

Le modèle a été évalué sur VG-150 et GQA-200 dans trois configurations : Classification de Prédicats (PredCls), Classification de Graphes de Scène (SGCls) et Détection de Graphes de Scène (SGDet).

• Performance sur VG-150 :

  • Sous SGDet, AlignG a atteint un F@100 de 23,8, soit une amélioration de +1,4 par rapport au meilleur précédent (MCL).
  • Il a obtenu le Rappel Moyen (mR@100) le plus élevé dans toutes les configurations (42,6 en PredCls, 26,1 en SGCls, 19,7 en SGDet).
  • Comparé à l'architecture de base PE-Net, AlignG a montré des gains substantiels en mR@100 (+8,8, +7,2, +5,2 respectivement), confirmant que les améliorations proviennent du mécanisme de feedback et non d'une expansion conceptuelle.

• Performance sur GQA-200 :

  • AlignG a atteint un F@100 de 19,5 en SGDet, soit une amélioration de +2,7 par rapport à la ligne de base.
  • Il a démontré des améliorations constantes en mR@100 (+10,8 par rapport à PE-Net), équilibrant efficacement la précision globale et l'équité à travers les distributions à longue traîne.

• Ablation et Analyse :

  • Analyse des Composantes : Le remplacement de la simple concaténation par un mise à jour basée sur GRU a constamment amélioré les performances, en particulier le Rappel Moyen.
  • Analyse des Confusions : AlignG a résolu entre 11,5 % et 42,6 % des erreurs commises par PE-Net sur des paires de négatifs difficiles (par exemple, distinguer "allongé sur" de "posé sur").
  • Surcoût Computationsnel : La méthode ajoute un coût computationnel minimal (+7,05G FLOPs, +0,03s/itération) tout en maintenant des vitesses d'inférence en temps réel (>30 FPS).

5. Importance et Revendications

L'article affirme que la cohérence sémantique et la flexibilité contextuelle peuvent coexister au sein d'une structure unifiée. En intégrant l'adaptabilité directement dans les représentations des prédicats, AlignG démontre que les prototypes statiques (fournissant la stabilité) et l'adaptation spécifique à l'image (capturant les preuves de la scène) peuvent fonctionner comme des mécanismes complémentaires.

Les auteurs soulignent que leur approche :

• Affine les Prédicats Ambigus : Elle fusionne ou sépare sélectivement les sémantiques des prédicats en fonction des preuves de la scène, comme visualisé dans les cartes thermiques de similarité de prototypes par image.
• Évite la Dérive Sémantique : L'utilisation de prototypes statiques dans la perte d'alignement ancre le modèle sur des centres sémantiques globaux, empêchant le modèle de dériver vers des artefacts locaux ou des détections bruyantes.
• Généralisabilité : Bien que validé sur des benchmarks basés sur des images, les auteurs suggèrent que le principe d'adaptation conditionnée par le contexte pourrait s'étendre à des contextes séquentiels comme la compréhension vidéo, où les sémantiques relationnelles changent au fil du temps.

L'article se termine par une déclaration d'impact modeste, reconnaissant que si la méthode fait progresser la SGG, elle hérite des biais d'annotation des jeux de données d'entraînement. Ils recommandent une validation sur des distributions cibles et une surveillance humaine pour les applications sensibles à la sécurité.