Context Sensitivity Improves Human-Machine Visual Alignment

1. Problématique

Les modèles d'apprentissage automatique modernes (en particulier les réseaux de neurones profonds) représentent les entrées visuelles comme des points fixes dans un espace d'embedding de haute dimension. Bien que cette approche soit puissante pour des tâches de généralisation (comme ImageNet), elle diffère fondamentalement de la perception humaine.

• Limitation des modèles actuels : Ils reposent sur l'hypothèse d'une correspondance un-à-un entre une entité et sa représentation, ignorant le contexte.
• Spécificité humaine : La perception humaine est intrinsèquement adaptative et contextuelle. Les humains ajustent dynamiquement leurs représentations d'objets en fonction de l'environnement, des objectifs, des effets de leurre et des dépendances séquentielles.
• Enjeu : À mesure que les modèles sont utilisés comme "auto-évaluateurs" (proxy pour la collecte de données humaines), il devient crucial de développer des représentations qui s'adaptent au contexte pour mieux s'aligner sur le comportement humain.

2. Méthodologie

Les auteurs proposent un modèle de similarité sensible au contexte pour prédire les jugements humains dans une tâche de type "l'intrus" (odd-one-out) avec un contexte visuel.

A. Données et Tâche

• Dataset : Utilisation de l'ensemble de données ImageNet-HSJ (Roads & Love, 2021), restructuré sous forme de triplets avec contexte.
• Tâche : Étant donné une image de contexte (ancrage) et un triplet d'images, le modèle doit prédire quelle image est la moins similaire aux deux autres (l'intrus), en tenant compte du contexte.

B. Architecture du Modèle

Le modèle (illustré dans la Figure 2) fonctionne en plusieurs étapes :

1. Extraction de caractéristiques (Feature Extraction) : Une image de contexte et un triplet d'images sont encodés via des Modèles Fondamentaux (Foundation Models - FM) pré-entraînés (ViT, SigLIP, DINOv2), incluant des versions "alignées sur l'humain" (fine-tunées).
2. Transformation insensible au contexte (CIT) : Une transformation affine apprenable ($Wx + b$) suivie d'une normalisation est appliquée aux embeddings pour améliorer l'alignement de base.
3. Calcul de similarité sensible au contexte (CSS) :
   • L'embedding de l'image de contexte est passé dans un réseau de neurones (une couche linéaire) pour générer une matrice de faible rang $B_c$.
   • Cette matrice définit une matrice de similarité contextuelle $A_c = B_c^T B_c$.
   • La similarité entre deux images $i$ et $j$ dans le contexte $c$ est calculée comme un produit scalaire pondéré : $s_{i,j|c} = \tilde{x}_i^T A_c \tilde{x}_j$.
   • Cela permet de réorienter dynamiquement l'espace d'embedding en fonction du contexte.
4. Décision : Le modèle choisit l'intrus en maximisant la probabilité que les deux autres images soient les plus similaires selon la métrique contextuelle.

C. Fonction de Perte et Régularisation

L'entraînement utilise une estimation de vraisemblance maximale pour prédire le choix humain. Une fonction de perte inclut des termes de régularisation ($\lambda_1, \lambda_2$) pour :

• Maintenir la transformation insensible au contexte proche de l'identité (préserver la structure pré-entraînée).
• Garder la similarité sensible au contexte proche de la similarité cosinus par défaut (éviter une déformation excessive).

3. Contributions Clés

1. Modélisation contextuelle : Introduction d'un mécanisme explicite pour moduler les similarités dans les réseaux de neurones en fonction d'une image de référence, inspiré des théories cognitives (ex: Tversky).
2. Amélioration de l'alignement : Démonstration que l'intégration du contexte améliore significativement la prédiction des jugements humains par rapport aux modèles statiques.
3. Analyse qualitative : Visualisation montrant comment le modèle réorganise l'espace d'embedding (via des RSM et PCA) pour refléter les biais humains induits par le contexte (ex: un objet ambigu est classé différemment selon le contexte).

4. Résultats Expérimentaux

Les expériences ont été menées sur trois architectures de base (DINOv2, SigLIP, ViT) et leurs versions alignées sur l'humain.

• Performance Quantitative :

  • Le modèle sensible au contexte surpasse systématiquement le modèle de base (FM) et le modèle insensible au contexte.
  • L'amélioration de la précision (Odd-One-Out Accuracy) atteint jusqu'à 15% par rapport au modèle insensible au contexte.
  • Ces gains sont observés de manière cohérente sur les modèles originaux et sur les modèles "human-aligned" (fine-tunés).
  • Les analyses par bootstrap apparié confirment que ces améliorations sont statistiquement significatives (intervalles de confiance à 95% excluant zéro).

• Résultats Qualitatifs (Exemple de la Figure 1) :

  • Scénario : Contexte = Chevreuil. Triplet = Chien, Canoë, Chariot à cheval.
  • Modèle insensible : Choisit le chien comme intrus (basé sur une similarité globale véhicule/animal).
  • Modèle sensible au contexte & Humain : Choisit le canoë. Le contexte "animaux" (chevreuil) renforce la similarité entre le chien et le chariot à cheval (tous deux animaux), rendant le canoë (véhicule) l'intrus.
  • Les visualisations (RSM et PCA) montrent que le modèle sensible au contexte déplace effectivement le chariot à cheval vers le cluster "animaux" dans l'espace latent.

5. Signification et Conclusion

Cet article démontre que les interventions inspirées par la cognition (ici, la sensibilité au contexte) sont essentielles pour améliorer l'alignement entre les représentations des machines et celles des humains.

• Implication : Les modèles de vision par ordinateur ne doivent pas traiter les images comme des entités isolées. La capacité à adapter les représentations dynamiquement est cruciale pour des systèmes d'IA plus robustes et interprétables.
• Limites et Perspectives : L'étude se base sur des jugements individuels (une réponse par essai) et des triplets dérivés. Les travaux futurs pourraient intégrer des dépendances séquentielles, des états motivationnels internes et étendre cette approche aux modèles vision-langage pour un raisonnement multi-images.

En résumé, ce travail valide l'hypothèse que la sensibilité au contexte n'est pas un bruit, mais une caractéristique fondamentale à intégrer pour atteindre un alignement représentatif optimal entre l'IA et la cognition humaine.