Résumé Technique : Communication Émergente entre Agents Visuels Hétérogènes par Apprentissage Décentralisé

1. Énoncé du Problème

L'article aborde une question fondamentale dans le domaine de la communication émergente (CE) : quelles informations visuelles peuvent devenir partageables lorsque les agents possèdent des représentations visuelles privées différentes ?

Les paradigmes standards de la communication émergente reposent généralement sur un signal de tâche externe partagé (par exemple, un jeu de référence où un auditeur doit identifier une image cible à partir du message d'un locuteur). Ce signal partagé couple les agents via un objectif commun, permettant potentiellement aux symboles émergents de s'optimiser pour la tâche plutôt que d'être ancrés dans la preuve perceptuelle privée de chaque agent. Les auteurs soutiennent que pour comprendre comment les symboles émergent de la perception privée seule, un cadre décentralisé est nécessaire, où les agents sont couplés uniquement par les messages échangés et mettent à jour leurs modèles en utilisant des preuves perceptuelles locales, sans récompenses partagées, gradients inter-agents ou partage de paramètres.

Le défi central consiste à déterminer si des symboles communs peuvent émerger sans accès perceptuel partagé et comment la similarité (ou le décalage) entre les espaces visuels privés des agents contraint le contenu et la symétrie du langage résultant.

2. Méthodologie

2.1 Le Jeu de Légendage Metropolis-Hastings (MHCG)

Les auteurs implémentent leur cadre décentralisé en utilisant le Jeu de Légendage Metropolis-Hastings (MHCG), adapté aux Modèles Vision-Langage (VLM).

• Agents : Deux agents (Agent A et Agent B) observent indépendamment des vues augmentées d'une même image.
• Architecture : Chaque agent est composé de :
  • Un encodeur visuel figé (basé sur un ViT pré-entraîné, par exemple DINOv2 ou MAE).
  • Un module texte initialisé aléatoirement (configuration BERT-Tiny) agissant à la fois comme encodeur et décodeur.
  • Un adaptateur ProbVLM qui mappe les caractéristiques spécifiques à la modalité dans un espace latent probabiliste partagé, modélisant les distributions comme des gaussiennes généralisées diagonales.
• Protocole d'Interaction :
  1. Locuteur : Encode son observation visuelle et échantillonne une séquence de jetons candidates (légende) $c^*$.
  2. Auditeur : Génère sa propre légende $c$ pour la même image.
  3. Décision d'Acceptation : L'auditeur évalue la proposition $c^*$ du locuteur par rapport à sa propre légende $c$ en utilisant un critère d'acceptation Metropolis-Hastings (MH). La décision est basée sur un rapport de vraisemblance dérivé des caractéristiques visuelles propres de l'auditeur et des paramètres de densité côté texte des légendes.
  4. Mise à jour : Si acceptée, $c^*$ devient la cible d'entraînement pour l'auditeur ; sinon, $c$ est conservée. Les rôles s'inversent au tour suivant.
  5. Apprentissage : Les agents mettent à jour uniquement leurs modules texte (encodeur, décodeur, couches de projection et tête ITM) et les adaptateurs ProbVLM en utilisant les légendes acceptées comme cibles fixes, en minimisant des pertes de style BLIP (Contraste Image-Texte, Correspondance Image-Texte et Modélisation du Langage). Les encodeurs visuels restent figés.

2.2 Configuration Expérimentale

• Jeu de données : MS-COCO (train2017 pour l'entraînement, val2017 pour l'évaluation).
• Conditions d'encodeur visuel : Trois appariements d'encodeurs figés ont été testés :
  1. HOMO : Encodeurs identiques (DINOv2 ViT-B/14 pour les deux).
  2. HETERO1 (Hétérogénéité Modérée) : DINOv2 ViT-B/14 vs DINOv2 ViT-S/14.
  3. HETERO2 (Hétérogénéité Forte) : DINOv2 ViT-B/14 vs MAE ViT-B/16.
• Contrôles :
  • NoCom : Aucune communication (référence).
  • AllAccept : Accepte toutes les propositions ($r \equiv 1$).
  • Acceptation Aléatoire : Correspond au taux d'acceptation MH mais accepte de manière uniforme et aléatoire.
  • Basé sur ITM : Utilise le score de correspondance discriminative image-texte de l'auditeur au lieu du rapport de vraisemblance MH.

2.3 Métriques d'Évaluation

• Alignement Inter-Agents : Récupération croisée modale Top-1 (Image vers Texte et Texte vers Image) et Analyse de Similarité Représentationnelle (RSA) Texte-Texte inter-agents.
• Transfert d'Information Visuelle : $\Delta R^2$ (prédiction linéaire corrigée par permutation des caractéristiques visuelles à partir des jetons) et RSA Vision-Texte.
• Spécificité Visuelle : Rayon visuel global normalisé des séquences de jetons partagées dans des espaces CLS fixes.
• Biais Représentationnel : Biais Partial-RSA ($\Delta X$) pour mesurer si les symboles émergents s'alignent plus fortement sur la géométrie visuelle d'un agent.

3. Contributions Clés

1. Jeu de Langage VLM Décentralisé : Introduction d'un cadre où des agents dotés d'encodeurs visuels hétérogènes apprennent des symboles partagés sans récompenses de tâche partagées, gradients inter-agents ou partage de paramètres.
2. Efficacité du MHCG : Démonstration que le MHCG produit des séquences de jetons partagées qui préservent l'information visuelle entre les agents, surpassant significativement une référence sans communication en termes d'alignement, de prédiction et de tâches de récupération.
3. Caractérisation de l'Hétérogénéité :
   • Décalage d'Encodeur : Toutes les métriques inter-agents déclinent à mesure que le décalage d'encodeur augmente.
   • Hétérogénéité Modérée : Réduit le nombre de séquences partagées mais préserve la spécificité visuelle des séquences individuelles.
   • Hétérogénéité Forte : Produit moins de séquences, plus grossières, avec un biais directionnel vers la structure représentationnelle d'un agent.
4. Rôle Critique du Filtrage MH : Montre que le filtrage par rapport de vraisemblance côté auditeur est essentiel pour prévenir la formation de jetons dégénérés (effondrement) et permettre un transfert efficace d'information visuelle, surpassant les contrôles de correspondance discriminative ou d'acceptation aléatoire.

4. Résultats

• Performance vs Référence : Dans toutes les conditions d'encodeur, le MHCG a significativement surpassé la référence NoCom sur toutes les métriques (par exemple, dans HOMO, la récupération inter-agents était d'environ 92 % contre environ 23 % pour NoCom).
• Impact du Décalage :
  • HOMO : Performance la plus élevée, alignement symétrique.
  • HETERO1 : La performance a diminué mais est restée robuste. Le système a formé 39 % de séquences partagées en moins que HOMO, mais la spécificité visuelle par séquence (mesurée par le rayon visuel) est restée comparable.
  • HETERO2 : Chute significative de performance. Les séquences partagées étaient moins nombreuses et couvraient des ensembles d'images beaucoup plus larges et diversifiés (concepts plus grossiers).
• Biais Représentationnel : Sous HETERO2, un biais directionnel clair est apparu ($\Delta A > 0, \Delta B < 0$), où le langage partagé s'alignait plus fortement sur la géométrie visuelle de l'Agent A (DINOv2 ViT-B). Cela a entraîné une performance de récupération asymétrique (les jetons de l'Agent B se transféraient mieux dans l'espace de l'Agent A que l'inverse).
• Études d'Ablation :
  • AllAccept : A produit un fort alignement texte-texte mais avec des séquences dégénérées, de faible diversité et une mauvaise récupération.
  • Acceptation Aléatoire : N'a pas réussi à transférer l'information visuelle, performant près du hasard.
  • Basé sur ITM : Amélioration par rapport au hasard mais restant inférieur au MHCG, indiquant que le filtre probabiliste MH est supérieur à une simple correspondance discriminative pour ce cadre décentralisé.

5. Importance et Revendications

L'article revendique que des symboles partagés peuvent émerger de l'évaluation perceptuelle locale seule, sans besoin d'un objectif communicatif externe partagé. L'étude démontre que :

• La Similarité Représentationnelle Visuelle est un facteur clé façonnant le langage résultant : elle détermine à la fois le contenu (spécificité vs grossièreté) et la symétrie (biais) des symboles émergents.
• L'Inférence Décentralisée via l'échantillonnage MH permet aux agents de négocier un espace latent partagé malgré des dosages visuels figés différents.
• L'Hétérogénéité Modérée agit comme un goulot d'étranglement de sélection, filtrant les concepts qui ne sont pas invariants à travers différentes représentations visuelles, résultant en un vocabulaire plus petit mais plus robuste de concepts partagés.
• L'Hétérogénéité Forte conduit à une rupture de symétrie, où le langage partagé tend à privilégier la structure représentationnelle de l'agent possédant l'encodeur visuel plus dominant ou compatible.

Les auteurs positionnent ce travail comme fondamental pour comprendre comment les espaces perceptuels privés et les systèmes symboliques partagés co-évoluent par interaction, offrant un cadre pour étudier l'ancrage du langage dans des systèmes multi-agents distribués et hétérogènes. Ils notent explicitement des limitations, notamment l'utilisation d'encodeurs figés (empêchant l'adaptation de la perception), un seul jeu de données et un petit vocabulaire, suggérant que les travaux futurs devraient explorer si des symboles partagés peuvent remodeler les espaces perceptuels privés et comment ces dynamiques évoluent avec des populations plus larges et des modalités diverses.