💻 computer science

Continual Image-Text Retrieval via Banzhaf Distillation from the Coalitional Game Perspective

Cet article propose le Banzhaf Distillation Network (BDNet) pour la recherche continue d'images et de textes, qui traite des défis tels que le désalignement sémantique et l'aliasing de connaissances en modélisant les interactions de jetons d'ordre supérieur via la valorisation de Banzhaf d'un point de vue de la théorie des jeux coopératifs afin de préserver la connaissance structurelle intermodale à travers des sessions incrémentielles.

Auteurs originaux : Lei Zhao, Fuhao Wei, Shaofan Wang, Yanfeng Sun

Publié 2026-09-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Lei Zhao, Fuhao Wei, Shaofan Wang, Yanfeng Sun

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'internet est inondé d'images et de mots qui les décrivent, une vaste bibliothèque numérique où une photographie d'un coucher de soleil peut être associée à un poème, une légende de presse ou une publication occasionnelle sur les réseaux sociaux. Pour que les ordinateurs puissent donner un sens à ce monde, ils doivent apprendre à lier ces deux langages différents : le langage visuel des pixels et le langage linguistique des phrases. Cette tâche, connue sous le nom de recherche d'images et de textes (image-text retrieval), est le moteur qui permet de trouver une photo spécifique lorsque vous tapez une description, ou de trouver la légende appropriée pour une image. Cependant, le monde réel ne nous livre pas toutes nos données d'un coup. Au contraire, l'information arrive sous forme de flux continu, jour après jour, apportant de nouveaux sujets, de nouveaux styles et de nouveaux contextes. Un ordinateur entraîné uniquement sur des photos de chats de l'année dernière pourrait avoir du mal à reconnaître une nouvelle race de chien ou une manière différente de décrire une scène apparaissant aujourd'hui. Ce défi consistant à apprendre continuellement sans oublier ce qui a été appris auparavant est le puzzle central que les chercheurs tentent de résoudre.

Dans une nouvelle étude, une équipe de chercheurs de l'Université de technologie de Pékin a proposé une nouvelle façon d'aider les ordinateurs à gérer ce flux continu d'informations visuelles et textuelles. Ils appellent leur approche le Banzhaf Distillation Network. Pour comprendre pourquoi cela est nécessaire, imaginez un ordinateur essayant d'associer une phrase telle que « une famille assise dans un salon » avec une photo. Un ordinateur simple pourrait simplement chercher le mot « famille » et le mot « pièce » et voir s'ils apparaissent dans l'image. Mais la compréhension humaine est plus subtile ; elle repose sur la manière dont ces mots et ces parties visuelles fonctionnent ensemble en tant que groupe. Les chercheurs se sont rendu compte que les méthodes existantes traitaient souvent ces connexions de manière trop simpliste, en examinant les mots et les fragments d'image un par un, manquant ainsi les relations complexes entre eux. Lorsqu'un ordinateur apprend une nouvelle tâche, comme la reconnaissance de diagrammes médicaux, il oublie souvent comment gérer la tâche précédente, comme l'identification d'animaux. Cet « oubli » se produit parce que l'ordinateur ne parvient pas à préserver la compréhension structurelle profonde de la manière dont les images et les mots se rapportent les uns aux autres à travers différents types de données.

La solution de l'équipe s'inspire d'une branche des mathématiques appelée la théorie des jeux coopératifs, qui étudie comment des groupes de joueurs contribuent à un objectif commun. Dans leur cadre, les chercheurs traitent chaque petite partie d'une image et chaque mot d'une phrase comme des joueurs individuels dans un jeu. Ils posent une question spécifique : quelle est la contribution d'un mot spécifique et d'une partie spécifique d'une image à la signification globale lorsqu'ils sont associés, particulièrement lorsqu'ils sont entourés d'autres mots et parties d'images ? En calculant cette contribution, ils peuvent mesurer la véritable valeur de la connexion entre un détail visuel et une description textuelle. Cette méthode, appelée évaluation de Banzhaf, permet à l'ordinateur de voir non seulement des correspondances isolées, mais aussi le réseau complexe de relations qui donnent à une scène sa pleine signification. C'est une façon d'apprendre à la machine que le mot « assis » ne prend toute sa signification que lorsqu'il est vu dans le contexte des personnes et des meubles qui l'entourent.

Les chercheurs ont construit un système qui utilise cette idée de la théorie des jeux pour guider le processus d'apprentissage. À mesure que l'ordinateur rencontre de nouvelles données, il utilise un module spécial pour préserver la connaissance structurelle qu'il a déjà apprise. Au lieu de simplement mémoriser quels mots correspondent à quelles images, le système se souvient de la force des relations entre eux. Il y parvient en comparant la compréhension actuelle d'une scène avec ce qu'il savait auparavant, garantissant que les détails fins — la manière spécifique dont un « train » se rapporte à une « gare » ou un « bateau » à l'« eau » — ne soient pas perdus lors de l'arrivée de nouvelles informations. Le système utilise également une technique appelée apprentissage par incitation (prompt learning), où il ajoute de petits indices ajustables aux données pour aider l'ordinateur à s'adapter à de nouveaux types d'images ou de styles d'écriture sans avoir besoin d'être entièrement réentraîné. Cela permet à l'ordinateur de rester flexible, apprenant de nouvelles choses tout en gardant ses anciennes connaissances intactes.

Pour tester leur idée, les chercheurs ont mené des expériences sur plusieurs ensembles de données différents, allant de collections de photos et de légendes quotidiennes à des ensembles spécialisés d'images médicales et d'imagerie de télédétection. Ils ont comparé leur nouveau système aux autres méthodes de pointe utilisées pour ce type d'apprentissage continu. Les résultats ont montré que leur approche était nettement plus efficace pour se souvenir des tâches passées tout en apprenant de nouvelles tâches. Dans des scénarios où l'ordinateur devait apprendre une séquence de sujets différents, leur système maintenait un haut niveau de précision, alors que les autres méthodes avaient tendance à oublier les leçons précédentes. Par exemple, lorsqu'on lui demandait de récupérer des images basées sur des descriptions textuelles à travers plusieurs tâches, leur système classait systématiquement les images correctes plus haut que ses concurrents. L'étude suggère qu'en modélisant les interactions complexes au niveau du groupe entre les mots et les parties d'images, les ordinateurs peuvent apprendre de manière plus robuste et éviter le piège courant de l'oubli.

Les chercheurs reconnaissent que leur méthode n'est pas une solution parfaite pour toutes les situations. Dans les cas où la différence entre les anciennes et les nouvelles données est extrêmement grande, comme passer de photos d'objets du quotidien à des images scientifiques hautement spécialisées, le système fait toujours face à des défis. Ils ont également noté que leur approche actuelle nécessite que l'ordinateur conserve certains exemples de données anciennes en mémoire pour aider au processus d'apprentissage, ce qui pourrait ne pas être possible dans tous les contextes du monde réel. Malgré ces limites, ce travail offre une nouvelle perspective fascinante sur la façon dont les machines peuvent apprendre continuellement. En traitant la connexion entre une image et un texte comme un effort de coopération entre de nombreuses petites parties, les chercheurs ont fourni un moyen pour que les ordinateurs construisent une compréhension plus stable et plus nuancée du monde, une compréhension qui s'enrichit à chaque nouvelle pièce d'information qu'ils rencontrent.

Résumé technique : Recherche continue d'images et de textes via la distillation de Banzhaf du point de vue du jeu coalitonnelle

Énoncé du problème

La recherche continue d'images et de textes (CITR - Continual Image-Text Retrieval) vise à effectuer des tâches de recherche croisée de modalités à l'aide de données multimédias séquentielles plutôt qu'à partir d'un ensemble de données statique unique. Ce cadre introduit trois défis principaux :

Désordre spatial et multi-granularité : Les données cross-modales (images et textes) présentent une sémantique multi-granulaire et un désordre spatial. En l'absence d'étiquettes de catégories préalables, les indices de correspondance suivent des distributions spatiales différentes, provoquant une dégradation des performances des modèles pré-entraînés.
Structure hétérogène et hiérarchie de la connaissance : Les structures sémantiques des jetons (tokens) d'image et de texte diffèrent. Les sessions incrémentielles entraînent souvent un équilibre inapproprié entre les anciennes et les nouvelles connaissances, compromettant les relations hiérarchiques entre les jetons.
Aliasing de connaissance (Confusion de connaissance) : Lors de l'apprentissage incrémentiel, les indices de correspondance se déplacent (par exemple, changements de patchs d'image, de mots textuels ou d'échelle), ce qui conduit à un « aliasing de connaissance » où le modèle échoue à distinguer la connaissance cross-modale spécifique à une tâche de la connaissance générale.

Les méthodes existantes, telles que celles utilisant des méta-apprenants basés sur LSTM ou des encodeurs du grossier au fin (coarse-to-fine), souffrent souvent d'ignorance sémantique structurelle (incapacité à capturer des caractéristiques sémantiques globales au-delà de simples séquences) et d'aliasing de connaissance inter-tâches (dérive sévère des changements sémantiques ou d'échelle). De plus, bien que les Transformers aient montré du succès pour capturer la sémantique structurelle de haut niveau, la conception de configurations de jetons capables d'atténuer l'ignorance structurelle et le biais dans le CITR reste une question ouverte.

Méthodologie : Réseau de distillation de Banzhaf (BDNet)

Les auteurs proposent BDNet, un cadre qui modélise les paires de jetons image-texte comme des participants à un jeu coopératif afin de préserver la connaissance structurelle fine. L'idée centrale est que la valeur de Banzhaf issue de la théorie des jeux coalitonnels peut caractériser la sémantique multi-granulaire des paires image-texte en modélisant l'interaction des paires de jetons par rapport aux autres jetons.

1. Aperçu du cadre

BDNet se compose de trois composants principaux :

Encodeur Image-Texte avec Prompts (IETE) : Utilise des architectures ViT et BERT. Pour faciliter l'interaction fine, le modèle introduit des prompts d'image et de texte apprenables ( $P^k_I, P^k_T$ ) spécifiques à chaque tâche $k$ . Une stratégie de correspondance prompt-clé est employée pour sélectionner le prompt approprié en fonction du jeton de classe non-prompt de l'échantillon d'entrée, assurant ainsi l'adaptabilité à travers les différentes tâches.
Module de Apprentissage Contrastif et de Distillation (CLD) :
- Intra-tâche : Effectue un apprentissage contrastif ( $L_{CL}$ ) pour aligner les modalités image et texte au sein de la tâche actuelle.
- Inter-tâche : Effectue une distillation contrastive ( $L_{CD}$ ) pour maintenir l'invariance de la matrice de similitude image-texte à travers les tâches en utilisant des données de répétition (rehearsal), atténant ainsi l'oubli catastrophique.
Module de Distillation de Banzhaf (CBD) : L'innovation centrale du papier.
- Supervision de Banzhaf Intra-tâche : Un réseau d'Interaction de Banzhaf (BI) apprenable ( $\Psi$ ) évalue la valeur de Banzhaf $B(u, v)$ pour les paires de jetons $(u, v)$ . Cette valeur mesure la tendance d'une paire spécifique de jetons d'image et de texte à contribuer à l'alignement sémantique lors de l'interaction avec d'autres jetons. Le modèle est supervisé par un réseau BI pré-entraîné ( $\Psi^*$ ) pour hériter des connaissances préalables de ces interactions.
- Distillation de Banzhaf Inter-tâche : Pour prévenir l'oubli, le modèle minimise la divergence de Kullback-Leibler (KL) entre les intensités d'interaction (dérivées des valeurs de Banzhaf) de l'ancien modèle ( $\Theta_{k-1}$ ) et du nouveau modèle ( $\Theta_k$ ) sur les données de répétition. Cela préserve les relations cross-modales fines à travers les tâches.

2. Approximation de la Valeur de Banzhaf

Le calcul exact de la valeur de Banzhaf est coûteux en termes de calcul ( $O(2^N)$ ). Les auteurs conçoivent un réseau BI léger ( $\Psi$ ) composé de couches convolutionnelles et d'une couche d'auto-attention à tête unique pour approximer la valeur de Banzhaf. Pendant le pré-entraînement, les valeurs de Banzhaf "vérité de terrain" sont estimées à l'aide d'une approche de matrice de similitude triée avec une complexité réduite de $O(L_I L_T (\log L_I + \log L_T))$ , où $L_I$ et $L_T$ sont le nombre de jetons d'image et de texte.

3. Objectif d'Entraînement

La fonction de perte totale combine la correspondance de prompt, l'apprentissage contrastif, la distillation contrastive et la supervision/distillation de Banzhaf :
$L_{total} = L_{prompt} + L_{CL} + L_{CD} + \alpha L_{Banzhaf} + \beta L_{BD}$

Contributions Clés

Perspective du Jeu Coalitonnelle pour le CITR : Le papier introduit une perspective novatrice où les jetons d'image et de texte sont traités comme des joueurs dans un jeu coopératif. Il utilise la valeur de Banzhaf pour modéliser les relations d'ordre supérieur entre les jetons, capturant des sémantiques fines que les méthodes traditionnelles de similitude jeton par jeton manquent.
Réseau de Distillation de Banzhaf (BDNet) : Un cadre qui intègre la modélisation de l'interaction de Banzhaf avec un apprentissage de prompt sémantique dynamique et une distillation contrastive. Il préserve efficacement la connaissance structurelle cross-modale et atténue l'aliasing de connaissance lors des sessions incrémentielles.
Performance de l'État de l'Art : La méthode proposée atteint des performances supérieures dans les scénarios continus à ensemble unique et multi-ensembles par rapport aux bases existantes comme LWF, EWC, RATT et CLCMR.

Résultats Expérimentaux

Les auteurs ont évalué BDNet sur six scénarios utilisant des jeux de données incluant Pascal Sentence, Wikipedia, MS-COCO, Flickr30K, IAPR TC-12, ECommerce-T2I et RSICD.

Scénarios à Ensemble Unique : Sur Pascal Sentence (Scénario 1) et Wikipedia (Scénario 2), BDNet surpasse toutes les méthodes de base. Par exemple, dans le Scénario 1, il a atteint un mAP moyen de 0,8216, 0,8748 et 0,8410 à travers trois tâches, surpassant de manière significative la méthode suivante. Il présente également les meilleurs scores d'Exactitude Moyenne (ACC), d'Exactitude Incrémentielle Moyenne (AIA) et de Transfert Arrière (BWT).
Scénarios Multi-Ensembles : Dans les scénarios impliquant l'apprentissage entre jeux de données (Scénarios 3–5), BDNet a démontré une forte capacité de généralisation et de résistance à l'oubli, particulièrement dans les séquences de tâches longues.
Grand Écart de Domaine : Dans le Scénario 6 (combinant cinq jeux de données divers), BDNet a bien performé mais n'a pas atteint le premier rang dans tous les indicateurs. Les auteurs attribuent cela au grand écart de domaine, notant que la distillation de Banzhaf inter-tâche actuelle (qui maintient l'invariance de l'intensité d'interaction) peut ne pas être suffisante pour les indices de jetons dispersés de manière éparse dans des domaines hautement hétérogènes.
Études d'Ablation : Le retrait du module CBD ou du schéma d'apprentissage de prompt a entraîné des chutes de performance significatives, confirmant que la modélisation de Banzhaf fine et le prompting adaptatif sont critiques. Les visualisations des matrices de similitude des jetons ont montré que BDNet alloue correctement l'attention aux régions sémantiques clés (par exemple, "buildings" dans une scène de piste d'atterrissage) là où les modèles de base échouent.

Signification et Limites

Le papier affirme que BDNet traite efficacement l'ignorance sémantique structurelle et l'aliasing de connaissance inter-tâche dans le CITR en exploitant la théorie des jeux coalitonnels. En modélisant les interactions de jetons via les valeurs de Banzhaf, la méthode capture des sémantiques fines qui sont cruciales pour la recherche croisée de modalités séquentielle.

Limites reconnues par les auteurs :

Efficacité Computationnelle : Bien que le réseau BI approxime efficacement les valeurs de Banzhaf, une évaluation de haute efficacité reste une exigence. La sommation actuelle sur les sous-ensembles pourrait potentiellement être optimisée avec une attention parcimonieuse (sparse attention).
Dépendance à la Répétition (Rehearsal) : BDNet repose sur des données de répétition (tampons de mémoire) pour la distillation et ne peut pas être appliqué à des scénarios sans répétition.
Grands Écarts de Domaine : La méthode éprouve des difficultés dans les scénarios multi-ensembles avec de très grands écarts de domaine (ex: Scénario 6), suggérant un besoin de stratégies de distillation de connaissance fine plus sophistiquées ou de mécanismes de correction d'affinité dans les travaux futurs.

Ce travail est soutenu par la Fondation Nationale des Sciences Naturelles de Chine et la Fondation des Sciences Naturelles de Pékin. Le code est disponible sur le dépôt GitHub fourni.