CrossCult-KIBench: A Benchmark for Cross-Cultural Knowledge Insertion in MLLMs

Résumé Technique : CrossCult-KIBench et MCKI

Énoncé du Problème
Les modèles de langage multimodaux de grande taille (MLLM), principalement entraînés sur des données centrées sur l'anglais, génèrent fréquemment des réponses culturellement inadaptées ou inappropriées lorsqu'ils sont déployés dans des contextes culturels non anglophones. Bien que les méthodes d'adaptation existantes, telles que le réentraînement ou le fine-tuning conscients de la culture, puissent atténuer les désalignements larges, elles nécessitent d'importantes quantités de données spécifiques à une culture et échouent souvent lorsque ces preuves sont rares. À l'inverse, les techniques standard d'édition de connaissances se concentrent sur la correction d'erreurs factuelles ou la mise à jour d'associations centrées sur des entités, mais manquent de mécanismes pour insérer des concepts conditionnés à la culture manquants sans altérer le comportement du modèle dans d'autres contextes culturels. Ce fossé nécessite un mécanisme précis pour l'insertion de connaissances interculturelles : la capacité d'enrichir les MLLM avec des connaissances culturelles spécifiques pour des contextes ciblés tout en préservant leur comportement original dans les cultures non ciblées.

Méthodologie
Pour y répondre, les auteurs introduisent CrossCult-KIBench, une référence complète conçue pour évaluer à la fois l'efficacité de l'insertion de connaissances et ses effets secondaires involontaires sur les cultures non ciblées.

• Construction de la Référence : CrossCult-KIBench couvre 49 scénarios visuels culturellement pertinents répartis dans trois partitions linguistico-culturelles : l'anglais (contexte américain), le chinois (contexte chinois) et l'arabe (contexte de la région arabe). Les scénarios sont dérivés de l'Enquête sur les valeurs mondiales et catégorisés en trois groupes thématiques : Valeurs/Sentiments et Stéréotypes Sociaux, Valeurs Religieuses, et Valeurs/Normes Éthiques. L'ensemble de données comprend 9 800 cas ancrés dans des images, où chaque cas associe une entrée visuelle à des questions et des réponses de référence spécifiques à la partition. Crucialement, les réponses entre les partitions ne sont pas des traductions, mais des jugements culturels distincts pour la même situation visuelle.
• Paramètres d'Évaluation : La référence prend en charge deux modes d'évaluation :
  1. Insertion Unique : Insertion de connaissances pour une partition spécifique (chinois ou arabe) dans un modèle de base.
  2. Insertion Séquentielle : Insertion séquentielle de connaissances pour les trois partitions (anglais, chinois, arabe) dans la même instance de modèle pour tester la stabilité et la coexistence.
• Métriques : La performance est mesurée à l'aide de ROUGE-L pour le chevauchement textuel et d'un LLM-Juge (gpt-5.4-mini) pour la cohérence sémantique. Les métriques clés incluent la Fiabilité (succès de l'insertion cible), la Généralité (transfert vers des scénarios similaires) et la Localité (préservation du comportement dans les langues non ciblées et les scénarios sans rapport).
• Baseline Proposée (MCKI) : Les auteurs proposent l'Insertion de Connaissances Conditionnée par la Mémoire (MCKI) comme méthode de référence. MCKI stocke les échantillons d'insertion dans une mémoire externe. Pour une nouvelle requête, il utilise les propres représentations du MLLM figé pour générer une clé de routage. Un routeur léger compare la requête à la mémoire ; si une correspondance dépasse un seuil calibré, la connaissance culturelle correspondante est préfixée en tant qu'invite conditionnelle. Sinon, le modèle décode normalement en utilisant son état de base. Seul le routeur est entraîné, maintenant le MLLM de base figé.

Contributions Clés

1. Formalisation de la Tâche : L'article formalise la nouvelle tâche de l'insertion de connaissances interculturelles, la distinguant de l'adaptation culturelle générale ou de l'édition de connaissances factuelles.
2. CrossCult-KIBench : L'introduction d'une référence rigoureuse, ancrée dans des images, couvrant 49 scénarios et 9 800 cas multilingues, spécifiquement conçue pour mesurer le succès de l'insertion parallèlement à la préservation du comportement (localité).
3. Baseline MCKI : La proposition de MCKI, une approche basée sur la mémoire qui démontre la faisabilité d'une adaptation culturelle ciblée sans réentraînement complet, établissant une référence de performance pour les travaux futurs.

Résultats Expérimentaux
Des expériences étendues sur InternVL3.5-8B et Qwen3.5-9B révèlent des défis significatifs pour équilibrer l'adaptation culturelle et la préservation du comportement :

• Fine-tuning : Atteint une Fiabilité élevée mais dégrade sévèrement la Localité Inter-langue et Inter-scénario, indiquant que les mises à jour de paramètres écrasent les comportements culturels existants.
• Apprentissage en Contexte (IKE) : Préserve bien la localité mais montre une Fiabilité limitée, car son efficacité dépend fortement de la capacité du modèle de base à exploiter les démonstrations en contexte.
• Méthodes Basées sur la Récupération (SERAC, MSCKE) : Présentent des résultats mitigés ; bien qu'elles améliorent la Fiabilité, elles souffrent souvent de « confusion de récupération », où des requêtes sans rapport activent des chemins de remplacement, érodant la Localité.
• Performance de MCKI : MCKI démontre un équilibre supérieur sur les métriques. Il atteint une Fiabilité et une Généralité compétitives tout en maintenant des scores de Localité élevés, en particulier dans le cadre d'Insertion Unique. Dans les tâches d'Insertion Séquentielle, MCKI montre une meilleure rétention des insertions antérieures par rapport aux méthodes de mise à jour de paramètres, bien qu'il rencontre toujours des difficultés à transférer les connaissances insérées vers des exemples connexes (Généralité) après plusieurs mises à jour séquentielles.

Portée et Affirmations
L'article affirme que CrossCult-KIBench et MCKI établissent un cadre fondamental pour développer des MLLM plus adaptatifs culturellement et responsables. Les auteurs soulignent que les approches actuelles peinent à atteindre simultanément une adaptation culturelle efficace et une préservation du comportement, mettant en lumière une limitation critique des stratégies existantes d'édition et d'adaptation des connaissances. En fournissant un cadre d'évaluation structuré, ce travail souligne la nécessité de mécanismes précis capables d'enrichir les modèles avec des connaissances conditionnées à la culture manquantes sans compromettre leurs performances dans d'autres contextes. Les auteurs notent modestement que leur référence utilise des partitions linguistico-culturelles comme substituts pratiques pour les contextes culturels et ne prétend pas capturer toute la diversité interne des cultures, mais sert plutôt de terrain d'essai opérationnel pour les mécanismes d'insertion.