LLMs as Cultural Archives: Cultural Commonsense Knowledge Graph Extraction

Résumé Technique : Les LLM comme archives culturelles : Extraction de graphes de connaissances du sens commun culturel

Énoncé du problème
Les grands modèles de langage (LLM) encodent de vastes quantités de connaissances culturelles issues de données à l'échelle du web, offrant une ressource potentielle pour modéliser le sens commun culturel à grande échelle. Cependant, cette connaissance reste largement implicite, non structurée et difficile à interpréter. Les approches computationnelles existantes du raisonnement sur le sens commun ont historiquement traité la culture comme étant neutre ou centrée sur l'Occident (par exemple, ATOMIC), tandis que les efforts récents pour construire des bases de connaissances culturelles reposent souvent sur des faits statiques et isolés provenant de sources telles que Wikipédia ou les réseaux sociaux. Ces approches ne parviennent pas à capturer la nature procédurale, séquentielle et contextuelle des pratiques culturelles, qui sont souvent définies par des chaînes d'actions ordonnées plutôt que par des affirmations atomiques. De plus, il existe un manque de représentations inférentielles structurées reflétant les normes et pratiques locales à travers différentes langues.

Méthodologie
Les auteurs proposent un cadre itératif basé sur le prompting pour construire un Graphe de Connaissances du Sens Commun Culturel (CCKG), traitant les LLM comme des « archives culturelles » pour extraire et structurer systématiquement les connaissances spécifiques à la culture.

1. Construction du cadre :

   • Définition du graphe : Le CCKG est un graphe orienté étiqueté $G = (V, E)$ où les nœuds représentent des actions et les arêtes représentent des relations étiquetées. Une assertion est un triplet $(A_i, R, A_j)$ interprété comme « si l'action $A_i$ se produit, alors l'action $A_j$ suit ».
   • Types de relations : Le cadre utilise cinq types de relations : $xNext$ (prochaine action de l'agent), $xEffect$ (effet sur l'agent), $xNeed$ (prérequis pour l'agent), $oNext$ (prochaine action des autres) et $oEffect$ (effet sur les autres).
   • Processus d'extraction (Algorithme 1) :
     • Génération initiale : Étant donné un sous-sujet, un pays et une langue, un LLM (GPT-4o) génère des assertions « si-alors » initiales basées sur des types de relations prédéfinis.
     • Expansion itérative : La base de connaissances est enrichie par deux mécanismes :
       • Expansion intermédiaire : Décomposition d'un lien direct $(A_i \to A_j)$ en une séquence d'étapes intermédiaires plus fines.
       • Expansion vers l'avant : Génération de nouvelles continuations à partir de l'action résultante $A_j$.
     • Élagage : Pour garantir l'efficacité et réduire la redondance, les actions générées sont comparées à des nœuds existants à l'aide de scores de similarité ; les doublons sont fusionnés et la liste d'expansion est plafonnée à six assertions par nœud.

2. Configuration expérimentale :

   • Portée : Le cadre a été appliqué à cinq pays (Chine, Indonésie, Japon, Angleterre, Égypte) couvrant 11 sujets de la vie quotidienne et 65 sous-sujets.
   • Langues : Les graphes de connaissances ont été générés à la fois en anglais et dans leurs langues respectives (chinois, indonésien, japonais, arabe).
   • Évaluation : Des annotateurs humains (locuteurs natifs) ont évalué les graphes générés selon trois dimensions : la Correction (actions et relations valides), la Pertinence Culturelle (spécificité à la culture cible) et la Cohérence du Chemin Logique (cohérence des chaînes inférentielles).
   • Tâches en aval : Le CCKG extrait a été utilisé pour augmenter de plus petits LLM pour trois tâches : Questions à Choix Multiples (MCQA), Complétion de Phrases et Génération d'Histoires. Les benchmarks incluent IndoCulture et ArabCulture.

Principales contributions

1. Cadre CCKG : L'introduction d'une méthode pour extraire des chaînes de connaissances inférentielles multilingues et spécifiques à la culture à partir des LLM, allant au-delà des faits statiques pour atteindre des structures de raisonnement procédurales à plusieurs étapes.
2. Analyse empirique de l'encodage culturel : Une évaluation systématique révélant que, bien que les langues maternelles capturent des détails culturels plus riches, l'anglais sert souvent de support plus cohérent et consistant pour représenter les graphes de connaissances culturelles au sein des LLM actuels.
3. Augmentation de la performance : Démonstration que l'augmentation des modèles plus petits ou de base avec le CCKG (via des assertions ou des chemins en contexte) améliore significativement leurs performances sur les tâches de raisonnement culturel et de génération d'histoires, particulièrement lorsqu'on utilise des assertions en langue maternelle pour des contextes culturels spécifiques.

Résultats

• Qualité du graphe : Dans les évaluations humaines, les CCKG générés en anglais ont systématiquement surpassé les versions en langue maternelle en termes de correction, de pertinence culturelle et de cohérence de chemin pour les cultures non anglophones (ex. chinois, indonésien, arabe). Cela suggère une asymétrie dans les LLM multilingues actuels où l'anglais agit comme un support de représentation plus stable pour le raisonnement culturel, probablement en raison d'un pré-entraînement plus riche.
• Tâches de raisonnement (MCQA) : L'intégration des connaissances du CCKG a amélioré la précision sur les benchmarks IndoCulture et ArabCulture. L'augmentation en langue maternelle a produit les gains les plus élevés (moyenne de +1,2 point), surpassant l'augmentation en anglais et les bases existantes comme Mango. Notamment, le prompting de type Chaîne de Pensée (CoT) a moins bien performé que la ligne de base, suggérant que le sens commun culturel repose davantage sur un contexte intuitif que sur une logique explicite étape par étape.
• Tâches de génération : Pour la complétion de phrases et la génération d'histoires, l'augmentation par CCKG (spécifiquement par les chemins) a amélioré les scores de similarité de phrase et de cohérence. Dans la génération d'histoires, l'incorporation de chemins CCKG a systématiquement augmenté les scores de Pertinence Culturelle (augmentation moyenne de +1,4 pour les modèles Llama), les améliorations les plus significatives étant observées dans la génération d'histoires en anglais, bien que la génération en langue maternelle ait également bénéficié de l'augmentation dans certains cas (ex. histoires indonésiennes avec Llama3.1-8B-IT).
• LLM-as-a-Judge : L'évaluation automatisée utilisant des LLM présentait une forte corrélation avec les jugements humains pour les histoires en langue maternelle, mais montrait une corrélation modérée à faible pour les histoires en anglais, particulièrement concernant la fluidité et la cohérence, probablement en raison des variations stylistiques et des nuances de traduction.

Signification et affirmations
L'article soutient que les LLM peuvent servir de « archives culturelles » viables pour extraire des connaissances inférentielles structurées, à condition que le processus d'extraction soit systématique. Les auteurs affirment que la connaissance culturelle structurée en chaînes est un substrat pratique pour développer des systèmes de traitement du langage naturel (NLP) ancrés culturellement.

L'étude met en lumière une limitation et une intuition critiques : malgré l'objectif de modéliser le raisonnement culturel local, les LLM actuels représentent le sens commun culturel le plus efficacement via l'anglais, même lorsque la culture cible est non anglophone. Cette découverte remet en question l'hypothie selon laquelle les sorties en langue maternelle sont intrinsèquement supérieures pour les tâches culturelles et suggère que l'anglais peut agir comme un « pivot » pour un raisonnement culturel cohérent dans les modèles actuels.

Les auteurs concluent que, bien que leur méthode soit prometteuse, elle constitue un prototype de recherche. Ils mettent en garde contre l'utilisation du contenu extrait comme un ensemble de données formel pour des systèmes de production sans traiter les risques potentiels, tels que le renforcement des stéréotypes, et soulignent la nécessité de travaux futurs pour étudier les biais et étendre le cadre à des niveaux culturels plus fins.