Figurative and Cultural Knowledge in LLMs: Investigating Cross-Domain Transfer through Fine-Tuning
Cet article examine si l'ajustement fin sur des données culturelles améliore la compréhension du langage figuré dans les LLM, concluant que si l'entraînement sur la poésie améliore la compréhension des expressions idiomatiques de manière transférable, l'ajustement fin culturel dégrade souvent l'interprétation des proverbes et révèle une relation complexe et non linéaire entre l'immersion culturelle et l'acquisition du langage figuré qui ne peut être capturée de manière directe par le seul ajustement fin.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Le langage est bien plus qu'un ensemble de règles pour agencer les mots ; c'est une archive vivante de l'histoire, des valeurs et des expériences partagées d'une communauté. Cela est particulièrement vrai pour le langage figuré — les idiotismes, les proverbes et la poésie qui s'appuient sur le contexte culturel pour faire sens. Une expression comme « il pleut des chats et des chiens » ne signifie rien pour quelqu'un qui n'a jamais entendu l'expression, mais pour un locuteur natif, elle évoque instantanément une image spécifique de pluie forte. Pour l'intelligence artificielle, qui apprend en traitant de vastes quantités de textes, maîtriser ce type de langage constitue un obstacle majeur. Bien que les modèles d'IA modernes puissent lire et écrire avec fluidité, ils peinent souvent à comprendre les significations plus profondes et non littérales qui sont tissées dans la trame d'une culture. La question que les chercheurs posent depuis longtemps est de savoir si enseigner à une IA la vie quotidienne et les traditions d'une culture l'aiderait à comprendre ses métaphores, ou si apprendre à interpréter les métaphores l'aiderait à saisir les faits culturels.
Une équipe de chercheurs s'est donné pour mission de tester ce lien en utilisant l'arabe, une langue riche en divers dialectes et dotée d'une profonde tradition littéraire. Ils ont travaillé avec quatre modèles de langage de grande taille différents, qui sont les systèmes informatiques puissants qui pilotent de nombreuses applications d'IA modernes. Pour voir si la connaissance culturelle et la compréhension figurative sont liées, les chercheurs ont mené une série d'expériences contrôlées. Ils ont pris ces modèles et leur ont donné un entraînement supplémentaire, ou « ajustement fin » (fine-tuning), sur des types de données spécifiques. Dans un groupe, ils ont nourri les modèles de milliers d'exemples de connaissances culturelles, tels que des faits sur les coutumes sociales, les pratiques régionales et la vie quotidienne à travers le monde arabe. Dans un autre groupe, ils ont entraîné les modèles sur le langage figuré, en utilisant des ensembles de données remplis de proverbes, d'idiotismes et de poésie. Ils ont également inclus un groupe témoin entraîné sur la grammaire arabe générale pour s'assurer que tout changement était dû au contenu spécifique de l'entraînement et non simplement au fait d'apprendre davantage l'arabe.
Les résultats ont révélé un tableau complexe et quelque peu surprenant. Les chercheurs ont découvert que l'enseignement de la culture à un modèle ne le rendait pas automatiquement meilleur pour comprendre les idiotismes ou les proverbes. En fait, pour les modèles qui étaient déjà spécialisés dans l'arabe, l'entraînement sur des données culturelles a parfois dégradé leurs performances. Ces modèles, qui avaient probablement déjà absorbé une grande partie des connaissances culturelles lors de leur entraînement initial, semblaient confus lorsqu'ils étaient exposés à un ensemble plus étroit et organisé de faits culturels. Inversement, l'entraînement des modèles sur des données culturelles ne les a pas aidés à répondre à des questions générales sur des faits culturels. Les deux types de connaissances — les faits culturels et la signification figurative — ne semblaient pas se soutenir mutuellement de la manière dont les chercheurs l'espéraient.
Cependant, il y avait une exception claire qui s'est distinguée. Lorsque les chercheurs ont entraîné les modèles spécifiquement sur la poésie, les modèles sont devenus nettement meilleurs pour comprendre les idiotismes. Cette amélioration était mesurable et statistiquement fiable, un modèle spécifique montrant un bond notable de précision. Crucialement, ce gain ne s'est pas produit lorsque les modèles étaient entraînés sur du texte arabe général ou de la grammaire, ce qui suggère que l'amélioration provenait du contenu poétique lui-même, et non de la simple lecture de plus de mots arabes. La poésie, avec son recours à l'imagerie, au rythme et au sens non littéral, semble avoir enseigné aux modèles une compétence plus large : la capacité de reconnaître et d'interpréter un sens qui dépasse la définition littérale des mots. Cette compétence s'est transférée avec succès aux idiotismes, même si la poésie et les idiotismes sont des formes d'expression différentes.
L'étude a également souligné que les résultats dépendaient fortement du modèle utilisé. Les modèles qui ont été conçus spécifiquement pour la langue arabe partaient d'un niveau de base plus élevé et ont souvent régressé, ou ont moins bien performé, après avoir été soumis à un ajustement fin sur de nouvelles données. Cela suggère qu'ils avaient déjà appris autant que possible à partir des matériaux d'entraînement disponibles. En revanche, les modèles multilingues, qui sont entraînés sur de nombreuses langues, présentaient plus de marges de progression et se sont améliorés plus systématiquement lorsqu'ils étaient exposés à de nouvelles données. Lorsque les chercheurs ont examiné de près les erreurs, ils ont constaté que l'entraînement tendait à renforcer les connaissances sur les choses quotidiennes et expérientielles comme la nourriture, les jeux et les célébrations, tout en affaiblissant parfois la compréhension des faits historiques ou des détails politiques spécifiques.
En fin de compte, la recherche suggère que la relation entre la culture et le langage figuré n'est pas un simple interrupteur que l'on peut actionner en nourrissant une IA avec plus de données. Bien que les deux soient profondément connectés dans l'expérience humaine, enseigner l'un à une intelligence artificielle ne garantit pas qu'elle maîtera l'autre. Le seul pont fiable trouvé dans cette étude était celui de la poésie vers les idiotismes, indiquant que l'exposition au côté artistique et non littéral d'une langue peut aider un modèle à naviguer dans son paysage métaphorique. Pour l'instant, le chemin vers une intelligence artificielle véritablement consciente de la culture reste inégal, exigeant plus qu'un simple transfert de connaissances d'un domaine à un autre.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.