KorNAT: LLM Alignment Benchmark for Korean Social Values and Common Knowledge
Cet article présente KorNAT, le premier benchmark pour évaluer l'alignement des grands modèles de langage avec la Corée du Sud en évaluant leur compréhension des valeurs sociales propres à la nation via une enquête à grande échelle et leurs connaissances communes via des questions basées sur des manuels scolaires, révélant que les modèles actuels sont souvent en deçà des normes d'alignement requises.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde de l'intelligence artificielle en évolution rapide, les grands modèles de langage sont devenus des outils puissants capables d'écrire des histoires, de résoudre des problèmes et de répondre à des questions avec une fluidité qui semblait autrefois impossible. Ces systèmes sont entraînés sur de vastes quantités de textes provenant d'Internet, apprenant les schémas du langage et de la connaissance humaine. Cependant, un fossé important est apparu dans la manière dont ces modèles interagissent avec différentes cultures. Bien qu'ils excellent dans la compréhension de concepts généraux, ils peinent souvent à saisir les valeurs sociales spécifiques, le contexte historique et le savoir commun quotidien qui définissent la vie dans un pays particulier. Un modèle peut connaître les faits de la physique, qui sont universels, mais il peut ne pas comprendre les opinions nuancées d'une société concernant les lois locales, ou la manière spécifique dont une nation se souvient de son histoire. Pour qu'une intelligence artificielle soit véritablement utile et sûre dans un pays spécifique, elle doit s'aligner sur l'état d'esprit collectif et les connaissances de base de la population de ce pays.
Des chercheurs en Corée du Sud ont franchi une étape majeure pour résoudre ce problème en créant une nouvelle façon de mesurer à quel point ces esprits numériques comprennent le mode de vie coréen. Ils ont introduit un benchmark appelé KorNAT, qui agit comme un test complet pour l'intelligence artificielle, spécifiquement conçu pour voir si un modèle peut penser et ressentir comme un citoyen coréen. L'équipe a construit ce test autour de deux piliers principaux : les valeurs sociales et les connaissances communes. Les valeurs sociales font référence aux opinions partagées que les gens détiennent sur des questions sociétales importantes, comme savoir si certaines lois devraient être modifiées ou comment gérer les conflits sociaux. Les connaissances communes couvrent les faits de base et les repères culturels que la plupart des gens apprennent à l'école, de l'histoire et la littérature à la science et la géographie. En testant les modèles sur ces deux fronts, les chercheurs ont pu déterminer si une intelligence artificielle se contente de réciter des faits ou si elle comprend véritablement le tissu culturel de la nation.
Pour construire ce test, les chercheurs n'ont pas simplement demandé l'avis de quelques experts. Au lieu de cela, ils ont mené une enquête massive impliquant 6 174 participants coréens uniques. Ils ont posé à ces personnes réelles un large éventail de questions sur les enjeux sociaux actuels, recueillant un ensemble diversifié de réponses pour établir ce à quoi ressemble la réponse « correcte » pour le pays. Pour la partie des valeurs sociales du test, il n'y a pas de réponse unique correcte ; l'objectif est plutôt que l'intelligence artificielle corresponde à la distribution des opinions trouvées dans la population générale. Si la plupart des gens sont d'accord avec une affirmation, le modèle devrait l'être aussi. Pour la partie des connaissances communes, les questions ont été tirées des manuels scolaires et des supports éducatifs coréens standards, couvrant des sujets tels que l'histoire coréenne, les études sociales et les sciences. Ces questions ont des réponses définitives, similaires à un examen scolaire, pour tester si le modèle connaît les faits de base que tout Coréen instruit devrait connaître.
L'équipe a ensuite soumis sept des modèles d'intelligence artificielle les plus avancés au test. Les résultats ont révélé une division claire entre les modèles généralement capables et ceux qui sont véritablement alignés sur la culture coréenne. Bien que certains des meilleurs modèles mondiaux aient obtenu des résultats raisonnables, ils sont souvent restés en deçà de la norme établie par l'enquête. Un modèle, qui avait été spécifiquement entraîné sur une grande quantité de textes coréens, s'est distingué comme étant le plus aligné. Il a démontré une compréhension beaucoup plus profonde des valeurs sociales et des connaissances communes du pays, surpassant significativement les autres. Cela suggère que si l'intelligence générale est puissante, elle ne suffit pas à elle seule ; un modèle a besoin d'un entraînement culturel spécifique pour véritablement résonner auprès d'une population locale.
L'étude a également souligné que même les modèles les plus performants ont une marge de progression. Dans la section des valeurs sociales, seuls quelques modèles ont réussi à atteindre le niveau d'alignement que les chercheurs considéraient comme un score de référence. Dans la section des connaissances communes, les résultats étaient similaires, la plupart des modèles peinant à atteindre le seuil de connaissances de base attendu d'un adulte dans le pays. Les chercheurs ont noté que certains modèles hésitaient à répondre aux questions sur les valeurs sociales, peut-être parce qu'ils étaient programmés pour éviter de prendre parti sur des sujets controversés. Cette hésitation, bien qu'intentionnée, signifiait qu'ils ne parvenaient pas à refléter les opinions réelles des gens qu'ils étaient censés servir. Les conclusions suggèrent que pour qu'une intelligence artificielle soit déployée efficacement dans un pays spécifique, elle doit être soigneusement ajustée pour comprendre non seulement la langue, mais aussi les valeurs et les connaissances partagées de cette société.
Ce travail représente la première fois qu'un benchmark est créé pour mesurer l'alignement national de cette manière spécifique, allant au-delà de la simple traduction linguistique pour tester la compréhension culturelle. Le jeu de données, qui contient des milliers de questions soigneusement sélectionnées, a été examiné et approuvé par une organisation affiliée au gouvernement dédiée à garantir la qualité des données. En rendant ce test disponible, les chercheurs espèrent encourager le développement d'une intelligence artificielle qui soit plus inclusive et mieux adaptée aux besoins divers de différentes nations. L'objectif ultime est de garantir qu'à mesure que ces outils puissants font partie de la vie quotidienne, ils puissent assister les gens de manières qui semblent naturelles, respectueuses et ancrées dans la réalité de leur propre culture.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.