Evaluating Large language models on Understanding Korean indirect Speech acts
Cette étude évalue la capacité de divers grands modèles de langage à comprendre les actes de langage indirects en coréen en construisant un ensemble de données spécialisé et en employant des évaluations tant automatisées qu'humaines, révélant que si les modèles propriétaires comme Claude3-Opus surpassent les alternatives open-source, aucun ne égale encore le niveau de compétence humain dans l'interprétation des intentions dépendantes du contexte.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous discutez avec un ami, et qu'il dit : « Il fait un froid de canard ici. » Si vous vous trouvez à côté d'un climatiseur en panne, il ne fait probablement que constater un fait. Mais si vous êtes assis dans un salon chaleureux avec les fenêtres fermées, il est probablement en train de suggérer : « S'il te plaît, ferme la fenêtre » ou « Augmente le chauffage. » Cet écart entre ce que les mots disent littéralement et ce qu'ils signifient réellement est la recette secrète de la conversation humaine. Dans le monde scientifique, on appelle cela la pragmatique : l'étude de la façon dont le contexte modifie le sens. Bien que les ordinateurs soient devenus incroyablement doués pour traduire des langues ou résoudre des problèmes mathématiques, ils peinent souvent avec cette compétence de « lire entre les lignes ». Ils pourraient prendre votre sous-entendu au pied de la lettre et simplement répondre : « Oui, la température est basse », passant totalement à côté du sujet. Cela importe car, à mesure que nous commençons à compter sur les assistants IA pour tout, de la planification de réunions au conseil, nous avons besoin qu'ils comprennent non seulement nos mots, mais aussi nos intentions.
Ce document est comme une histoire de détective où des chercheurs ont mis à l'épreuve un groupe de modèles d'Intelligence Artificielle (IA) pour voir s'ils pouvaient percer le code des indices indirects. Les scientifiques se sont concentrés sur le coréen, une langue où le contexte est roi, et ont construit un quiz spécial basé sur une théorie classique de l'utilisation du langage par les humains. Ils ont créé 240 scénarios où une même phrase pouvait signifier deux choses très différentes selon la situation. Par exemple, dire « La glace est mince » peut être un simple fait, ou cela peut être un avertissement pour que les enfants ne marchent pas sur un étang gelé. Les chercheurs voulaient voir si l'IA pouvait faire la différence entre une déclaration directe et une requête, une promesse ou une expression d'émotion indirecte.
Les résultats étaient un mélange de « pas mal » et de « encore un long chemin à parcourir ». Les chercheurs ont testé 12 modèles d'IA différents, allant de systèmes massifs et coûteux à des modèles plus petits et open-source. Le grand gagnant était un modèle appelé Claude3-Opus. Il a obtenu environ 71,94 % à un test à choix multiples et 65 % à un test plus ouvert où il devait expliquer son raisonnement. Bien que cela soit impressionnant, il est important de noter que même le meilleur modèle d'IA n'a pas battu les humains. Les participants humains de l'étude ont obtenu environ 77,64 %, prouvant que les humains restent les maîtres de la compréhension des nuances sociales.
L'étude a révélé que la plupart des modèles d'IA sont excellents pour prendre les choses au pied de la lettre, mais médiocres pour deviner le sens caché. Si une phrase était une requête directe, l'IA l'avait comprise la plupart du temps. Mais quand la requête était indirecte — comme dire « Il fait beau dehors » pour suggérer d'aller se promener plutôt que de simplement parler de la météo — la plupart des modèles trébuchaient. Ils avaient tendance à rester bloqués sur le sens littéral des mots. Curieusement, les modèles d'IA étaient étonnamment bons pour comprendre les compliments indirects ou les idiotismes (comme dire de quelqu'un qu'il est un « chef » parce qu'il a préparé un excellent repas), mais ils avaient le plus de mal avec les requêtes indirectes.
Les chercheurs ont également remarqué quelques comportements étranges dans la manière dont l'IA se comportait. Certains modèles plus petits, lorsqu'on leur demandait de répondre en coréen, répondaient accidentellement en anglais, comme s'ils étaient confus quant à leur interlocuteur. D'autres tentaient de forcer des réponses à choix multiples même lorsque la question demandait une explication libre, comme s'ils essayaient de manipuler un test qu'ils avaient déjà vu auparavant. Le document suggère que, bien que ces modèles d'IA soient puissants, ils manquent encore de la compréhension profonde et intuitive du contexte humain que possède même un adolescent. Ils sont comme des étudiants qui ont mémorisé le dictionnaire mais qui n'ont pas encore appris à avoir une véritable conversation. L'étude conclut que pour rendre l'IA réellement utile, nous devons lui apprendre à regarder au-delà de la surface des mots et à comprendre le monde complexe et rempli de contextes de l'intention humaine.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.