Semantic Variability of Replies Across LLMs: Implications for Designing Conversation-Based Assessment
Cette étude démontre que le choix du LLM et du contexte conversationnel impacte significativement la cohérence sémantique des réponses générées, suggérant que les stratégies de prompting actuelles sont insuffisantes pour garantir des réponses stables et comparables entre différents modèles dans le cadre d'évaluations basées sur la conversation.
Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde moderne de l'éducation, mesurer la capacité des individus à communiquer et à travailler ensemble est un problème persistant depuis longtemps. Contrairement à un test de mathématiques où un chiffre unique prouve qu'un élève connaît la réponse, des compétences telles que la collaboration se produisent dans le flux désordonné et continu de la conversation. Pour mesurer cela équitablement, les éducateurs doivent s'assurer que chaque élève est confronté à un défi similaire, même si la conversation prend un chemin différent. Récemment, l'intelligence artificielle a offert une nouvelle façon de résoudre ce problème. En utilisant des programmes informatiques capables de parler et d'écouter, les écoles peuvent créer des partenaires virtuels avec lesquels les élèves peuvent s'exercer. Ces programmes peuvent s'adapter à ce que dit l'élève, créant une conversation naturelle qui révèle la qualité de sa réflexion et de son travail. Cependant, une inquiétude sourde grandit parmi les experts : si le programme informatique change, la conversation change-t-elle aussi ? Si un élève passe un test aujourd'hui avec une version du logiciel et qu'un autre élève le passe l'année prochaine avec une version plus récente, répondront-ils aux mêmes questions de la même manière ? Cette question touche au cœur même de l'équité. Si les réponses de l'ordinateur varient radicalement selon le modèle qui l'exécute, le test pourrait cesser de mesurer la capacité de l'élève pour commencer à mesurer les caprices du logiciel.
Un chercheur de l'Educational Testing Service s'est donné pour mission d'étudier précisément ce problème. Il voulait savoir si la signification de la réponse d'un ordinateur reste la même lorsque le logiciel sous-jacent change. Pour le découvrir, il n'a pas inventé de fausses conversations. Au lieu de cela, il a pris de vrais messages provenant de projets scientifiques en ligne passés où deux personnes travaillaient ensemble pour résoudre des problèmes. Il a sélectionné 61 moments spécifiques de ces discussions où une personne avait dit quelque chose d'important, et l'autre personne avait donné une réponse claire et utile. Le chercheur a ensuite demandé à quatre versions différentes d'un grand modèle de langage — un type d'intelligence artificielle conçu pour comprendre et générer le langage humain — de répondre à ces mêmes 61 messages. Il a mené cette expérience deux fois pour chaque message. Lors de la première exécution, l'ordinateur ne voyait que le message unique auquel il devait répondre. Lors de la seconde, il voyait ce message plus l'intégralité de l'historique de la conversation précédente. Pour chaque message, chaque modèle informatique a généré 100 réponses différentes pour voir à quel point les réponses variaient.
Les résultats ont montré que le choix du modèle informatique et le contexte conversationnel affectent tous deux la similitude des réponses. Lorsque le chercheur a comparé les 100 réponses générées par un seul modèle, il a constaté que les réponses étaient assez similaires entre elles, avec des scores de similitude allant de 0,715 à 0,795. Mais lorsqu'il a comparé les réponses d'un modèle par rapport aux réponses d'un autre modèle, la similitude a chuté de manière significative. C'était comme si chaque modèle possédait sa propre voix et sa propre façon de penser. L'effet de l'ajout de l'historique de la conversation dépendait du modèle spécifique utilisé ; dans certains cas, l'inclusion de l'historique de discussion améliorait légèrement l'alignement des réponses avec les réponses humaines, mais cela ne faisait pas en sorte que les modèles soient plus d'accord entre eux dans tous les cas. L'étude a également révélé que les modèles plus récents d'une même famille de logiciels avaient tendance à produire des réponses plus similaires entre elles qu'avec les modèles plus anciens et différents. Cela suggère que l'« arbre généalogique » du logiciel joue un rôle important dans la façon dont il se comporte aux côtés des instructions spécifiques qui lui sont données.
Peut-être plus important encore, le chercheur a découvert que s'appuyer uniquement sur le "prompting" (l'instruction) et le contexte conversationnel ne suffit peut-être pas à garantir un comportement de réponse hautement similaire lorsque le LLM sous-jacent change. Même lorsque les modèles recevaient exactement la même instruction et le même historique de conversation, le choix du modèle entraînait des différences significatives dans le contenu sémantique des réponses. L'étude suggère que compter sur la flexibilité naturelle de ces systèmes d'intelligence artificielle est risqué pour les tests à enjeux élevés. Si un test repose sur la capacité de l'ordinateur à maintenir la conversation sur les rails, et que l'ordinateur change de style à chaque mise à jour, les résultats des tests pourraient devenir peu fiables. Le chercheur a conclu que pour construire un système de test équitable et durable, on ne peut pas simplement compter sur le fait que le logiciel fasse ce qu'il doit faire de lui-même. Au lieu de cela, il faut construire des couches de contrôle supplémentaires dans le système — comme des règles ou des modèles — qui garantissent que les réponses de l'ordinateur restent dans une plage sûre et cohérente, quelle que soit la version du logiciel qui fonctionne en dessous. Sans ces garde-fous, l'évolution rapide de l'intelligence artificielle pourrait compromettre l'équité même que l'évaluation éducative est censée protéger.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.