Evaluative Judgement in Teaching AI-based Translation: A Class-room Case Study of AI-Mediated Translation and Post-Editing
Cet article analyse une étude de cas en classe portant sur 23 étudiants en traduction pour démontrer comment la comparaison structurée de systèmes d'IA et de traduction automatique favorise le jugement évaluatif, révélant que les étudiants privilégient des facteurs tels que l'adéquation, la fluidité et l'effort de post-édition par rapport aux mesures automatiques lors de la sélection de sorties pour la post-édition.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez un cours de traduction comme un concours de cuisine. Au lieu de simplement demander aux étudiants de cuisiner un plat de toutes pièces, l'enseignant leur lance un défi spécial : goûter quatre plats pré-préparés différents, choisir le meilleur pour le terminer, et expliquer exactement pourquoi ils l'ont choisi.
Ce document est un rapport sur la manière dont 23 étudiants d'un cours de traduction universitaire ont relevé ce défi lorsque les « plats pré-préparés » ont été créés par une Intelligence Artificielle (IA).
Voici le déroulement des événements, en utilisant des analogies simples :
La mise en place : Le devoir de « dégustation »
Les étudiants ont reçu un texte court et spécialisé (comme un article Wikipédia sur les animaux ou la technologie). Ils devaient accomplir cinq tâches :
- Cuisiner de toutes pièces : Traduire le texte eux-mêmes d'abord (pour comprendre la recette).
- Commander une livraison : Demander à quatre « chefs » IA différents (deux chatbots avancés et deux moteurs de traduction standards) de traduire le même texte.
- Obtenir un score robotique : Faire passer les quatre traductions de l'IA par un programme informatique qui leur attribue une note basée sur la proximité avec les mots originaux (comme un correcteur orthographique sous stéroïdes).
- Goûter et juger : Lire attentivement les traductions pour voir si elles font réellement sens, si elles sonnent naturellement et si elles utilisent les bons termes techniques.
- Choisir un vainqueur : Choisir l'une des quatre versions de l'IA pour la « retravailler » (post-édition) afin d'en faire un article publiable. Crucialement, ils devaient rédiger un rapport expliquant pourquoi ils ont choisi cette version spécifique.
La grande surprise : Le score du robot n'est pas le juge final
La découverte la plus intéressante est que les étudiants n'ont pas fait aveuglément confiance aux scores des robots.
Considérez le score automatique comme un « concours de popularité » ou une « étiquette nutritionnelle ». Il vous indique combien d'ingrédients correspondent, mais il ne vous dit pas si la nourriture a bon goût ou si elle est comestible.
- Le résultat : Dans environ la moitié des cas, l'IA qui a obtenu le score robotique le plus élevé n'était pas celle que les étudiants ont choisie pour être retouchée.
- Pourquoi ? Les étudiants ont réalisé qu'une IA pouvait obtenir un score élevé simplement en réarrangeant les mots d'une manière qui semblait correcte pour un ordinateur, mais qui sonnait bizarrement pour un humain, ou en omettant un terme technique crucial.
Qu'est-ce que les étudiants ont recherché ?
Au lieu de simplement regarder le score, les étudiants ont agi comme des inspecteurs de contrôle qualité. Ils ont recherché :
- La « Saveur » (Naturellement) : Est-ce que cela ressemble à un texte écrit par une vraie personne, ou est-ce que cela ressemble à un robot essayant de paraître humain ?
- Les « Ingrédients » (Terminologie) : Ont-ils bien saisi les noms scientifiques des animaux ou les termes techniques ?
- La « Charge de travail » (Effort de post-édition) : Si on choisit cette version, quel travail sera nécessaire pour la corriger ? Parfois, une version semblait parfaite mais contenait des pièges cachés qui demanderaient des heures de travail pour être réparés.
- La « Structure » (Grammaire) : A-t-elle conservé les phrases dans un ordre logique, ou les a-t-elle bousculées ?
La leçon principale : Les étudiants sont devenus des « arbitres de qualité »
Le document soutient que le but de ce cours n'était pas de découvrir quelle IA est la « meilleure » au monde. Le but était d'apprendre aux étudiants à être des juges intelligents.
Avant cela, les étudiants auraient pu penser : « L'ordinateur dit que c'est parfait à 95 %, donc je vais juste l'utiliser. »
Après ce devoir, ils ont appris à dire : « L'ordinateur dit que c'est parfait à 95 %, mais il s'est trompé sur le terme médical et la structure de la phrase est maladroite. Je vais choisir celle qui a obtenu 85 % parce qu'elle est plus facile à corriger et qu'elle sonne plus naturelle. »
Ce qu'il faut retenir
L'étude montre que lorsque vous apprenez aux étudiants à comparer différents outils d'IA et que vous les forcez à justifier leurs choix, ils cessent d'être des utilisateurs passifs qui acceptent simplement ce que la machine leur donne. Au lieu de cela, ils deviennent des éditeurs critiques qui savent faire la différence entre une traduction qui semble bonne sur un écran d'ordinateur et une qui est réellement bonne pour un lecteur humain.
En bref : le document prouve qu'avec le bon type de devoirs, les étudiants apprennent à garder leur cerveau humain aux commandes, utilisant l'IA comme un outil utile plutôt que comme un patron.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.