Fine-Tuning Large Language Models for Codebook-Guided Coding of Students' Mathematics Metaphor Responses

Imaginez que vous êtes un détective tentant de résoudre un mystère, mais qu'au lieu de chercher des empreintes digitales, vous cherchez des indices dans la façon dont les gens parlent de leurs sentiments. Dans le monde de l'éducation, les chercheurs demandent souvent aux élèves d'écrire leurs pensées avec leurs propres mots — comme : « Si les mathématiques étaient un aliment, que seraient-elles ? » Ces réponses ouvertes sont des mines d'or pour comprendre ce que les enfants ressentent vis-à-vis de l'école, mais elles sont un cauchemar à lire une par une. Il faut beaucoup de temps à des experts humains pour lire des milliers de ces récits et les classer dans des catégories, comme « joyeux », « frustré » ou « confus ». C'est ici que l'Intelligence Artificielle (IA) entre en scène. Plus précisément, les Grands Modèles de Langage (LLM) sont comme des robots super intelligents capables de lire et de comprendre le langage humain. La grande question que les chercheurs se posent est la suivante : pouvons-nous apprendre à ces robots à agir comme des détectives humains experts ? Et si nous le faisons, pouvons-nous les faire fonctionner sur nos propres ordinateurs pour préserver le secret des élèves, plutôt que d'envoyer des données privées à de grandes entreprises technologiques ?

Cette étude plonge précisément dans cette question. Les chercheurs ont pris une collection de 2 265 réponses réelles d'élèves concernant des métaphores mathématiques et ont appris à deux modèles d'IA plus petits et en "open-source" à les coder exactement comme le ferait un expert humain. Ils ont utilisé une technique d'apprentissage spéciale appelée "fine-tuning" (ajustement fin), qui est comme donner au robot un cours intensif utilisant les clés de correction des experts humains. Les résultats ont été surprenants : après cet entraînement, les modèles d'IA plus petits et moins coûteux sont devenus si performants qu'ils battent souvent les modèles massifs, coûteux et "boîtes noires" que les entreprises vendent habituellement. L'étude suggère qu'avec le bon entraînement, nous pouvons disposer d'outils d'IA puissants, privés et précis, directement dans nos propres salles de classe pour aider à comprendre ce que les élèves ressentent pour les mathématiques, sans avoir besoin d'envoyer leurs données nulle part ailleurs.

Le dilemme du détective : Lire entre les lignes

Considérez la métaphore d'un élève comme un code secret. Lorsqu'un élève dit : « Les mathématiques sont comme un chien parce que c'est un ami fidèle », il ne parle pas seulement d'animaux de compagnie ; il nous dit qu'il se sent en sécurité et heureux avec les mathématiques. Mais s'il dit : « Les mathématiques sont comme un moustique parce qu'elles ne me laissent pas tranquille », il dit que les mathématiques sont agaçantes et inévitables. Ce sont des sentiments complexes enveloppés dans des mots simples.

Depuis des décennies, les chercheurs comptent sur des experts humains pour décoder ces messages. C'est un peu comme avoir une équipe de traducteurs essayant de traduire une bibliothèque de livres à la main. C'est lent, coûteux et difficile à intensifier. Si vous avez 100 élèves, un humain peut le faire. Si vous en avez 100 000, les humains se fatiguent et le processus s'arrête.

Entrez le Grand Modèle de Langage (LLM). Vous pouvez considérer un LLM comme un robot qui a lu presque tout sur Internet. Il est incroyablement doué pour deviner le mot suivant dans une phrase et pour comprendre le contexte. Mais, tout comme un élève brillant qui n'a pas suivi le cours spécifique que vous enseignez, un robot générique pourrait ne pas savoir exactement comment vous voulez qu'il trie ces métaphores. Il pourrait deviner « joyeux » quand vous vouliez « neutre », ou il pourrait manquer la nuance subtile entre « stimulant » et « menaçant ».

De plus, il y a un problème de confidentialité. La plupart des robots super puissants (comme ceux des grandes entreprises technologiques) vivent sur leurs serveurs. Pour les utiliser, vous devez leur envoyer les écrits privés de vos élèves. Pour les écoles, c'est comme remettre un journal intime rempli de secrets à un étranger. Les chercheurs voulaient savoir s'ils pouvaient construire un robot qui vit sur leur propre ordinateur, qui est entraîné spécifiquement pour la tâche, et qui garde les secrets en sécurité.

L'expérience : Apprendre les règles au robot

Les chercheurs ont organisé une course. D'un côté, il y avait les champions de la "Big Tech" : deux modèles propriétaires puissants (GPT-4o mini et GPT-5 mini) qui ont été utilisés "tels quels". On leur a donné un ensemble de règles (un codebook) et on leur a demandé de trier les métapres des élèves. Ils n'ont reçu aucun entraînement spécial ; ils devaient simplement comprendre à partir des instructions.

De l'autre côté, il y avait deux modèles à "poids ouverts" (DeepSeek-R1 1.5B et Mistral 7B). Ce sont des modèles plus petits, moins coûteux, que n'importe qui peut télécharger et exécuter sur ses propres serveurs. Les chercheurs ont pris ces modèles et leur ont donné un "cours intensif" en utilisant une technique de fine-tuning supervisé basée sur LoRA.

Imaginez que vous apprenez à un chien à rapporter une balle. La méthode "prompt-only" (par instruction seule) est comme dire au chien, encore et encore : « Va chercher la balle ! ». La méthode du "fine-tuning" est comme emmener le chien dans un camp d'entraînement où vous lui montrez exactement comment attraper la balle, la ramener et la déposer dans votre main, en utilisant un millier d'exemples d'une personne le faisant parfaitement. Les chercheurs ont nourri les modèles à poids ouverts avec 2 265 exemples de métaphores d'élèves qui avaient déjà été correctement triés par des experts humains. Les modèles ont appris à imiter les décisions des experts humains.

La tâche comportait deux parties :

1. Codage de la Valence-Intensité : Quelle est la force du sentiment ? Est-ce très négatif (1), neutre (3) ou très positif (5) ?
2. Codage Thématique : Quel est le récit ? Les mathématiques sont-elles un « outil », une « menace », un « voyage » ou une « corvée ennuyeuse » ?

Les résultats : La victoire des outsiders

Les résultats de la course ont été clairs et passionnants. Avant l'entraînement, les petits modèles à poids ouverts étaient médiocres dans leur tâche. Ils devinaient de manière aléatoire. Mais après le "cours intensif" (fine-tuning), ils se sont transformés.

Le bond de performance :
Les modèles affinés n'ont pas seulement un peu progressé ; ils ont beaucoup progressé.

• Pour les métaphores de la "nourriture", la précision du modèle DeepSeek est passée de 0,369 à 0,787.
• La précision du modèle Mistral sur les métaphores alimentaires est passée de 0,207 à 0,778.
• Sur les métaphores d' "animaux", le modèle Mistral est passé de 0,267 à 0,766.

Dans le monde de l'IA, ces chiffres sont énormes. Cela signifie que les robots entraînés étaient désormais en accord avec les experts humains presque aussi souvent que deux experts humains sont d'accord entre eux.

Battre les géants :
Voici le rebondissement : les petits modèles entraînés ont en fait battu les grands modèles coûteux et "prompt-only" dans de nombreuses catégories.

• Le modèle Mistral 7B affiné a surpassé GPT-4o mini et GPT-5 mini sur presque toutes les mesures pour les métaphores alimentaires et animales.
• La seule fois où les gros modèles ont gagné, c'est sur des thèmes très rares et spécifiques où les petits modèles éprouvaient encore quelques difficultés, mais même là, l'écart était faible.

Le test de la "Stabilité" :
L'un des plus grands problèmes de l'IA est que si vous posez la même question deux fois, elle peut donner deux réponses différentes. C'est mauvais pour la science. Les chercheurs ont testé cela en faisant passer les modèles trois fois.

• Le modèle DeepSeek non entraîné était très instable, avec un score de stabilité de seulement 0,592.
• Mais après l'entraînement, sa stabilité a grimpé en flèche pour atteindre 0,992.
• Le modèle Mistral affiné était parfait, avec un score de 1,000.
• Même les grands modèles commerciaux n'étaient pas aussi stables que les modèles ouverts entraînés (GPT-5 mini a obtenu un score de 0,644 pour la stabilité thématique).

Cela suggère que l'entraînement du modèle sur des exemples spécifiques le rend non seulement plus intelligent, mais aussi plus cohérent et fiable.

Ce que cela signifie pour l'avenir

L'étude suggère que nous n'avons pas besoin de compter sur des systèmes d'IA massifs, coûteux et risqués pour la confidentialité pour analyser les sentiments des élèves. En prenant de petits modèles ouverts et en les formant avec des exemples humains, nous pouvons créer des outils qui sont :

1. Précis : Ils correspondent aux experts humains.
2. Privés : Ils peuvent fonctionner sur le propre ordinateur d'une école, gardant les données des élèves en sécurité.
3. Évolutifs : Ils peuvent traiter des milliers de réponses en quelques secondes.

Cependant, les chercheurs prennent soin de noter que ce n'est pas une baguette magique pour tout. Les modèles ont encore un peu de mal avec des thèmes très rares (comme des vues sociétales spécifiques sur les mathématiques), ce qui suggère que si un sujet est très peu commun, le robot pourrait avoir besoin de plus d'exemples pour apprendre. De plus, l'étude n'a porté que sur des élèves de la 6ème à la 4ème (6th to 8th graders) parlant de nourriture et d'animaux, nous ne savons donc pas encore si cela fonctionne pour des lycéens parlant d'algèbre ou des étudiants universitaires parlant de calcul intégral.

Mais le message principal est porteur d'espoir : nous pouvons construire nos propres "robots détectives" qui sont intelligents, sûrs et prêts à aider les enseignants à comprendre les sentiments cachés dans les mots de leurs élèves. L'avenir de la mesure éducative ne se trouve peut-être pas dans le cloud, mais directement sur le serveur de l'école, entraîné par les experts mêmes qui connaissent le mieux les élèves.