Towards Generalizable Representations of Mathematical Strategies

1. Problématique et Contexte

Bien que les encodeurs pré-entraînés pour les textes mathématiques aient montré des progrès significatifs dans des tâches comme la classification de formules ou la recherche d'information, ils restent limités dans leur capacité à représenter et capturer les stratégies complètes des élèves pour résoudre des problèmes.

Les approches existantes souffrent de deux défauts majeurs :

• Étiquetage manuel : Nécessite un effort humain intensif, ne se généralise pas et manque d'évolutivité.
• Actions spécifiques à une plateforme : Les représentations apprises sont souvent liées à des actions générées par un système spécifique (ex: "DenominatorFactor" dans MATHia), ce qui limite la transférabilité entre différents environnements d'apprentissage.

L'objectif de cette recherche est de développer une méthode pour apprendre des représentations invariantes au problème (problem-invariant) de l'ensemble des chemins de résolution algébrique, permettant une analyse agnostique de la plateforme et généralisable à travers différents problèmes.

2. Méthodologie

Les auteurs proposent une approche en deux étapes pour générer des embeddings de séquences de solutions complètes :

A. Construction des Embeddings de Transition

Au lieu d'agréger directement les états mathématiques (les équations à chaque étape), l'approche se concentre sur les transitions entre les états.

1. Encodage des états : Des encodeurs pré-entraînés à haute capacité (MathBERT, MathBERT-mamut, etc.) sont utilisés pour encoder chaque état algébrique $s_t$ d'une solution en un vecteur $h_t$.
2. Calcul de la transition : L'embedding de transition $\delta_t$ est calculé comme la différence vectorielle entre deux états consécutifs : $\delta_t = h_t - h_{t-1}$.
   • Hypothèse : Cette méthode met l'accent sur la transformation algébrique (l'opération effectuée) plutôt que sur le contenu spécifique du problème, favorisant ainsi la généralisation.

B. Apprentissage de Représentations de Séquence (SimCSE)

Une fois les séquences de transitions obtenues, un modèle basé sur SimCSE (Simple Contrastive Learning of Sentence Embeddings) est utilisé pour apprendre une représentation vectorielle fixe de la séquence entière.

• Architecture : Un encodeur Transformer (avec des couches d'attention) prend en entrée la séquence de transitions.
• Objectif Contrastif : Le modèle est entraîné pour rapprocher les embeddings de séquences sémantiquement similaires (positives) et éloigner les séquences dissimilaires (négatives).
  • Les paires positives sont créées en appliquant des masques de dropout indépendants sur la même séquence.
  • Les paires négatives sont constituées d'autres séquences dans le mini-lot.
• Résultat : Un vecteur unique $z_S \in \mathbb{R}^k$ représentant la stratégie globale de résolution.

C. Données et Évaluation

• Source de données : Données issues d'un essai contrôlé randomisé (RCT) impliquant 4 092 élèves de 7e année utilisant la plateforme gamifiée « From Here To There! » (FH2T).
• Tâches d'évaluation (Probes) : Pour valider la capacité des embeddings à capturer les stratégies, trois tâches sont utilisées :
  1. Classification multi-étiquettes des types d'actions : Prédire quels types d'opérations (sur 75 possibles) sont présents dans la séquence.
  2. Prédiction de l'efficacité : Classifier la solution comme optimale, sous-optimale ou incomplète.
  3. Reconstruction de la séquence d'actions : Reconstruire l'ordre des actions à partir de l'embedding (tâche auto-régressive via LSTM).

D. Mesures de Créativité Dérivées

À partir des embeddings, trois métriques sont calculées pour quantifier la créativité mathématique :

1. Unicité de la stratégie : Distance de Mahalanobis par rapport à la distribution globale des stratégies (mesure de l'originalité).
2. Diversité de la stratégie : Moyenne de la dissimilarité cosinus entre les différentes tentatives d'un même élève (mesure de la fluidité et de l'exploration).
3. Conformité de la stratégie : Similarité cosinus avec la solution optimale la plus fréquente (mesure de l'alignement avec les stratégies efficaces).

3. Résultats Principaux

RQ1 : Généralisabilité (États vs Transitions)

• Les embeddings basés sur les états forment des clusters fortement liés à l'ID du problème spécifique, capturant trop de détails de surface.
• Les embeddings basés sur les transitions montrent une invariance au contenu spécifique du problème. Ils se regroupent principalement par type d'action mathématique (addition, multiplication, etc.), ce qui confirme leur capacité à capturer la structure de la stratégie plutôt que le problème lui-même.

RQ2 : Capacité de Représentation des Stratégies

• Le modèle utilisant MathBERT-mamut comme encodeur gelé, combiné à un encodeur SimCSE avec 1 couche Transformer et une dimension d'embedding de 768, a obtenu les meilleurs résultats.
• Ce modèle surpasse les méthodes de base (moyenne des embeddings) dans la prédiction du contenu des actions et la reconstruction de la séquence.
• Note : La prédiction de l'efficacité n'a pas toujours été améliorée par l'entraînement contrastif, suggérant un compromis entre la capture de l'ordre des actions et la métrique d'efficacité globale.

RQ3 : Lien avec les Résultats d'Apprentissage

Les mesures dérivées des embeddings sont fortement corrélées aux résultats d'apprentissage (à court et long terme) :

• Conformité : A le plus fort effet positif sur les scores de compréhension conceptuelle, procédurale et de flexibilité, ainsi que sur les scores aux tests d'État de 7e année. Cela suggère que converger vers une stratégie optimale commune est bénéfique.
• Unicité et Diversité : Montrent également des associations positives et significatives avec les résultats d'apprentissage. Cela indique que l'exploration de stratégies variées et non conventionnelles (pensée divergente) est également un prédicteur de réussite.
• Conclusion : Une résolution de problèmes efficace semble impliquer un équilibre entre pensée divergente (exploration) et pensée convergente (convergence vers l'optimal).

4. Contributions Clés

1. Approche Nouvelle : Introduction d'une méthode pour apprendre des représentations de chemins de résolution entiers, invariantes au problème et agnostiques de la plateforme, sans étiquetage manuel.
2. Architecture de Transition : Démonstration que l'utilisation de différences vectorielles entre états (transitions) est supérieure à l'agrégation d'états pour capturer la sémantique des stratégies algébriques.
3. Mesures Scalables de Créativité : Définition de proxies quantitatifs (unicité, diversité, conformité) basés sur la distance sémantique dans l'espace d'embedding, qui corrèlent avec la créativité mathématique et la pensée divergente.
4. Validation Empirique : Preuve que ces représentations prédisent non seulement des métriques de processus, mais aussi des résultats d'apprentissage à long terme (tests d'État).

5. Signification et Implications

Ce travail avance considérablement le domaine du Data Mining Éducatif (EDM) en offrant un outil scalable pour analyser le comportement de résolution de problèmes des élèves.

• Pour l'évaluation automatisée : Il permet d'évaluer la flexibilité stratégique et la créativité sans dépendre de codes manuels ou de systèmes spécifiques.
• Pour la pédagogie : Les mesures de diversité et d'unicité peuvent aider les éducateurs à identifier les élèves qui explorent trop peu (manque de créativité) ou trop (inefficacité), permettant des interventions ciblées pour favoriser la flexibilité mathématique.
• Pour la recherche : Cela ouvre la voie à l'analyse comparative des stratégies d'élèves à travers différents environnements d'apprentissage et différents problèmes, facilitant une compréhension plus profonde des mécanismes d'apprentissage en algèbre.

En résumé, l'article démontre que les embeddings de séquences basés sur les transitions, appris par contraste, constituent une représentation puissante et généralisable des stratégies mathématiques, capable de capturer à la fois l'efficacité procédurale et la créativité divergente des élèves.