Leveraging Machine Learning Techniques to Investigate Media and Information Literacy Competence in Tackling Disinformation

Cette étude utilise des modèles d'apprentissage automatique sur un échantillon de 723 étudiants pour prédire leurs compétences en éducation aux médias et à l'information face à la désinformation, révélant que des modèles complexes et des facteurs tels que l'année d'étude et la formation antérieure permettent d'élaborer des interventions éducatives ciblées.

L'essentiel

🕵️‍♂️ Le Grand Jeu de Détective : Qui voit la vérité ?

Imaginez que nous vivons dans une immense bibliothèque où des millions de livres sont écrits chaque jour. Le problème ? Certains de ces livres sont de vraies histoires, d'autres sont des mensonges fabriqués pour nous tromper (c'est ce qu'on appelle la désinformation).

Dans cette étude, des chercheurs se sont demandé : « Qui, parmi les futurs professeurs et journalistes, est capable de distinguer le vrai du faux dans cette bibliothèque ? »

Pour répondre, ils n'ont pas juste posé des questions. Ils ont utilisé un super-outil mathématique (l'intelligence artificielle et le "Machine Learning") pour jouer au détective.

---

🎒 Les Ingrédients de la Recette

Les chercheurs ont interrogé 723 étudiants (des futurs profs et des futurs communicants) en Espagne. Ils ont regardé plusieurs choses pour comprendre qui était le meilleur détective :

• Le genre (Homme ou Femme ?).
• L'âge et l'année d'études (Est-ce qu'on devient plus malin en grandissant ?).
• La formation (Est-ce qu'ils ont déjà appris à repérer les mensonges ?).
• Leur attitude (Sont-ils responsables ?).

🤖 Le Robot qui Apprend (Le "Machine Learning")

Au lieu de dire "Je pense que les étudiants de 3ème année sont meilleurs", les chercheurs ont donné toutes ces données à un robot intelligent. Ce robot a essayé de deviner, grâce à des calculs complexes, quel étudiant était un bon détective et quel étudiant risquait de se faire avoir.

Ils ont testé plusieurs types de robots (des algorithmes) :

1. Les robots simples (comme un arbre de décision) : Ils prennent une décision rapide, un peu comme un enfant qui dit "Si c'est rouge, c'est dangereux".
2. Les robots complexes (comme une forêt entière d'arbres ou un cerveau de robot) : Ils regardent des milliers de détails à la fois.

🏆 Les Résultats Surprenants

Voici ce que le robot a découvert, avec des images pour mieux comprendre :

1. Le robot complexe gagne la partie 🧠
Les modèles simples (les robots "bêtes") ont fait des erreurs. En revanche, les modèles complexes (comme le "SVM" ou la "Forêt Aléatoire") ont été excellents.

• L'analogie : C'est comme essayer de résoudre un puzzle. Un enfant (modèle simple) regarde juste une pièce et devine. Un expert (modèle complexe) regarde comment toutes les pièces s'assemblent pour voir l'image complète. Pour détecter les mensonges, il faut être l'expert, pas l'enfant.

2. L'entraînement est la clé de voûte 🔑
La variable la plus importante pour prédire qui est un bon détective ? Avoir déjà suivi une formation sur les mensonges.

• L'analogie : C'est comme si vous appreniez à nager. Ceux qui ont déjà pris des cours de natation (formation) ne coulent pas, même dans une mer agitée (Internet). Ceux qui n'ont jamais appris risquent de se noyer dans les fausses informations.

3. L'année d'étude compte, mais pas autant que l'entraînement 📚
Les étudiants de dernière année sont un peu meilleurs, mais ce n'est pas magique. C'est surtout le fait d'avoir appris à faire la différence qui compte.

4. Chaque compétence demande un outil différent 🛠️
Pour prédire les connaissances (ce qu'ils savent), un outil simple suffit. Mais pour prédire leur comportement (ce qu'ils font) ou leur attitude (ce qu'ils ressentent), il faut des outils très sophistiqués capables de comprendre les nuances humaines.

💡 Pourquoi c'est important pour nous ?

Imaginez que vous êtes le directeur d'une école. Avant, vous disiez : « Tout le monde va à l'école, donc tout le monde va apprendre à se protéger des mensonges. »

Grâce à cette étude, vous pouvez maintenant dire : « Attendez ! Le robot nous dit que ceux qui n'ont pas eu de cours spécifiques sur les mensonges sont en danger. On doit leur donner un cours spécial, tout de suite ! »

C'est comme utiliser un GPS pour l'éducation. Au lieu de conduire au hasard, on sait exactement où sont les nids-de-poule (les fausses informations) et qui a besoin d'un pneu de rechange (une formation).

🚀 En résumé

Cette étude nous dit trois choses simples :

1. Les mensonges en ligne sont complexes, il faut des outils complexes (l'IA) pour les comprendre.
2. L'expérience ne suffit pas, il faut une formation spécifique pour devenir un expert anti-mensonges.
3. On peut prédire qui a besoin d'aide avant même qu'il ne se fasse piéger, en utilisant les données pour créer des cours sur mesure.

C'est une victoire pour l'éducation : on passe de "espérons que les élèves soient intelligents" à "utilisons la science pour les rendre intelligents". 🎓✨

Résumé technique

1. Problématique et Contexte

La propagation de la désinformation dans les environnements numériques constitue une menace majeure pour la démocratie et la cohésion sociale. Bien que la Littératie Médiatique et Informationnelle (LMI) soit reconnue comme une compétence clé pour y faire face, sa modélisation prédictive dans le contexte spécifique de la désinformation reste sous-exploitée.
L'étude vise à combler ce vide en développant des modèles d'apprentissage automatique (Machine Learning - ML) pour évaluer et prédire les compétences en LMI chez les étudiants, en particulier les futurs éducateurs et communicateurs. L'objectif est d'identifier les facteurs sociodémographiques et académiques qui influencent le plus la capacité des étudiants à critiquer et à contrer la désinformation, afin de concevoir des interventions éducatives ciblées.

2. Méthodologie

Design de l'étude et Participants

• Type d'étude : Quantitative, transversale.
• Échantillon : 723 étudiants universitaires issus de deux filières : Éducation (435) et Communication (288), situés dans le nord de l'Espagne.
• Variables indépendantes : Données sociodémographiques (sexe, âge, année d'étude, filière) et antécédents de formation en LMI/désinformation.
• Variables dépendantes : Trois dimensions de la LMI (Connaissances, Compétences/Comportements, Attitudes/Responsabilité).

Instrument de collecte

Un questionnaire ad hoc intitulé « Perception of Future Edu-Communicators on Disinformation » a été conçu. Il comprend 25 items sur une échelle de Likert de 4 points, structurés en trois dimensions théoriques plus une dimension de responsabilité. La validité de contenu a été établie par un jugement d'experts (Kendall's W significatif) et la fiabilité interne est bonne (Alpha de Cronbach global de 0,77).

Prétraitement des données

• Outils : SPSS v.25 et Python (bibliothèques scikit-learn et LightGBM).
• Traitement : Encodage One-Hot pour les variables catégorielles, normalisation des données.
• Structure finale : 723 échantillons avec 30 caractéristiques (features) numériques.
• Division des données : 80 % pour l'entraînement (avec validation croisée stratifiée) et 20 % pour le test.

Expérimentation ML

Trois tâches principales ont été définies :

1. Classification : Prédire la filière d'étude (Éducation vs Communication) pour identifier des schémas disciplinaires.
   • Algorithmes testés : SVM, Arbres de Décision (DT), Forêts Aléatoires (RF), LightGBM, K-NN.
   • Métrique principale : Score F1 (en raison du déséquilibre des classes).
2. Sélection de caractéristiques (Feature Selection) : Identifier les variables les plus prédictives.
   • Méthodes : SelectKBest (SKB), Sélection Forward (FFS), Élimination Récursive (RFE), Importance basée sur DT.
3. Régression : Estimer les scores des étudiants dans les quatre dimensions de la LMI (Connaissances, Compétences, Attitudes, Responsabilité).
   • Algorithmes testés : Régression Linéaire (LR), Régression Ridge (RR), DT Regressor, RF Regressor.
   • Métrique : Erreur Quadratique Moyenne Racine (RMSE).

3. Résultats Clés

Validation de l'instrument

L'analyse factorielle exploratoire a confirmé une structure à trois facteurs expliquant 66,86 % de la variance :

1. Connaissances sur la désinformation (Alpha = 0,77).
2. Compétences et comportements (Alpha = 0,79).
3. Attitudes d'engagement et de responsabilité (Alpha = 0,86).

Performance de Classification

• Le modèle SVM (Support Vector Machine) a obtenu les meilleures performances avec un Score F1 de 0,815 et une précision de 0,814 sur l'ensemble de test.
• Les modèles d'ensemble (LightGBM et RF) ont suivi de près (F1 ~0,79 et 0,74 respectivement), surpassant les approches simples comme l'arbre de décision unique (DT) ou le K-NN.
• Conclusion : Les modèles complexes capables de gérer des frontières de décision non linéaires sont nettement supérieurs pour cette tâche.

Sélection des Caractéristiques

• La méthode Forward Feature Selector (FFS) a fourni le meilleur compromis de généralisation (F1 = 0,756).
• Variables les plus critiques : La variable binaire indiquant si l'étudiant a reçu une formation sur la désinformation (Disinfo Training) a été sélectionnée par toutes les méthodes. Les items de connaissances (K1, K2, K3) et certaines attitudes (A3, R5) sont également apparus comme déterminants.
• L'année d'étude (Academic Year) a également montré une importance significative dans plusieurs méthodes.

Performance de Régression

Les modèles optimaux varient selon la dimension cible :

• Connaissances : Meilleure prédiction par Régression Linéaire (LR) (RMSE = 2,287), suggérant une relation linéaire simple avec les variables d'entrée.
• Compétences et Responsabilité : Meilleure prédiction par Forêts Aléatoires (RF) (RMSE ~1,83 et 2,06), indiquant des relations non linéaires complexes.
• Attitudes : Meilleure prédiction par Régression Ridge (RR) (RMSE = 1,598), grâce à la régularisation qui contrôle la complexité du modèle.

4. Contributions et Signification

Contributions Scientifiques

1. Innovation Méthodologique : C'est l'une des premières études à appliquer systématiquement une gamme d'algorithmes de ML (classification et régression) pour modéliser les compétences en LMI face à la désinformation, dépassant les analyses statistiques traditionnelles.
2. Preuve de Concept : Démonstration que des modèles complexes (SVM, RF, LightGBM) surpassent les approches linéaires ou simples pour capturer la nuance des compétences éducatives.
3. Identification de Facteurs : Mise en évidence du rôle central de la formation préalable et de l'année d'étude comme prédicteurs majeurs, validant l'importance d'un curriculum continu plutôt que ponctuel.

Implications Pratiques

• Interventions Éducatives Ciblées : Les résultats suggèrent que les programmes de formation doivent être personnalisés en fonction du profil de l'étudiant (année, filière, antécédents de formation).
• Stratégies Pédagogiques : L'importance des variables d'attitude et de responsabilité indique que l'éducation à la LMI doit intégrer une dimension éthique et civique, au-delà de la simple transmission de connaissances techniques.
• Outils de Diagnostic : Les modèles ML peuvent servir d'outils de diagnostic pour identifier rapidement les lacunes dans les compétences des futurs enseignants et communicateurs.

Limites

L'étude repose sur des données auto-déclarées (risque de biais de désirabilité sociale) et se limite à une région géographique spécifique et à deux filières, ce qui peut affecter la généralisabilité des résultats.

Conclusion

Cette recherche valide l'efficacité de l'apprentissage automatique pour analyser et prédire la littératie médiatique dans le contexte de la désinformation. Elle démontre que l'approche ML permet de révéler des interactions complexes entre les facteurs sociodémographiques et les compétences, offrant ainsi une base solide pour le développement de stratégies éducatives plus robustes et personnalisées.