ML-Assisted Cognitive Characterization of Human Problem Solving Behaviors through Visuo-Spatial Game
Cette étude a utilisé un classifieur et un régresseur de type Forêt aléatoire basés sur un ensemble de données d'oculométrie provenant d'un jeu visuo-spatial pour catégoriser avec succès les joueurs en groupes comportementaux distincts, distinguant les résolveurs (experts et joueurs persistants) des non-résolveurs (essayeurs et abandonneurs) sur la base de leurs modèles de regard et de jeu.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète
L'esprit humain est un maître de la navigation, scannant constamment le monde pour trouver des modèles, résoudre des énigmes et atteindre des objectifs. Pendant des décennies, les scientifiques ont tenté de comprendre comment nous y parvenons en observant ce que nous faisons : les mouvements que nous effectuons, les choix que nous faisons et les stratégies que nous employons. Mais une partie significative de ce travail mental se déroule avant même que nous n'agissions. Cela se passe dans la façon dont nos yeux bougent, sautant d'un point à un autre, s'attardant sur des détails ou parcourant l'ensemble de l'image. Ces mouvements oculaires ne sont pas aléatoires ; ils sont une fenêtre directe sur notre processus de pensée. Lorsque nous regardons un problème, nos yeux révèlent si nous sommes confus, si nous avons trouvé une voie de passage ou si nous sommes coincés dans une boucle d'essais et d'erreurs. En étudiant ces habitudes visuelles, les chercheurs peuvent voir l'architecture invisible de la résolution de problèmes humaine, distinguant ceux qui sont sur le point de réaliser une percée de ceux qui errent simplement.
Une équipe de chercheurs de l'Institut indien de technologie de Kharagpur a décidé de mettre cette idée à l'épreuve en utilisant un puzzle classique et un outil moderne. Ils ont réuni un groupe d'adultes et leur ont demandé de résoudre un type spécifique de puzzle visuel connu sous le nom de jeu de disposition de 8 tuiles. Dans ce jeu, une image est décomposée en neuf blocs, avec un bloc retiré (plus précisément la tuile en bas à droite), laissant un vide. Le joueur doit faire glisser les tuiles de l'image dans l'espace vide pour reconstruire l'image originale. Cela semble simple, mais le chemin vers la solution est rarement direct. Les chercheurs ont équipé les participants d'un dispositif de suivi oculaire, une caméra qui enregistre exactement où une personne regarde et pendant combien de temps, capturant des milliers de points de données par seconde. Pendant que les joueurs déplaçaient les tuiles, la machine enregistrait leur regard, créant une carte détaillée de leur attention. L'objectif n'était pas seulement de voir qui résolvait le puzzle, mais de comprendre comment leurs yeux bougeaient différemment selon qu'ils réussissaient, combien de temps ils luttaient ou s'ils abandonnaient complètement.
Les chercheurs ont utilisé un programme informatique puissant, un type de modèle d'apprentissage automatique, pour analyser les données de suivi oculaire. Ils ne regardaient pas seulement le score final ; au contraire, ils regardaient l'histoire se dérouler mouvement par mouvement. Ils ont découvert que les yeux des joueurs racontaient une histoire claire bien avant que le puzzle ne soit terminé. L'ordinateur pouvait distinguer deux groupes principaux : ceux qui finissaient par résoudre le puzzle, qu'ils appelaient les « Résolveurs » (Solvers), et ceux qui ne le faisaient pas, qu'ils appelaient les « Non-résolveurs » (Non-solvers). La différence ne résidait pas dans le nombre de mouvements qu'ils effectuaient, mais dans le rythme et le motif de leur regard. Les Résolveurs présentaient un comportement visuel distinct que l'ordinateur pouvait identifier avec une grande précision, souvent dès les premiers mouvements du jeu. Cela suggérait que la façon dont une personne regarde un problème révèle sa stratégie presque immédiatement.
Mais l'histoire ne s'est pas arrêtée à ces deux groupes. Les chercheurs ont découvert qu'au sein des Résolveurs, il existait deux types de penseurs très différents. Le premier groupe, les « Experts », abordait le puzzle avec un regard constant et stratégique. Leur regard était concentré et efficace, se déplaçant avec détermination vers la solution. Le second groupe, les « Joueurs persistants », résolvait également le puzzle, mais leurs yeux racontaient une histoire différente. Ils étaient erratiques, sautant d'avant en arrière, revenant sur des zones, et montrant des signes de confusion avant de trouver enfin leur chemin. Ils résolvaient le problème, mais ils le faisaient en errant à travers les possibilités plutôt qu'en voyant clairement le chemin dès le départ. De même, les Non-résolveurs n'étaient pas tous identiques. Certains, les « Essayeurs » (Triers), passaient beaucoup de temps à essayer de résoudre le puzzle. Leurs yeux montraient un mélange d'effort et d'exploration ; ils cherchaient la réponse, testaient des idées, et parvenaient parfois même à s'approcher de la solution avant d'abandonner. L'autre groupe, les « Abandonneurs » (Quitters), montrait un manque d'engagement. Leurs schémas de regard indiquaient qu'ils n'avaient aucune intention réelle de trouver la solution ; ils n'exploraient pas, ils attendaient simplement la fin du jeu.
L'une des découvertes les plus frappantes fut la rapidité avec laquelle ces différences apparaissaient. Le modèle informatique pouvait prédire avec une grande certitude si un joueur allait réussir ou échouer après n'avoir observé qu'une infime fraction du jeu. Ce « point de selle » (saddle point), comme les chercheurs l'ont appelé, est le moment où le comportement d'un joueur se stabilise en un motif clair. Pour les Experts, cela se produisait presque instantanément. Pour les Essayeurs, cela prenait un peu plus de temps alors qu'ils exploraient le plateau, mais leur motif d'essai était tout de même distinct de celui des Abandonneurs, qui ne montraient aucun motif d'effort. L'étude a également examiné la capacité de l'ordinateur à prédire l'avenir du jeu. En observant les premiers mouvements oculaires, le modèle pouvait estimer combien de mouvements supplémentaires un joueur aurait besoin pour terminer ou combien de temps il continuerait à jouer avant d'abandonner. Les prédictions étaient les plus précises lorsque l'ordinateur était entraîné sur des types spécifiques de joueurs, apprenant le « langage » unique des Experts ou les difficultés spécifiques des Essayeurs.
Les chercheurs ont également examiné le bruit dans les données pour comprendre l'état mental des joueurs. Ils ont découvert que les Experts avaient un signal très propre et régulier dans leurs mouvements oculaires, suggérant un esprit calme et confiant. Les Joueurs persistants, cependant, avaient un signal beaucoup plus bruyant, avec des yeux sautant davantage, reflétant l'effort mental nécessaire pour comprendre les choses au fur et à mesure. Les Essayeurs montraient également ce motif bruyant et fluctuant, ce qui est logique car ils cherchaient activement une solution qu'ils ne parvenaient pas tout à fait à saisir. Les Abandonneurs, quant à eux, présentaient un autre type de stabilité, née du désengagement plutôt que de la concentration. Cette recherche suggère que la façon dont nous regardons un problème est un indicateur sensible de notre stratégie cognitive. Elle révèle si nous réfléchissons profondément, si nous sommes coincés dans une boucle ou si nous avons perdu tout intérêt.
Cette étude offre une nouvelle façon de comprendre l'intelligence humaine, non pas par ce que les gens disent faire, mais par ce que leurs yeux révèlent de leur pensée. Elle montre que la résolution de problèmes n'est pas une compétence unique, mais une collection de comportements différents, de la clarté stratégique de l'Expert à la recherche déterminée mais confuse des Essayeurs. La capacité de détecter ces motifs si tôt dans une tâche pourrait être précieuse pour les éducateurs ou les concepteurs qui souhaitent aider les gens à apprendre. Si un système peut reconnaître qu'un étudiant est un « Essayeur » sur le point de réaliser une intuition mais qui a besoin d'un petit coup de pouce, il pourrait fournir l'indice approprié au moment opportun pour l'aider à réussir. Inversement, il pourrait identifier quand quelqu'un a véritablement abandonné, permettant un type d'intervention différent. Ce travail confirme que nos yeux ne sont pas seulement des caméras passives ; ils sont des participants actifs de notre pensée, traçant le chemin vers une solution avant même que nos mains ne bougent.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.