Les êtres humains diffusent constamment leur vie intérieure à travers de minuscules mouvements, presque invisibles. Une main qui s'agite, une tête qui s'incline d'une fraction de pouce, ou une jambe qui tremble selon un rythme subtil — ce sont des micro-actions. Contrairement aux grands gestes délibérés que nous utilisons pour dire bonjour ou pointer un panneau, ces petits mouvements se produisent avec peu de pensée consciente. Pourtant, ils révèlent de manière fiable des informations sur l'état émotionnel et la condition psychologique d'une personne. Pendant des décennies, les scientifiques ont tenté d'apprendre aux ordinateurs à voir ces signaux éphémères, les traitant comme un puzzle difficile en analyse vidéo. Le défi réside dans leur subtilité ; ils sont brefs, de faible amplitude et facilement confondables les uns avec les autres. Une inclinaison de la tête peut ressembler à un mouvement de rotation de la tête ; un toucher peut ressembler à une égratignure. Jusqu'à récemment, la meilleure façon de résoudre cela était de construire des programmes informatiques spécialisés entraînés sur des milliers d'exemples, un processus qui nécessitait de vastes quantités de données et de puissance de calcul.

Une équipe de chercheurs de l'Université de Wuhan a abordé ce problème avec une stratégie différente, qui repose sur des outils d'intelligence artificielle puissants déjà existants plutôt que de construire de nouveaux outils à partir de zéro. Lors d'une compétition récente axée sur la compréhension de ces micro-actions, ils ont décroché la première place sans entraîner leur système sur de nouvelles données. Au lieu d'enseigner à un ordinateur ce qu'est une micro-action, ils ont demandé à un modèle de langage sophistiqué de décrire ce qu'il voit et d'expliquer pourquoi il le voit. Leur succès révèle une vérité surprenante sur le fonctionnement de ces modèles : la meilleure façon d'amener un ordinateur à comprendre un mouvement subtil n'est pas de lui demander de deviner la réponse, mais de lui demander de décrire d'abord les détails, puis de laisser ces détails guider la conclusion finale.

L'équipe a participé à un défi appelé le « Micro-Action Analysis Grand Challenge », dont l'objectif était d'analyser des milliers de courts clips vidéo de personnes effectuant ces mouvements subtils. La tâche était divisée en plusieurs parties. Certaines parties exigeaient que l'ordinateur choisisse la bonne catégorie parmi une liste, comme décider si un mouvement était une interaction « tête-main » ou une interaction « jambe-main ». D'autres parties étaient plus ouvertes, demandant à l'ordinateur de décrire exactement quelles parties du corps bougeaient, comment elles bougeaient, et pourquoi une étiquette spécifique était le bon choix. Les règles de la compétition étaient strictes : les équipes ne pouvaient pas entraîner leurs modèles sur les données de la compétition, ni utiliser les bonnes réponses pour enseigner au système. Elles devaient utiliser les modèles tels quels, en les guidant uniquement par des instructions écrites.

L'équipe a réalisé qu'un seul modèle d'intelligence artificielle n'était pas l'outil adéquat pour chaque partie du travail. Certains modèles sont excellents pour faire des choix rapides et précis, comme choisir la bonne lettre dans une liste à choix multiples. D'autres sont meilleurs pour écrire des descriptions détaillées et fluides de ce qui se passe dans une scène. Les chercheurs ont construit un système qui agit comme un chef d'orchestre, dirigeant chaque question spécifique vers le modèle le mieux adapté pour y répondre. Lorsque la tâche consistait à identifier une catégorie ou à faire un jugement simple par oui ou par non, ils envoyaient la vidéo à un modèle connu pour ses fortes capacités de prise de décision. Lorsque la tâche consistait à écrire une description ou à expliquer le raisonnement derrière un choix, ils envoyaient la vidéo à un modèle connu pour sa capacité à générer un texte fluide et cohérent.

Cette division du travail a résolu un problème majeur. Souvent, un modèle qui est bon pour décrire une scène décrira avec assurance la mauvaise action parce qu'il se perd dans les détails. Inversement, un modèle qui est bon pour choisir une étiquette peut donner une explication très brève et peu utile. En séparant les tâches, l'équipe a veillé à ce que le modèle écrivant la description ne soit pas distrait par la pression de deviner l'étiquette finale. Cependant, ils sont allés plus loin. Ils ont découvert que même avec la meilleure description, le modèle pouvait encore commettre une erreur dans l'étiquette finale s'il n'était pas ancré dans les faits corrects. Pour corriger cela, ils ont introduit une méthode qu'ils ont appelée le raisonnement conditionné par la reconnaissance.

Dans cette approche, le système demande d'abord au modèle de prise de décision de prédire la catégorie correcte. Il prend ensuite cette prédiction et l'injecte directement dans l'instruction (le prompt) destinée au modèle descriptif. Le modèle descriptif est alors invité à rédiger son explication, mais il doit le faire en gardant à l'esprit cette catégorie prédite. C'est comme si le système disait : « Sur la base de ce que vous voyez, expliquez pourquoi ce mouvement est une inclinaison de la tête, et assurez-vous que votre description soutient cette conclusion. » Cette étape simple consistant à donner au modèle descriptif un indice sur la réponse a considérablement amélioré la précision du résultat final. Le modèle descriptif n'a pas seulement écrit une meilleure histoire ; il a écrit une histoire qui est factuellement cohérente avec l'étiquette correcte.

Les résultats de cette approche ont été frappants. Dans la compétition finale, le système de l'équipe a obtenu un score nettement supérieur à toutes les autres entrées, particulièrement dans les sections ouvertes où l'ordinateur devait décrire et raisonner sur les mouvements. Alors que d'autres équipes luttaient pour écrire des explications à la fois fluides et précises, ce système a réussi à produire des descriptions fidèles au contenu vidéo. Les chercheurs ont constaté que la raison principale des erreurs n'était pas que les modèles ne pouvaient pas voir le mouvement ou ne pouvaient pas bien écrire, mais qu'ils choisissaient parfois la mauvaise étiquette dès le début. Une fois l'étiquette correcte fournie comme point de départ, les modèles étaient capables de construire des explications parfaites.

Ce travail suggère que pour les tâches visuelles complexes impliquant le comportement humain subtil, l'avenir ne réside peut-être pas dans l'entraînement de nouveaux modèles massifs à partir de zéro. Au lieu de cela, la clé réside peut-être dans la manière dont nous organisons et dirigeons les outils puissants dont nous disposons déjà. En associant soigneusement le bon type d'intelligence artificielle au bon type de question, et en laissant les modèles vérifier le travail des uns et des autres, il est possible d'atteindre un niveau de compréhension qui rivalise avec les systèmes spécialisés. Les chercheurs ont démontré qu'un système entièrement construit à partir de modèles préexistants et figés pouvait surpasser ceux qui ont été entraînés spécifiquement pour la tâche, prouvant qu'une orchestration intelligente est tout aussi puissante qu'un entraînement intensif.

L'étude a également introduit une nouvelle façon de mesurer le succès qui évite les biais des juges automatisés. Souvent, les modèles de langage utilisés pour évaluer les réponses sont biaisés en faveur de la fluidité, récompensant une phrase bien écrite même si les faits sont erronés. Les chercheurs ont développé une méthode pour vérifier si l'explication mentionnait réellement la catégorie correcte, indépendamment de la beauté de la rédaction. Ce contrôle « sans juge » a confirmé que la méthode consistant à guider les modèles avec une étiquette prédite était le véritable moteur de leur succès. Cela a montré que le goulot d'étranglement dans la compréhension des micro-actions n'est pas la capacité de voir ou de parler, mais la capacité d'identifier correctement l'action en premier lieu.

En fin de compte, cette recherche offre une voie claire pour comprendre le comportement humain à travers la vidéo. Elle montre que nous n'avons pas besoin de réinventer la roue pour résoudre des problèmes difficiles. En comprenant les forces et les faiblesses des outils que nous possédons déjà, et en les disposant selon une séquence logique, nous pouvons débloquer des capacités qui étaient auparavant hors de portée. La capacité de lire avec précision les mouvements subtils et involontaires du corps humain a des implications profondes dans des domaines allant du dépistage de la santé mentale à l'interaction homme-machine. Les chercheurs ont démontré qu'avec la bonne approche, l'intelligence artificielle peut apprendre à voir l'invisible, non pas en devenant plus complexe, mais en devenant plus réfléchie.