Résumé technique : Simuler le comportement de recherche audiovisuelle humaine

Énoncé du problème

Localiser des cibles dans l'espace en utilisant des indices auditifs et visuels est un défi fondamental en interaction homme-machine (IHM), particulièrement dans les environnements ubiquitaires et immersifs (par exemple, trouver une voiture dans un parking ou un interlocuteur lors d'une réunion virtuelle). Les modèles computationnels actuels de recherche audiovisuelle souffrent de deux limitations primaires :

1. Isolement de la perception et de l'action : Les modèles existants traitent souvent la localisation sensorielle (par exemple, l'audition binaurale) et la prise de décision cognitive comme des processus séparés. Ils ne parviennent pas à capturer comment les humains coordonnent de manière adaptative le mouvement (rotation de la tête, locomotion) avec des stratégies sensorielles pour résoudre les ambiguïtés perceptuelles telles que le bruit, l'occlusion et la confusion avant-arrière.
2. Absence de contraintes de ressources : Les modèles traditionnels d'« observateur idéal » (par exemple, l'inférence bayésienne) supposent des stratégies de recherche optimales et exhaustives qui ignorent les coûts physiques (temps, effort, risque de collision) auxquels les humains sont confrontés. Ils ne tiennent pas compte des compromis que les individus établissent entre l'exactitude et le coût de la collecte d'informations.

L'article soutient qu'un modèle computationnel est nécessaire pour unifier l'inférence sensorielle avec une prise de décision rationnelle vis-à-vis des ressources sous observabilité partielle afin de prédire le comportement, le temps de recherche, l'effort et les modes d'erreur de l'utilisateur.

Méthodologie

Le modèle Sensonaut

Les auteurs introduisent Sensonaut, un modèle computationnel de recherche audiovisuelle incarnée. L'hypothèse centrale est que les individus déploient leur corps et leurs systèmes sensoriels pour améliorer efficacement leurs chances de localiser une cible, en arbitrant entre le temps et l'effort sous des contraintes perceptuelles.

1. Cadre formel (POMDP) :
La tâche est formalisée comme un processus de décision markovien partiellement observable (POMDP) :

• État ($S$) : Emplacement caché de la cible (coordonnées polaires), position/cap de l'agent, et configuration de la scène (distracteurs/occlueurs).
• Actions ($A$) : Actions incarnées discrètes : tourner_à_gauche, tourner_à_droite, avancer, rester_immobile, et s'engager.
• Observations ($O$) : L'agent ne perçoit pas directement les données sensorielles brutes mais opère sur une distribution de croyance postérieure ($b_t$) sur les emplacements potentiels de la cible. Cette croyance est mise à jour étape par étape en fonction d'indices auditifs et visuels bruités.
• Récompense ($R$) : Définie comme l'Utilité ($U$) moins le Coût ($C$).
  • Utilité : Récompense positive pour l'identification correcte de la cible dans une tolérance donnée ; pénalité pour les erreurs.
  • Coût : Pénalités pour l'effort physique (rotations de la tête, locomotion), le temps (attente) et les collisions.
• Objectif : Apprendre une politique ($\pi$) qui maximise l'utilité nette attendue : $\pi^* = \arg\max_\pi E[\sum \gamma^t (U(b_t, a_t) - C(a_t))]$.

2. Perception multisensorielle et mise à jour de la croyance :
Le modèle maintient une distribution de croyance sur une grille polaire égocentrée ($R \times \Theta$).

• Vraisemblance auditive : Basée sur les différences de temps interaurales (ITD). Modélisée comme une distribution gaussienne sur les angles d'azimut, indépendante de la distance. Elle fournit une preuve omnidirectionnelle même lorsque la cible est occultée.
• Vraisemblance visuelle : Fournit une preuve de haute précision, dépendante de la vue. Elle prend en compte l'occlusion (seul l'objet le plus proche sur une ligne de visée est visible) et la similitude de caractéristiques. La preuve visuelle est accumulée au fil du temps via une moyenne mobile exponentielle pour gérer la rotation de la tête.
• Mise à jour de la croyance : La croyance postérieure est mise à jour en combinant la croyance a priori avec la vraisemblance conjointe des indices auditifs et visuels dans l'espace logarithmique. Un mécanisme de mise à jour « fuyant » permet au modèle de maintenir des hypothèses multimodales (en considérant les distracteurs) jusqu'à ce que les preuves deviennent décisives.

3. Apprentissage de la politique :
Puisque la résolution analytique du POMDP est intraitable, les auteurs utilisent l'apprentissage par renforcement (RL) avec l'optimisation de politique proximale (PPO). L'agent apprend une politique rationnelle vis-à-vis des ressources par essais et erreurs, équilibrant le gain d'information par rapport aux coûts physiques des actions.

Collecte de données

Pour valider le modèle, les auteurs ont mené une étude en réalité virtuelle (VR) avec 12 participants.

• Tâche : Les participants cherchaient une voiture de couleur spécifique émettant un son de bip dans un parking virtuel.
• Variables :
  • Angle : Direction initiale de la cible (Devant, Côté, Derrière).
  • Complexité : Nombre d'objets (5, 7, 12 voitures).
  • Distracteurs : Nombre de distracteurs visuels (0, 2, 4 voitures de la couleur cible).
• Métriques : Temps de recherche, rotation cumulée de la tête, déplacement (distance de marche) et précision de la localisation.
• Protocole : Les participants marchaient et tournaient physiquement dans une grande pièce tout en portant un Meta Quest 3. Ils s'engageaient sur un emplacement en appuyant sur un bouton, après quoi ils estimaient la position de la cible.

Résultats clés

1. Alignement comportemental

Sensonaut a réussi à reproduire les schémas systématiques clés du comportement de recherche humain sur 270 cartes de test :

• Temps de recherche : Les humains et le modèle ont tous deux mis plus de temps à trouver des cibles situées derrière eux ou en présence de plus de distracteurs.
• Rotations de la tête : Les deux ont augmenté significativement la rotation de la tête lorsque les cibles étaient derrière eux ou en présence de distracteurs. Le modèle a capturé la corrélation ($R^2 = 0,58$) entre les rotations de tête humaines et celles du modèle, bien que le modèle utilise des pas fixes de 30° alors que les humains tournent de manière continue.
• Précision : Les deux ont maintenu une précision élevée (~95 %), avec de légères baisses dans les conditions difficiles (angles côté/arrière, nombre élevé de distracteurs). Le modèle explique 35 % de la variance de la précision humaine.
• Déplacement : Le modèle a généralement minimisé la marche de manière plus agressive que les humains ($R^2 = 0,06$), reflétant sa fonction de coût explicite. Les humains présentaient une plus grande variabilité dans les distances de marche.

2. Stratégies émergentes

Le modèle a présenté trois stratégies caractéristiques de type humain, dictées par la rationalité des ressources :

• Engagement précoce : Lorsque les preuves initiales étaient fortes, les humains comme le modèle s'engageaient immédiatement sans mouvement.
• Rotations de tête pour l'utilité : Lorsque les preuves initiales étaient ambiguës (par exemple, confusion avant-arrière), les deux utilisaient des rotations de tête à faible coût pour recueillir des informations et affiner la distribution de croyance avant de s'engager.
• Locomotion pour la désambiguïsation : Lorsque les rotations de tête étaient insuffisantes (par exemple, cibles occultées ou alignement de distracteurs), les deux se déplaçaient vers de nouvelles positions pour résoudre l'ambiguïté via la parallaxe de mouvement ou les changements d'occlusion.

3. Reproduction des erreurs

Le modèle a reproduit avec succès des modes d'erreur humains spécifiques :

• Erreurs dues à l'occlusion : Les humains comme le modèle ont fréquemment sélectionné un distracteur visible lorsque la véritable cible était occultée, menant à une fausse certitude.
• Confusion Proximité/Profondeur : Les deux ont été induits en erreur par des distracteurs qui étaient plus proches ou plus éloignés mais alignés dans l'angle visuel, sélectionnant le mauvais objet en raison de pics de la distribution postérieure non résolus.
• Note : Le modèle n'a pas reproduit les « confusions avant-arrière » où les humains s'engageaient prématurément sur un objet devant eux alors que la cible était derrière ; le modèle effectue systématiquement des rotations de tête pour résoudre cette ambiguïté.

Signification et revendications

L'article affirme que Sensonaut fournit un compte rendu rationnel vis-à-vis des ressources de la recherche audiovisuelle incarnée. Sa signification réside dans :

1. Unification de la perception et de l'action : Il comble le fossé entre les modèles perceptifs de bas niveau et les architectures cognitives de haut niveau en intégrant l'intégration des indices avec les coûts d'action incarnés au sein d'un cadre POMDP unique.
2. Capacité prédictive : Il prédit non seulement les taux de réussite, mais aussi le temps, l'effort et les modes d'erreur spécifiques associés aux tâches de recherche sous diverses complexités.
3. Utilité de conception : Le modèle sert d'outil de simulation pour concevoir des interfaces audiovisuelles (par exemple, en XR, systèmes d'assistance) qui minimisent les coûts de recherche et la charge cognitive. Il permet aux concepteurs de tester comment les configurations spatiales, les distracteurs et les indices de guidage affectent le comportement de l'utilisateur avant le déploiement.
4. Validation de la rationalité des ressources : Les résultats soutiennent l'hypothèse selon laquelle le comportement de recherche humain n'est pas simplement une réaction à un stimulus sensoriel, mais une optimisation stratégique du gain d'information par rapport aux coûts physiques et temporels.

Les auteurs concluent que, bien que le modèle ne corresponde pas parfaitement à la variabilité humaine de la locomotion (en raison de pas d'action grossiers et d'hypothèses de visibilité binaires), il capture les dynamiques stratégiques essentielles de la recherche incarnée, offrant une base fondée sur des principes pour la conception basée sur la simulation en IHM.