Human-Centric Image Retrieval Using Scene Graphs with Person Layout and Nonverbal Social Cues
Cet article propose une méthode de recherche d'images centrée sur l'humain qui exploite les graphes de scènes pour encoder des configurations de personnes en 2,5D et des indices sociaux non verbaux — tels que le regard, l'orientation et les gestes — permettant ainsi la comparaison structurelle des interactions interpersonnelles au-delà des similitudes visuelles globales.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans les vastes bibliothèques numériques de notre époque, trouver une image spécifique ressemble souvent à la recherche d'une aiguille dans une botte de foin de pixels. Les systèmes informatiques traditionnels sont devenus très performants pour reconnaître les objets présents dans une photo ; ils peuvent vous dire qu'une image contient un chien, un arbre ou un groupe de personnes. Ils peuvent également faire correspondre des images en fonction de la couleur, de l'éclairage ou de l'ambiance générale d'une scène. Cependant, ces systèmes ont souvent du mal à comprendre l'histoire qui se joue entre les personnes de la photo. Un ordinateur pourrait voir deux images avec le même nombre de personnes et des arrière-plans similaires et supposer qu'elles sont identiques, même si dans l'une, les personnes se tournent le dos en silence, tandis que dans l'autre, elles se penchent l'une vers l'autre, établissant un contact visuel et partageant une conversation. La signification d'une scène humaine ne réside pas seulement dans la présence des individus, mais dans la manière dont ils sont disposés, la façon dont ils se regardent et les lignes invisibles d'attention qui les relient.
Des chercheurs de l'Université Inha en Corée du Sud ont développé une nouvelle façon d'apprendre aux ordinateurs à percevoir ces connexions sociales subtiles. Au lieu de simplement regarder l'image globale, leur méthode construit une carte structurelle des personnes au sein de la scène. Ils traitent chaque personne comme un point sur une carte et tracent des lignes entre elles pour représenter leur interaction. Ces lignes ne sont pas aléatoires ; elles sont basées sur des indices visuels réels tels que la direction du regard, l'orientation du corps, la position des bras et la proximité physique. En combinant ces détails avec une notion de profondeur — en déterminant qui se trouve devant qui — le système crée un schéma détaillé de la situation sociale. Cela permet à l'ordinateur de rechercher des images non seulement par leur apparence, mais aussi par la manière dont les personnes à l'intérieur interagissent entre elles.
L'approche de l'équipe commence par prendre une photo et identifier chaque personne présente. Pour chaque individu, le système localise son emplacement et estime la forme de son corps en utilisant des points clés tels que les épaules, les coudes et les genoux. Crucialement, le système ne s'arrête pas à une vue bidimensionnelle plane. Il utilise une technique pour estimer la distance de chaque personne par rapport à la caméra, créant ainsi un sentiment de profondeur qui aide à distinguer qui se trouve au premier plan et qui est à l'arrière-plan. Cette information de profondeur est vitale car deux personnes peuvent paraître proches sur l'écran alors qu'elles sont en réalité éloignées dans le monde réel, ou inversement. Une fois les positions cartographiées, le système analyse l'espace entre chaque paire de personnes pour déterminer la nature de leur connexion. Il vérifie si leurs têtes sont tournées l'une vers l'autre, si leurs corps sont alignés de manière à suggérer une conversation, ou si leurs gestes indiquent qu'ils tendent la main l'un vers l'autre.
Toutes ces informations sont tissées ensemble en une description unique et compacte de la scène. Cette description capture le nombre de personnes, leur disposition spatiale et la force des liens sociaux entre elles. Lorsqu'un utilisateur souhaite trouver une image similaire, le système compare cette description à une base de données massive de millions de photos. Il ne cherche pas simplement des images ayant les mêmes couleurs ou les mêmes arrière-plans. Au contraire, il cherche des scènes où les personnes sont disposées de manière similaire et où les lignes d'interaction invisibles correspondent à la requête. Par exemple, si un utilisateur recherche l'image de deux personnes ayant une conversation sérieuse, le système donnera la priorité aux images où deux personnes se font face avec une attention soutenue, même si l'arrière-plan est totalement différent de l'image de recherche. Il ignorera les images où des personnes se tiennent près les unes des autres mais regardent dans des directions opposées, même si l'éclairage et les couleurs sont identiques.
Les chercheurs ont testé leur méthode sur une base de données contenant 560 000 images et ont constaté que cette approche structurelle améliorait considérablement la qualité des résultats de recherche. Dans de nombreux cas, le système a réussi à récupérer des images qui étaient visuellement différentes mais partageaient la même dynamique sociale. Lorsqu'ils ont supprimé la partie concernant la connexion sociale de leur analyse, la capacité du système à distinguer les différents types d'interactions a chuté brutalement. Par exemple, lors d'un test impliquant 26 images de recherche, la suppression des indices sociaux a modifié le résultat principal dans 18 cas. Cela prouve que le système s'appuyait sur les détails subtils de l'interaction humaine — comme le regard et l'orientation du corps — pour prendre ses décisions, plutôt que de simplement faire correspondre l'apparence générale de la photo. La méthode a également montré des promesses dans l'analyse de vidéos, où elle pouvait identifier les moments où la dynamique de groupe changeait, comme lorsqu'une foule se réorganisait soudainement ou lorsqu'une conversation commençait, distinguant ces changements sociaux de simples changements visuels comme un changement d'éclairage ou d'angle de caméra.
Bien que le système soit puissant, les chercheurs précisent avec prudence ses limites. Il repose sur la capacité de l'ordinateur à détecter les personnes et à estimer leurs postures, ce qui peut être difficile dans des scènes bondées, par faible luminosité ou lorsque les personnes sont partiellement cachées. Le système ne sait pas ce que les gens disent ou pensent ; il interprète seulement les signaux physiques visibles dans l'image. Il voit un corps tourné vers une autre personne et en déduit une connexion, mais il ne peut confirmer l'intention derrière ce geste. Malgré ces limites, ce travail représente une étape importante dans la façon dont les machines comprennent les scènes centrées sur l'humain. En allant au-delà de la simple reconnaissance d'objets pour cartographier le réseau complexe de la communication non verbale, les chercheurs ont donné aux ordinateurs une nouvelle façon de voir le monde : non pas comme une collection d'objets, mais comme une série de relations. Cela permet une expérience de recherche plus intuitive et significative, où la réponse à une requête se trouve dans l'histoire que racontent les personnes, plutôt que dans les couleurs qu'elles portent.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.