💻 computer science

Human-Centric Image Retrieval Using Scene Graphs with Person Layout and Nonverbal Social Cues

Dit artikel stelt een mensgerichte beeldzoekmethode voor die gebruikmaakt van scènengrafieken om 2,5D-persoon-lay-outs en nonverbale sociale signalen — zoals blikrichting, oriëntatie en gebaren — te coderen, waardoor een structurele vergelijking van interpersoonlijke interacties mogelijk wordt die verder gaat dan globale visuele gelijkenissen.

Oorspronkelijke auteurs: Yeon-Jae Lee, Jong-Hyun Kim

Gepubliceerd 2026-10-05

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yeon-Jae Lee, Jong-Hyun Kim

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de uitgestrekte digitale bibliotheken van onze tijd voelt het vinden van een specifieke afbeelding vaak als het zoeken naar een speld in een hooiberg van pixels. Traditionele computersystemen zijn behoorlijk goed geworden in het herkennen van welke objecten aanwezig zijn in een foto; ze kunnen je vertellen dat een afbeelding een hond, een boom of een groep mensen bevat. Ze kunnen ook afbeeldingen matchen op basis van kleur, lichtinval of de algemene stemming van een scène. Deze systemen worstelen echter vaak met het begrijpen van het verhaal dat zich tussen de mensen in de foto afspeelt. Een computer kan twee afbeeldingen zien met hetzelfde aantal mensen en vergelijkbare achtergronden en ervan uitgaan dat ze hetzelfde zijn, zelfs als de mensen in de ene afbeelding van elkaar wegkijken in stilte, terwijl ze in de andere naar elkaar toe leunen, oogcontact maken en een gesprek delen. De betekenis van een menselijke scène zit niet alleen in wie er is, maar ook in hoe zij zijn opgesteld, hoe ze naar elkaar kijken en de onzichtbare lijnen van aandacht die hen met elkaar verbinden.

Onderzoekers aan de Inha Universiteit in Zuid-Korea hebben een nieuwe manier ontwikkeld om computers te leren deze subtiele sociale verbindingen te zien. In plaats van alleen naar de algehele afbeelding te kijken, bouwt hun methode een structurele kaart van de mensen binnen de scène. Ze behandelen elke persoon als een punt op een kaart en trekken lijnen tussen hen om te representeren hoe ze met elkaar interageren. Deze lijnen zijn niet willekeurig; ze zijn gebaseerd op echte visuele aanwijzingen zoals waar iemand naar kijkt, hoe iemands lichaam gedraaid is, de positie van de armen en hoe dicht mensen bij elkaar staan. Door deze details te combineren met een gevoel van diepte—het bepalen van wie voor wie staat—creëert het systeem een gedetailleerd blauwdruk van de sociale situatie. Dit stelt de computer in staat om naar afbeeldingen te zoeken, niet alleen op basis van hoe ze eruitzien, maar ook op basis van hoe de mensen in de afbeelding met elkaar in relatie staan.

De aanpak van het team begint met het nemen van een foto en het identificeren van elke persoon in deze. Voor elke persoon bepaalt het systeem de locatie en schat het de lichaamsvorm in met behulp van sleutelpunten zoals de schouders, ellebogen en knieën. Cruciaal is dat het systeem niet stopt bij een plat, tweedimensionaal beeld. Het gebruikt een techniek om te schatten hoe ver elke persoon van de camera verwijderd is, wat een gevoel van diepte creëert dat helpt te onderscheiden wie zich op de voorgrond en wie op de achtergrond bevindt. Deze diepte-informatie is essentieel omdat twee mensen op het scherm dicht bij elkaar kunnen lijken, maar in de werkelijkheid eigenlijk ver van elkaar verwijderd kunnen staan, of andersom. Zodra de posities zijn in kaart gebracht, analyseert het systeem de ruimte tussen elk paar mensen om de aard van hun verbinding te bepalen. Het controleert of hun hoofden naar elkaar gedraaid zijn, of hun lichamen zo zijn uitgelijnd dat dit op een gesprek duidt, of hun gebaren aangeven dat ze naar elkaar reiken.

Al deze informatie wordt samengevoegd in één compacte beschrijving van de scène. Deze beschrijving legt het aantal mensen vast, hun lay-out in de ruimte en de kracht van de sociale banden tussen hen. Wanneer een gebruiker een vergelijkbare afbeelding wil vinden, vergelijkt het systeem deze beschrijving met een enorme database van miljoenen foto's. Het zoekt niet simpelweg naar afbeeldingen met dezelfde kleuren of achtergronden. In plaats daarvan zoekt het naar scènes waar de mensen op een vergelijkbare manier zijn gerangschikt en waar de onzichtbare lijnen van interactie overeenkomen met de zoekopdracht. Als een gebruied bijvoorbeeld zoekt naar een afbeelding van twee mensen die een serieus gesprek voeren, zal het systeem prioriteit geven aan afbeeldingen waar twee mensen tegenover elkaar zitten met een gefocuste aandacht, zelfs als de achtergrond totaal anders is dan de zoekafbeelding. Het zal afbeeldingen negeren waar mensen weliswaar dicht bij elkaar staan maar in tegengestelde richtingen kijken, zelfs als de belichting en kleuren identiek zijn.

Het team heeft hun methode getest op een database met 560.000 afbeeldingen en ontdekte dat deze structurele aanpak de kwaliteit van de zoekresultaten aanzienlijk verbeterde. In veel gevallen haalde het systeem succesvol afbeeldingen op die er visueel verschillend uitzagen, maar dezelfde sociale dynamiek deelden. Wanneer zij het onderdeel van de sociale verbinding uit hun analyse verwijderden, daalde het vermogen van het systeem om verschillende soorten interacties te onderscheiden drastisch. Bijvoorbeeld, in een test met 26 verschillende zoekafbeeldingen zorgde het verwijderen van de sociale aanwijzingen ervoor dat het topresultaat in 18 gevallen veranderde. Dit bewijst dat het systeem vertrouwde op de subtiele details van menselijke interactie—zoals blikrichting en lichaamshouding—om zijn beslissingen te nemen, in plaats van alleen de algemene verschijning van de foto te matchen. De methode toonde ook veelbelovende resultaten bij het analyseren van video, waarbij het momenten kon identificeren waarop de groepsdynamiek verschoof, zoals wanneer een menigte plotseling reorganiseerde of wanneer een gesprek begon, waardoor deze sociale veranderingen werden onderscheiden van eenvoudige visuele verschuivingen zoals een verandering in belichting of een camerahoek.

Hoewel het systeem krachtig is, merken de onderzoekers voorzichtig op wat de grenzen ervan zijn. Het is afhankelijk van het vermogen van de computer om mensen te detecteren en hun houding in te schatten, wat moeilijk kan zijn in drukke scènes, bij weinig licht of wanneer mensen gedeeltelijk verborgen zijn. Het systeem weet niet wat de mensen zeggen of wat ze denken; het interpreteert alleen de zichtbare fysieke signalen in de afbeelding. Het ziet een lichaam dat naar een ander persoon gedraaid is en concludeert een verbinding, maar het kan de intentie achter dat gebaar niet bevestigen. Ondanks deze beperkingen vormt dit werk een belangrijke stap voorwaarts in hoe machines mensgerichte scènes begrijpen. Door verder te gaan dan eenvoudige objectherkenning om de complexe web van nonverbale communicatie in kaart te brengen, hebben de onderzoekers computers een nieuwe manier gegeven om de wereld te zien: niet alleen als een verzameling objecten, maar als een reeks relaties. Dit maakt een meer intuïtieve en betekenisvolle zoekervaring mogelijk, waarbij het antwoord op een zoekopdracht wordt gevonden in het verhaal dat de mensen vertellen, in plaats van alleen in de kleuren die ze dragen.

Technische Samenvatting: Mensgerichte Beeldextractie met Gebruik van Scenegrafieken met Persoonlijke Lay-out en Nonverbale Sociale Cues

Probleemstelling

Bestaande methoden voor beeldextractie vertrouwen voornamelijk op globale visuele kenmerken (bijv. kleur, textuur, achtergrond) of semantische informatie op objectniveau. Hoewel deze effectief zijn voor algemene scènegelijkenis, hebben ze moeite met het vastleggen van de ruimtelijke ordening en interactiestructuren die cruciaal zijn voor mensgerichte scènes. Specifiek falen standaardmethoden in het onderscheiden van afbeeldingen die vergelijkbare achtergronden of objectaantallen delen, maar significant verschillen in nonverbale sociale cues, zoals interpersoonlijke afstand, kijkrichting, lichaamshouding en gebaren. Bijvoorbeeld: twee mensen die dicht bij elkaar staan, interageren mogelijk niet als ze de tegenovergestelde richting op kijken, terwijl mensen die verder uit elkaar staan wel in gesprek kunnen zijn als hun oriëntaties overeenkomen. Het kernprobleem dat wordt geadresseerd is hoe afbeeldingen kunnen worden opgehaald op basis van de structurele gelijkenis van mensgerichte scènes—specifiek de lay-out en de nonverbale relationele structuren—in plaats van louter de globale visuele verschijning.

Methodologie

Het voorgestelde framework modelleert een mensgerichte scène als een Scenegrafiek waarbij mensen knopen (nodes) zijn en nonverbale sociale cues de randen (edges) vormen. Het extractieproces omvat vier hoofdfasen:

1. Persoonsdetectie en Knopenconstructie

Het systeem detecteert mensen en schat lichaamskeypoints in (COCO 17-keypoint formaat) vanuit een invoerafbeelding. Elke persoon $p_i$ wordt gerepresenteerd als een knoop $v_i$ bevattende:

2D-positie: Een referentiepunt op het beeldvlak (met prioriteit voor enkels, dan heupen, dan het middelpunt van de bounding box op basis van detectiebetrouwbaarheid).
2.5D-positie: Een relatieve, dieptebewuste positie berekend met behulp van monoculaire diepteschatting.
Attributen: Persoonsgrootte, gemiddelde keypoint-betrouwbaarheid, pose-embedding en een in-scène belangsscore.
Pose-embedding: Gegenereerd door een zelfgesuperviseerd getrainde PoseGCN-encoder, die keypointstructuren omzet in een 64-dimensionale featurevector.

2. 2.5D Lay-out Schatting

Om de beperkingen van uitsluitend 2D-lay-outs aan te pakken, gebruikt de methode monoculaire diepteschatting (met behulp van Depth Anything V2) om een representatieve dieptewaarde voor elke persoon te berekenen (mediaan diepte binnen de bounding box). Deze diepte wordt genormaliseerd en gecombineerd met beeldcoördinaten om een 2.5D-positie ( $x^{2.5D}$ ) te creëren. Deze representatie legt de relatieve voor-achter-relaties vast zonder dat volledige 3D-reconstructie nodig is, waardoor het systeem onderscheid kan maken tussen mensen die in 2D dicht bij elkaar lijken te staan, maar zich op verschillende dieptes bevinden.

3. Constructie van Nonverbale Sociale Relationele Randen

Voor elk paar mensen wordt een relationele rand $e_{ij}$ geconstrueerd op basis van zes nonverbale cues:

Blik/Hoofdrichting: De mate waarin hoofden naar elkaar gericht zijn.
Lichaamsoriëntatie: Uitlijning van schouder/heupvectoren.
Armgebaren: Richting van polsen/ellebogen ten opzichte van de andere persoon.
Nabijheid: 2.5D Euclidische afstand.
Diepterelatie: Relatieve voor-achter verschil.
Belang: Een gewogen combinatie van persoonsgrootte, centraliteit en betrouwbaarheid.
Deze cues worden genormaliseerd en gecombineerd in een gewogen relationele sterktescore.

4. Extractie en Scoring

Het systeem gebruikt een tweetraps extractiestrategie:

Candidate Shortlisting: De scenegrafiek wordt samengevat in een vastlengte descriptor (380 dimensies) die statistieken bevat over het aantal personen, knoopattributen, lay-outverdelingen en randsterktes. Cosinusgelijkenis op deze descriptors filtert de database snel tot de top- $M$ kandidaten.
Structuurbehoudende Matching: Voor de geselecteerde kandidaten voert het systeem Hongaarse matching uit om optimale knoopcorrespondenties tussen de query en de kandidaat-grafieken te vinden.
Definitieve Scoreberekening: De definitieve extractiescore $S(I_q, I_c)$ $S (I_{q}, I_{c})$ combineert:
- Descriptor Gelijkenis ( $S_{desc}$ ): Globale grafiekgelijkenis.
- Lay-out Gelijkenis ( $S_{lay}$ ): Absolute positie en relatieve afstandstructuur van gematchte knopen.
- Social-Relation Gelijkenis ( $S_{soc}$ ): Vergelijking van relationele randkenmerken voor gematchte paren, met de focus op "kern"-randen met hoge sterkte om ruis van achtergrondfiguren te vermijden.
- Persoonsaantal Consistentie ( $C_{cnt}$ ): Een strafterm die de score verlaagt als het aantal mensen in de query en de kandidaat significant verschilt.

De methode wordt ook uitgebreid naar videoanalyse via Social Peak detectie, waarbij tijdstippen worden geïdentificeerd waarop de frame-gewijze sociale relationele structuur een significante reorganisatie ondergaat, wat verschilt van eenvoudige beweging of visuele veranderingen.

Belangrijkste Bijdragen

Scenegrafiek-representatie: Een nieuwe methode voor mensgerichte extractie die zowel de menselijke lay-out als nonverbale sociale cues (blik, oriëntatie, gebaren) gezamenlijk representeert als een gestructureerde grafiek, waarmee verder wordt gegaan dan globale visuele embeddings.
2.5D Persoonlijke Lay-out: De integratie van monoculaire diepteschatting om een relatieve 2.5D-lay-out te creëren, wat het systeem in staat stelt om voor-achter-relaties en dieptebewuste nabijheid te accounten, wat 2D-lay-outs niet kunnen vastleggen.
Expliciete Nonverbale Modellering: De constructie van relationele randen die expliciet de sterkte en structuur van potentiële sociale interacties modelleren op basis van blik, lichaamsuitlijning en gebaren, in plaats van enkel object-co-occurrence.
Structuurbehoudende Extractiescore: Een composiet scoringmechanisme dat globale descriptor gelijkenis, lay-out gelijkenis, social-relation gelijkenis en persoonsaantal consistentie balanceert, wat de extractie van afbeeldingen met vergelijkbare interactiestructuren mogelijk maakt ondanks visuele verschillen.
Empirische Validatie: Kwalitatieve analyse en componentverwijderingsexperimenten tonen aan dat nonverbale relationele cues de rangschikking van de extractie aanzienlijk aanpassen voor afbeeldingen die visueel vergelijkbaar maar structureel verschillend zijn.

Experimentele Resultaten

De methode werd geëvalueerd op een database van 560.000 mensgerichte afbeeldingen met 26 query-afbeeldingen die gesprekken, vergaderingen, menigten en sporten beslaan.

Kwalitatieve Extractie: Het systeem slaagde erin afbeeldingen met vergelijkbare interactiestructuren (bijv. face-to-face gesprekken, groepsfocus) te extraheren, zelfs wanneer achtergronden, belichting en kleding verschilden.
Ablatie-analyse: Het verwijderen van de social-relation component ( $S_{soc}$ ) leidde tot een herordening van de Top-5 resultaten voor 25 van de 26 queries en veranderde het Rank-1 resultaat voor 18 queries. Dit bevestigt dat nonverbale cues cruciaal zijn voor het onderscheiden van scènes die globale features of eenvoudige lay-outs niet kunnen scheiden.
Videoanalyse: In videoexperimenten identificeerden "Social Peaks" succesvol momenten van structurele reorganisatie (bijv. spelers die hun formatie wijzigen, een persoon die een groep verlaat) die verschillend waren van laag-niveau visuele veranderingen zoals ondertiteling of kleurverschuivingen. De methode vertoonde complementair gedrag aan kleur- en gradiëntgebaseerde veranderingsdetectie.

Betekenis en Claims

Het artikel claimt dat de primaire betekenis ligt in het transformeren van relationele elementen die de betekenis van mensgerichte scènes bepalen (ruimtelijke ordening, interactiecontext) naar een doorzoekbare structurele representatie.

Complementariteit: De auteurs positioneren deze methode niet als een vervanging voor globale visuele extractie of laag-niveau video-veranderingsdetectie, maar als een complementaire aanpak. Het legt mens-tot-mens relationele structuren vast die globale embeddings missen en die laag-niveau visuele cues (kleur, gradiënt) niet kunnen interpreteren.
Structureel Begrip: De studie demonstreert dat effectieve mensgerichte extractie vereist dat men modelleert hoe mensen zijn gerangschikt en interageren, in plaats van alleen welke objecten aanwezig zijn.
Bescheidenheid over Intentie: Het paper stelt expliciet dat de nonverbale cues structurele indicatoren zijn van observeerbare visuele relaties (blik, pose) en niet de werkelijke psychologische intenties, spraakinhoud of specifieke sociale identiteiten afleiden. De "Social Peak" wordt gedefinieerd als een structureel transitiepunt, niet noodzakelijkerwijs een semantisch piekmoment.

Het framework biedt een fundament voor het extraheren van mensgerichte scènes op basis van ruimtelijke en relationele contexten, wat een genuanceerdere benadering biedt voor beeld- en videoanalyse in scenario's waar de interactiestructuur van groot belang is.