💻 computer science

Human-Centric Image Retrieval Using Scene Graphs with Person Layout and Nonverbal Social Cues

Este artigo propõe um método de recuperação de imagens centrado no ser humano que utiliza grafos de cena para codificar layouts de pessoas em 2.5D e pistas sociais não verbais — como olhar, orientação e gestos — permitindo a comparação estrutural de interações interpessoais além das semelhanças visuais globais.

Autores originais: Yeon-Jae Lee, Jong-Hyun Kim

Publicado 2026-10-05

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yeon-Jae Lee, Jong-Hyun Kim

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Nas vastas bibliotecas digitais do nosso tempo, encontrar uma imagem específica muitas vezes parece como procurar uma agulha em um palheiro de pixels. Os sistemas de computação tradicionais tornaram-se bastante bons em reconhecer quais objetos estão presentes em uma foto; eles podem dizer que uma imagem contém um cachorro, uma árvore ou um grupo de pessoas. Eles também podem combinar imagens com base na cor, iluminação ou no clima geral de uma cena. No entanto, esses sistemas frequentemente têm dificuldade em compreender a história que acontece entre as pessoas na foto. Um computador pode ver duas imagens com o mesmo número de pessoas e fundos semelhantes e assumir que são iguais, mesmo que as pessoas em uma imagem estejam viradas de costas uma para a outra em silêncio, enquanto na outra, elas estejam se inclinando, mantendo contato visual e compartilhando uma conversa. O significado de uma cena humana não está apenas em quem está lá, mas em como eles estão dispostos, como olham uns para os outros e nas linhas invisíveis de atenção que os conectam.

Pesquisadores da Universidade Inha, na Coreia do Sul, desenvolveram uma nova maneira de ensinar computadores a enxergar essas sutis conexões sociais. Em vez de apenas olhar para a imagem geral, o método deles constrói um mapa estrutural das pessoas dentro da cena. Eles tratam cada pessoa como um ponto em um mapa e desenham linhas entre elas para representar como estão interagindo. Essas linhas não são aleatórias; elas são baseadas em pistas visuais reais, como para onde uma pessoa está olhando, como seu corpo está voltado, a posição de seus braços e o quão perto estão um do outro. Ao combinar esses detalhes com um senso de profundidade — discernindo quem está na frente de quem — o sistema cria um blueprint detalhado da situação social. Isso permite que o computador busque imagens não apenas pelo que elas parecem, mas por como as pessoas dentro delas estão se relacionando umas com as outras.

A abordagem da equipe começa identificando cada pessoa em uma foto. Para cada pessoa, o sistema aponta sua localização e estima sua forma corporal usando pontos-chave como ombros, cotovelos e joelhos. Crucialmente, o sistema não para em uma visão bidimensional plana. Ele utiliza uma técnica para estimar a que distância cada pessoa está da câmera, criando um senso de profundidade que ajuda a distinguir quem está no primeiro plano e quem está no plano de fundo. Essa informação de profundidade é vital porque duas pessoas podem parecer próximas na tela, mas na verdade estar paradas longe uma da outra no mundo real, ou vice-versa. Uma vez que as posições são mapeadas, o sistema analisa o espaço entre cada par de pessoas para determinar a natureza de sua conexão. Ele verifica se suas cabeças estão voltadas uma para a outra, se seus corpos estão alinhados de uma forma que sugira uma conversa, ou se seus gestos indicam que estão se estendendo um ao outro.

Toda essa informação é tecida em uma descrição única e compacta da cena. Essa descrição captura o número de pessoas, seu layout no espaço e a força dos laços sociais entre elas. Quando um usuário deseja encontrar uma imagem semelhante, o sistema compara essa descrição contra um banco de dados massivo de milhões de fotos. Ele não procura simplesmente imagens com as mesmas cores ou fundos. Em vez disso, ele busca cenas onde as pessoas estão arranjadas de maneira semelhante e onde as linhas invisíveis de interação correspondem à consulta. Por exemplo, se um usuário busca uma imagem de duas pessoas tendo uma conversa séria, o sistema priorizará imagens onde duas pessoas estão de frente uma para a outra com atenção focada, mesmo que o fundo seja completamente diferente da imagem de busca. Ele ignorará imagens onde as pessoas estão perto uma da outra, mas olhando em direções opostas, mesmo que a iluminação e as cores sejam idênticas.

Os pesquisadores testaram seu método em um banco de dados contendo 560.000 imagens e descobriram que essa abordagem estrutural melhorou significativamente a qualidade dos resultados de busca. Em muitos casos, o sistema recuperou com sucesso imagens que pareciam visualmente diferentes, mas compartilhavam a mesma dinâmica social. Quando removeram a parte de conexão social de sua análise, a capacidade do sistema de distinguir diferentes tipos de interações caiu drasticamente. Por exemplo, em um teste envolvendo 26 imagens de busca, a remoção das pistas sociais fez com que o principal resultado mudasse em 18 casos. Isso prova que o sistema estava se baseando nos detalhes sutis da interação humana — como o olhar e a orientação do corpo — para tomar suas decisões, em vez de apenas combinar a aparência geral da foto. O método também mostrou promessa na análise de vídeo, onde pôde identificar momentos em que a dinâmica do grupo mudou, como quando uma multidão se reorganizou subitamente ou quando uma conversa começou, distinguindo essas mudanças sociais de simples mudanças visuais como uma mudança na iluminação ou no ângulo da câmera.

Embora o sistema seja poderoso, os pesquisadores são cuidadosos em notar seus limites. Ele depende da capacidade do computador de detectar pessoas e estimar suas poses, o que pode ser difícil em cenas lotadas, com pouca luz ou quando as pessoas estão parcialmente escondidas. O sistema não sabe o que as pessoas estão dizendo ou o que estão pensando; ele apenas interpreta os sinais físicos visíveis na imagem. Ele vê um corpo voltado para outra pessoa e infere uma conexão, mas não pode confirmar a intenção por trás desse gesto. Apesar dessas limitações, o trabalho representa um passo significativo no avanço de como as máquinas compreendem cenas centradas no ser humano. Ao ir além do simples reconhecimento de objetos para mapear a complexa teia de comunicação não verbal, os pesquisadores deram aos computadores uma nova maneira de ver o mundo: não apenas como uma coleção de objetos, mas como uma série de relacionamentos. Isso permite uma experiência de busca mais intuitiva e significativa, onde a resposta a uma consulta é encontrada na história que as pessoas estão contando, e não apenas nas cores que estão vestindo.

Resumo Técnico: Recuperação de Imagens Centradas no Humano Utilizando Grafos de Cena com Layout de Pessoas e Pistas Sociais Não Verbais

Declaração do Problema

Os métodos existentes de recuperação de imagens baseiam-se predominantemente em características visuais globais (ex: cor, textura, plano de fundo) ou informações semânticas de nível de objeto. Embora eficazes para similaridade de cena geral, essas abordagens têm dificuldade em capturar os arranjos espaciais e as estruturas de interação críticos para cenas centradas no ser humano. Especificamente, os métodos padrão falham em distinguir entre imagens que compartilham fundos ou contagens de objetos semelhantes, mas diferem significativamente em pistas sociais não verbais, como distância interpessoal, direção do olhar, orientação corporal e gestos. Por exemplo, duas pessoas paradas próximas podem não estar interagindo se estiverem voltadas para direções opostas, ao passo que pessoas mais afastadas podem estar engajadas em uma conversa se suas orientações estiverem alinhadas. O problema central abordado é como recuperar imagens baseando-se na similaridade estrutural de cenas centradas no humano — especificamente o layout e as estruturas relacionais não verbais — em vez de mera aparência visual global.

Metodologia

O framework proposto modela uma cena centrada no humano como um Grafo de Cena onde as pessoas são nós e as pistas sociais não verbais são arestas. O processo de recuperação envolve quatro etapas principais:

1. Detecção de Pessoas e Construção de Nós

O sistema detecta pessoas e estima pontos-chave do corpo (formato COCO 17-keypoints) a partir de uma imagem de entrada. Cada pessoa $p_i$ é representada como um nó $v_i$ contendo:

Posição 2D: Um ponto de referência no plano da imagem (priorizando tornozelos, depois quadris, depois o centro da caixa delimitadora, com base na confiança da detecção).
Posição 2.5D: Uma posição relativa consciente da profundidade, computada via estimativa de profundidade monocular.
Atributos: Tamanho da pessoa, confiança média dos pontos-chave, embedding de pose e um escore de importância na cena.
Embedding de Pose: Gerado por um codificador PoseGCN treinado de forma autossupervisionada, convertendo estruturas de pontos-chave em um vetor de características de 64 dimensões.

2. Estimativa de Layout 2.5D

Para abordar as limitações de layouts apenas 2D, o método emprega estimativa de profundidade monocular (usando Depth Anything V2) para computar um valor de profundidade representativo para cada pessoa (profundidade mediana dentro da caixa delimitadora). Esta profundidade é normalizada e combinada com as coordenadas da imagem para criar uma posição 2.5D ( $x^{2.5D}$ ). Esta representação captura relações relativas de frente-atrás sem exigir reconstrução 3D completa, permitindo que o sistema distinga entre pessoas que parecem próximas em 2D, mas que estão em profundidades diferentes.

3. Construção de Arestas de Relação Social Não Verbal

Para cada par de pessoas, uma aresta de relação $e_{ij}$ é construída com base em seis pistas não verbais:

Olhar/Direção da Cabeça: O grau em que as cabeças se voltam uma para a outra.
Orientação Corporal: Alinhamento dos vetores de ombro/quadril.
Gestos de Braços: Direção dos pulsos/cotovelos em relação à outra pessoa.
Proximidade: Distância Euclidiana 2.5D.
Relação de Profundidade: Diferença relativa de frente-atrás.
Importância: Uma combinação ponderada de tamanho da pessoa, centralidade e confiança.
Estas pistas são normalizadas e combinadas em um escore de força de relação ponderado.

4. Recuperação e Pontuação

O sistema utiliza uma estratégia de recuperação em duas etapas:

Seleção de Candidatos (Shortlisting): O grafo de cena é resumido em um descritor de comprimento fixo (380 dimensões) contendo estatísticas sobre contagem de pessoas, atributos de nós, distribuições de layout e forças de aresta. A similaridade de cosseno nestes descritores filtra rapidamente o banco de dados para os $M$ melhores candidatos.
Correspondência Preservadora de Estrutura: Para os candidatos selecionados, o sistema realiza o casamento de Hungaria (Hungarian matching) para encontrar correspondências ideais de nós entre o grafo de consulta e o candidato.
Cálculo do Escore Final: O escore de recuperação final $S(I_q, I_c)$ $S (I_{q}, I_{c})$ combina:
- Similaridade de Descritor ( $S_{desc}$ ): Similaridade global do grafo.
- Similaridade de Layout ( $S_{lay}$ ): Estrutura de posição absoluta e distância relativa dos nós correspondentes.
- Similaridade de Relação Social ( $S_{soc}$ ): Comparação das características das arestas de relação para pares correspondentes, focando em arestas "principais" de alta força para evitar ruído de figuras de fundo.
- Consistência de Contagem de Pessoas ( $C_{cnt}$ ): Um termo de penalidade que reduz o escore se o número de pessoas na consulta e no candidato diferir significativamente.

O método também é estendido para análise de vídeo via detecção de Pico Social (Social Peak), identificando pontos no tempo onde a estrutura de relação social da cena sofre uma reorganização significativa, distinta de simples mudanças de movimento ou visuais.

Principais Contribuições

Representação por Grafo de Cena: Um método inovador para recuperação centrada no humano que representa conjuntamente o layout de pessoas e pistas sociais não verbais (olhar, orientação, gestos) como um grafo estruturado, indo além de embeddings visuais globais.
Layout de Pessoa 2.5D: A integração de estimativa de profundidade monocular para criar um layout 2.5D relativo, permitindo que o sistema considere relações frente-atrás e proximidade consciente da profundidade, que layouts 2D não conseguem capturar.
Modelagem Não Verbal Explícita: A construção de arestas de relação que modelam explicitamente a força e a estrutura de potenciais interações sociais baseadas em olhar, alinhamento corporal e gestos, em vez de apenas coocorrência de objetos.
Escore de Recuperação Preservador de Estrutura: Um mecanismo de pontuação composto que equilibra similaridade de descritor global, similaridade de layout, similaridade de relação social e consistência de contagem de pessoas, permitindo a recuperação de imagens com estruturas de interação semelhantes, apesar de diferenças visuais.
Validação Empírica: Análise qualitativa e experimentos de remoção de componentes demonstrando que as pistas de relação não verbal ajustam significativamente os rankings de recuperação para imagens que são visualmente semelhantes, mas estruturalmente diferentes.

Resultados Experimentais

O método foi avaliado em um banco de dados de 560.000 imagens centradas no humano, com 26 imagens de consulta cobrindo conversas, reuniões, multidões e esportes.

Recuperação Qualitativa: O sistema recuperou com sucesso imagens com estruturas de interação semelhantes (ex: conversas face a face, foco de grupo), mesmo quando fundos, iluminação e vestimentas diferiam.
Análise de Ablação: A remoção do componente de relação social ( $S_{soc}$ ) resultou em uma reordenação dos resultados do Top-5 para 25 das 26 consultas e alterou o resultado do Rank-1 para 18 consultas. Isso confirma que as pistas não verbais são críticas para distinguir cenas que os recursos globais ou layouts simples não conseguem separar.
Análise de Vídeo: Nos experimentos de vídeo, os "Picos Sociais" identificaram com sucesso momentos de reorganização estrutural (ex: jogadores mudando formação, uma pessoa deixando um grupo) que foram distintos de mudanças visuais de baixo nível, como sobreposições de legendas ou mudanças de cor. O método mostrou comportamento complementar à detecção de mudanças baseada em cor e gradiente.

Significância e Alegações

O artigo afirma que sua principal significância reside em transformar elementos relacionais que determinam o significado de cenas centradas no humano (arranjo espacial, contexto de interação) em uma representação estrutural pesquisável.

Complementaridade: Os autores posicionam este método não como um substituto para a recuperação visual global ou detecção de mudança de baixo nível em vídeo, mas como uma abordagem complementar. Ele captura estruturas relacionais pessoa-a-pessoa que embeddings globais perdem e que pistas visuais de baixo nível (cor, gradiente) não conseguem interpretar.
Compreensão Estrutural: O estudo demonstra que uma recuperação eficaz centrada no humano requer modelar como as pessoas estão dispostas e interagem, em vez de apenas quais objetos estão presentes.
Modéstia de Intenção: O artigo afirma explicitamente que as pistas não verbais são indicadores estruturais de relações visuais observáveis (olhar, pose) e não inferem intenções psicológicas reais, conteúdo de fala ou identidades sociais específicas. O "Pico Social" é definido como um ponto de transição estrutural, não necessariamente um pico de evento semântico.

O framework fornece uma base para recuperar cenas centradas no humano baseando-se em contextos espaciais e relacionais, ofereando uma abordagem mais matizada para análise de imagem e vídeo em cenários onde a estrutura de interação é primordial.