SIV-Bench: A Video Benchmark for Social Interaction Understanding and Reasoning

1. Declaração do Problema

Embora os Modelos de Linguagem Grandes Multimodais (MLLMs) tenham alcançado progresso significativo no raciocínio visual e na legendagem de vídeos, eles lutam com a compreensão da interação social. A interação social é um domínio complexo e multifacetado que exige a percepção de pistas multimodais sutis, a inferência de estados mentais não observáveis (emoções, intenções) e a previsão de comportamentos dinâmicos baseados em normas sociais.
Os benchmarks de vídeo existentes (por exemplo, VideoMME, MLVU) focam principalmente na compreensão geral de cenas ou em tarefas específicas como segmentação de objetos. Eles carecem de um framework sistemático para avaliar a inteligência social holística dos MLLMs, particularmente sua capacidade de raciocinar sobre relacionamentos interpessoais e prever dinâmicas sociais. Há uma necessidade crítica de um benchmark que vá além da percepção superficial para testar o raciocínio social profundo.

2. Metodologia

A. Framework Teórico

O SIV-Bench baseia-se na Teoria dos Modelos Relacionais de Fiske, que categoriza as interações sociais em quatro modelos fundamentais:

1. Compartilhamento Comunal (por exemplo, família, amigos)
2. Hierarquia de Autoridade (por exemplo, chefe-empregado, professor-aluno)
3. Correspondência de Igualdade (por exemplo, companheiros de equipe, colegas)
4. Precificação de Mercado (por exemplo, serviço, transacional)

Estes modelos são instanciados através de 14 tipos específicos de relacionamento (por exemplo, pai-filho, irmãos, treinador-jogador).

B. Construção do Benchmark

O benchmark consiste em 2.792 clipes de vídeo e 5.455 pares de perguntas e respostas (QA) de alta qualidade, construídos por meio de um pipeline colaborativo humano-LLM:

• Coleta de Dados: Vídeos foram obtidos do TikTok e YouTube usando palavras-chave geradas pelo GPT-4o-mini para garantir a cobertura de diversos tipos de relacionamento, gêneros (vida cotidiana, filmes, esportes) e idiomas.
• Pipeline de Geração de QA:
  1. Geração Escalável: LLMs (Gemini-2.0-Flash) geraram pares de QA iniciais cobrindo três dimensões principais.
  2. Filtragem Adversarial: Três modelos comerciais responderam às perguntas candidatas. Perguntas onde todos os modelos responderam corretamente foram descartadas (consideradas muito fáceis/triviais). Apenas amostras "difíceis" onde os modelos discordaram foram mantidas.
  3. Verificação Humana: 20 anotadores humanos verificaram as amostras difíceis restantes. Apenas perguntas com concordância humana unânime foram mantidas.
  4. Autoria Humana: Anotadores criaram manualmente perguntas complexas adicionais para elevar o limite do benchmark.
• Condições Multimodais: Para estudar o impacto das pistas linguísticas, os vídeos são fornecidos em três condições:
  • Original: Vídeo original com texto embutido.
  • +Legenda: Vídeo original com legendas de diálogo transcritas adicionadas.
  • -Legenda: Vídeo original com todo o texto na tela removido.

C. Dimensões da Tarefa

O SIV-Bench decompõe a interação social em três dimensões inter-relacionadas, subdivididas em 10 tarefas finas:

1. Compreensão de Cena Social (SSU): Percepção de elementos visíveis.
   • Sub-tarefas: Reconhecimento de Ação, Percepção de Ambiente, Reconhecimento de Expressão Facial, Identificação de Atributos Humanos.
2. Raciocínio sobre Estado Social (SSR): Inferência de estados mentais não observáveis.
   • Sub-tarefas: Inferência de Intenção, Inferência de Emoção, Inferência de Atitude, Inferência de Relação (identificar o tipo específico de relacionamento).
3. Previsão de Dinâmicas Sociais (SDP): Previsão de resultados futuros ou hipotéticos.
   • Sub-tarefas: Previsão Factual (o que acontece a seguir), Previsão Contrafactual (e se as condições mudassem).

3. Principais Contribuições

1. Framework Analítico Novel: Uma decomposição estrutural da interação social em SSU, SSR e SDP, fornecendo uma taxonomia unificada para avaliar a inteligência social.
2. Dataset SIV-Bench: Um dataset em grande escala e diversificado de 2.792 vídeos e 5.455 pares de QA cobrindo 14 tipos de relacionamento, apresentando um processo rigoroso de controle de qualidade "humano-no-loop".
3. Avaliação Abrangente: O primeiro benchmark a avaliar sistematicamente MLLMs em percepção, raciocínio e previsão em contextos sociais do mundo real, incluindo estudos de ablação controlados sobre áudio e legendas.

4. Resultados Experimentais

Os autores avaliaram 12 MLLMs de última geração (incluindo GPT-4o, Gemini-2.5-Pro, Qwen2.5-VL e InternVL).

• Desempenho Geral:
  • Estratificação de Desempenho: Modelos maiores superam significativamente os menores (por exemplo, Gemini-2.5-Pro: 62,40% vs. modelos open-source menores ~42%).
  • Lacuna Dimensional: Os modelos performam relativamente bem na SSU (percepção), mas lutam significativamente com a SSR (raciocínio) e a SDP (previsão).
• Principais Gargalos:
  • Inferência de Relação (RI): Este é o ponto mais fraco. Os modelos exibem confusão sistemática, particularmente entre relacionamentos hierárquicos (Hierarquia de Autoridade) e igualitários (Correspondência de Igualdade), por exemplo, confundindo "Chefe-Empregado" com "Colegas".
  • Modos de Erro: Os modelos frequentemente falham em distinguir relações primárias de secundárias, dependem excessivamente de pistas estereotipadas de cena (por exemplo, assumir "sala de aula" = "professor-aluno") e carecem de raciocínio social profundo de senso comum.
• Influência da Modalidade:
  • Áudio: Remover o áudio causa uma queda significativa no desempenho (-2,44% na SSR), destacando sua necessidade para o raciocínio social.
  • Legendas: Remover legendas prejudica significativamente o desempenho em tarefas pesadas de raciocínio (SSR/SDP), enquanto adicioná-las proporciona ganhos marginais. Isso sugere que o contexto textual é crítico para inferências complexas.
• Linha de Base Humana (SIV-Bench-Hard): Em um subconjunto difícil, os melhores modelos (Gemini-3-Pro, GPT-5.1) alcançaram ~45% de precisão, enquanto humanos alcançaram 74,4%.
  • Análise de Raciocínio: Modelos que responderam corretamente mostraram similaridade semântica significativamente maior com traços de raciocínio humanos do que aqueles que responderam incorretamente, provando que o sucesso requer inferência semelhante à humana, não apenas correspondência de padrões.

5. Significado

• Ferramenta de Diagnóstico: O SIV-Bench expõe limitações específicas nos MLLMs atuais, particularmente sua incapacidade de alinhar-se com a cognição social humana e seus erros sistemáticos na inferência de relacionamentos.
• Direção de Pesquisa: As descobertas sugerem que futuros MLLMs requerem fundamentação social multicamada (separando observação, afeto e normas) e capacidades de raciocínio mais profundas para alcançar verdadeira inteligência social.
• Impacto Ético e Prático: Ao fornecer um campo de testes unificado, o SIV-Bench orienta o desenvolvimento de sistemas de IA mais empáticos, conscientes do contexto e socialmente inteligentes para aplicações em colaboração humano-IA, ao mesmo tempo que destaca riscos relacionados à manipulação e viés na inferência social.

O dataset, o código e os scripts de avaliação estão disponíveis publicamente para fomentar pesquisas adicionais em IA social.