Resumo Técnico: FriendBench

Declaração do Problema

A inteligência social requer o raciocínio sobre relacionamentos interpessoais com base em pistas comportamentais, em vez de conteúdo verbal explícito. Embora os sistemas de IA estejam sendo cada vez mais incumbidos de mediar a interação humana, sua capacidade de inferir dinâmicas sociais a partir do comportamento multimodal permanece subavaliada. Especificamente, há uma carência de benchmarks que isolem a inferência de familiaridade prévia (se duas pessoas já se encontraram antes) do conteúdo semântico de sua conversa.

Trabalhos existentes frequentemente dependem de diálogos roteirizados, contexto da cena ou aparência para inferir relacionamentos, ou visam construtos subjetivos como emoções e intenções, que carecem de uma verdade fundamental (ground truth) inequívoca. Os autores postulam que uma sonda "limpa" de percepção social deve depender de pistas comportamentais de fatias finas (thin-slice behavioral cues) (Ambady e Rosenthal, 1992), onde o tópico da conversa é controlado, forçando o observador a depender exclusivamente de como as pessoas interagem (coordenação, resposta, orientação) em vez de o que elas dizem.

Metodologia

Construção do Benchmark (FriendBench)

Os autores introduzem o FriendBench, um benchmark de classificação binária (Familiar vs. Estranhos) derivado do Seamless Interaction dataset (Agrawal et al., 2025).

• Estímulos: 96 díades balanceadas (48 familiares, 48 estranhos) extraídas de interações naturais de "Escolha ou Não" (Either-Or) de quebra-gelo.
• Controle: Cada díade responde ao mesmo tipo de prompt hipotético de escolha forçada (ex: "Você prefere voar ou ser invisível?"). Isso garante que o tópico da conversa seja correspondido entre as classes, impedindo que o conteúdo semântico revele a resposta.
• Modalidade: Cada interação é avaliada em três condições:
  1. Texto: Apenas transcrições.
  2. Áudio: Apenas fala.
  3. Vídeo: Audiovisual (fala + comportamento visível).
• Design: O conjunto de dados é disjunto por participante (nenhum indivíduo aparece em mais de uma díade) e estratificado por local de gravação e composição de gênero para excluir variáveis de confusão. Os clipes têm 20 segundos de duração, ajustados aos limites de turnos de fala.

Protocolo de Avaliação

• Linha de Base Humana: Um estudo de crowdsourcing com ~90 avaliadores por modalidade (total de ~280 avaliadores). Os avaliadores realizaram uma tarefa de escolha forçada. O design utilizou uma estrutura incompleta de 6 blocos com planejamento de dados ausentes para permitir a modelagem da precisão individual do avaliador e do viés de resposta via efeitos aleatórios cruzados.
• Avaliação de Modelos: 26 modelos de sete empresas (OpenAI, Google, Anthropic, Alibaba, Mistral, Thinking Machines, Meta) foram avaliados em um cenário zero-shot. Os modelos receberam prompts adaptados diretamente das instruções humanas para garantir a paridade de enquadramento da tarefa.
• Métricas:
  • Acurácia: Classificação correta global.
  • Recall por Classe: Sensibilidade para "Familiar" vs. "Estranho".
  • Teoria de Detecção de Sinal: $d'$ (capacidade de discriminação) e critério $c$ (viés de resposta). Um $c$ positivo indica um viés para "estranho".

Principais Contribuições

1. Benchmark FriendBench: Um dataset multimodal e um framework de avaliação para inferir familiaridade de díades onde o tópico semântico é controlado, isolando pistas comportamentais.
2. Dataset Pareado Humano-Modelo: Lançamento de avaliações humanas para todas as 96 díades através de texto, áudio e vídeo, permitindo a comparação direta da percepção humana e do modelo sob condições equivalentes.
3. Avaliação Abrangente de Modelos: Avaliação de 26 modelos de última geração (proprietários e de pesos abertos) através de todas as três modalidades.
4. Análise de Percepção vs. Viés: Uma contribuição metodológica que distingue entre discriminação (capacidade de distinguir as classes) e viés de resposta (tendência a favorecer uma classe), revelando que humanos e modelos frequentemente alcançam acurácia semelhante através de mecanismos diferentes.

Resultados

Acurácia e Modalidade

• Desempenho Humano: Humanos operam ao nível do acaso em texto (acurácia da multidão de 51,0%) mas melhoram significativamente com modalidades mais ricas: 63,5% em áudio e 71,9% em vídeo.
• Desempenho do Modelo: Os melhores modelos alcançam acurácia estatisticamente indistinguível da multidão humana em todas as modalidades (ex: melhor modelo 66,7% em áudio/vídeo vs. humano 63,5%/71,9%).
• Ganhos de Modalidade:
  • Texto: Nem humanos nem modelos encontram sinal confiável; o desempenho está próximo ao acaso.
  • Áudio: Tanto humanos quanto modelos ganham discriminação confiável sobre o texto.
  • Vídeo (Audiovisual): Humanos ganham um incremento confiável adicional do comportamento visível (ganho de áudio $\to$ vídeo de +11,0%). Os modelos não. Os melhores modelos estagnam entre áudio e vídeo (ex: Gemini Video 66,7% vs. Gemini Áudio 66,7%), falhando em explorar pistas visuais que os humanos utilizam.

Viés de Resposta e Discriminação

Embora a acurácia agregada seja semelhante, os mecanismos diferem:

• Humanos: Mantêm uma regra de decisão equilibrada entre as modalidades (critério $c \approx 0$), identificando corretamente tanto pares familiares quanto estranhos com recall relativamente equilibrado.
• Modelos: Exibem um forte viés de resposta para "estranho".
  • No texto, os modelos inclinam-se fortemente para "estranho" (ex: $gpt\_text\_mini$ tem 91,7% de recall para estranhos, mas apenas 20,8% para pares familiares).
  • No vídeo, o melhor modelo ($gemini\_video$) alcança alta acurácia ($d' \approx 1,12$) principalmente rotulando quase todos os pares como "estranhos" (91,7% de recall de estranhos, 41,7% de recall de familiares), enquanto a multidão humana permanece equilibrada ($c = 0,06$).
• Conclusão: Os modelos alcançam paridade em acurácia não ao igualar a discriminação humana, mas ao adotar um prior eficaz que assume que estranhos são mais comuns, levando a uma regra de decisão enviesada.

Diferenças Individuais e Dificuldade

• Traços do Avaliador: Traços individuais de inteligência social (TSIS) são amplamente não correlacionados com a acurácia em áudio e vídeo.
• Dificuldade da Díade: A dificuldade é uma propriedade da própria interação. Díades que são difíceis para humanos são geralmente difíceis para modelos, e essa dificuldade se transfere entre as modalidades (ex: correlação áudio-vídeo $r=0,61$). No entanto, humanos e modelos frequentemente erram classes diferentes devido às suas diferentes regras de decisão.

Significância e Alegações

O artigo afirma que, embora os modelos multimodais atuais tenham atingido o nível humano de acurácia nesta tarefa específica de percepção social, eles ainda não replicam a percepção humana.

1. O Hiato Visual: A divergência mais significativa é na utilização do canal visual. Humanos convertem de forma confiável pistas comportamentais visíveis em ganhos de acurácia sobre a fala; os modelos atuais capturam o sinal vocal, mas subexploram o canal visual.
2. Viés vs. Discriminação: Alta acurácia em tarefas de percepção social pode mascarar um severo viés de classe. Modelos podem parecer competentes ao simplesmente assumir o padrão de "estranho", um comportamento que falharia em implantações no mundo real onde as taxas de base diferem ou onde perder um par "familiar" tem consequências distintas.
3. Padrão de Avaliação: Os autores argumentam que avaliar a percepção social requer mais do que uma única métrica de acurácia. Métricas como recall por classe, estatísticas de detecção de sinal ($d'$ e $c$) e dificuldade ao nível do item são necessárias para revelar se um modelo está realmente "compreendendo" a interação ou apenas explorando priors estatísticos.

O benchmark serve como um mecanismo de rastreamento para determinar se futuros modelos podem ser levados a ler relacionamentos de maneira equilibrada, utilizando o comportamento visível como os humanos fazem, em vez de depender apenas da fala ou de priors enviesados.