Resumo Técnico: NICE – Um Benchmark Diagnóstico Fundamentado em Teoria para a Inteligência Social de LLMs

Declaração do Problema

À medida que os Modelos de Linguagem de Grande Escala (LLMs) são cada vez mais implantados em contextos intensivos socialmente (por exemplo, companhia emocional, atendimento ao cliente), avaliar sua inteligência social tornou-se crítico para garantir a qualidade e a segurança da interação humano-IA. No entanto, os benchmarks existentes sofrem de duas limitações primárias:

1. Falta de Estrutura Unificada: Benchmarks que visam habilidades individuais (por exemplo, Teoria da Mente, compreensão emocional) carecem de um quadro compartilhado para mapear pontos fortes e fracos em todo o espaço mais amplo da inteligência social.
2. Falta de Granularidade Diagnóstica: Cenários abertos e de múltiplas interações oferecem alta validade ecológica, mas entrelaçam múltiplas habilidades dentro de um único cenário, tornando impossível rastrear falhas para déficits específicos de capacidade.

Consequentemente, as avaliações atuais frequentemente reduzem os modelos a pontuações agregadas que indicam quanto eles acertam, mas falham em diagnosticar onde eles falham, impedindo melhorias direcionadas.

Metodologia

Os autores propõem o NICE (Norma, Interação, Cognição, Experiência), o primeiro benchmark diagnóstico holístico fundamentado em teoria social e construído por meio de um pipeline psicométrico rigoroso. A construção envolve quatro etapas:

1. Construção do Quadro

Um quadro de inteligência social foi desenvolvido por meio de uma revisão sistemática de literatura de cima para baixo e um método Delphi de baixo para cima envolvendo 23 especialistas.

• Base Teórica: O quadro integra a teoria de processamento de informações sociais (Crick & Dodge, 1994) com oito teorias clássicas da inteligência social humana e revisões recentes de IA.
• Estrutura: O quadro final organiza a inteligência social em 4 categorias, 11 dimensões e 34 facetas de capacidade granulares.
• Ponderação: Pesos estruturais para categorias e dimensões foram estimados usando o Processo Analítico Hierárquico (AHP) com base em comparações pareadas por 9 especialistas.

2. Coleta de Materiais e Construção de Itens

• Fonte: Os itens não foram extraídos de corpora brutos para evitar contaminação do construto. Em vez disso, a equipe adaptou 18 benchmarks existentes e 43 paradigmas psicológicos.
• Design: Um conjunto de 137 itens foi criado, onde cada item alinha-se exatamente a uma faceta de capacidade.
• Formato da Tarefa: O NICE utiliza uma tarefa de classificação de forma fechada. Para cada cenário, os modelos devem classificar 3 a 6 respostas candidatas de "socialmente ótima" para "violadora de limites". Isso testa não apenas a seleção da melhor resposta, mas também a sensibilidade do modelo a limites comportamentais e normativos.

3. Validação

O benchmark passou por um processo de avaliação e revisão de três rodadas envolvendo 12 avaliadores interdisciplinares (cegos para os resultados do modelo). Os itens foram avaliados quanto à confiabilidade (clareza, estabilidade do gradiente), validade (alinhamento do construto) e neutralidade (viés). Apenas itens com pontuação ≥3,5 em todos os critérios foram mantidos.

4. Protocolo de Avaliação

• Modelos: Cinco LLMs de ponta foram avaliados: GPT-5.5, Claude-Opus-4.7, Gemini-3.1-pro-preview, DeepSeek-v4-pro e Qwen3.6-plus.
• Configuração: Configurações de decodificação gulosa com zero-shot. Cada modelo executou o benchmark de 137 itens três vezes para avaliar a estabilidade.
• Linha de Base: Um grupo de referência humano de 14 falantes nativos de chinês completou as mesmas tarefas.
• Métrica: A precisão é definida estritamente como correspondência à permutação completa da classificação de referência; concordância parcial não recebe crédito.

Contribuições Principais

1. Primeiro Benchmark Diagnóstico Sistemático: O NICE é o primeiro benchmark a aplicar princípios de medição em todo o pipeline (quadro, desenvolvimento de itens, validação) para inteligência social artificial, organizando-a em uma hierarquia estruturada de 4 categorias, 11 dimensões e 34 facetas.
2. Diagnóstico ao Nível de Facetas: Ao vincular cada item a uma única faceta de capacidade predefinida, o NICE permite o rastreamento de erros do modelo para fraquezas específicas, em vez de absorvê-los em pontuações ao nível de dimensão ou gerais.
3. Rigor Psicométrico: Diferente de simples coleções de tarefas, o NICE emprega um pipeline psicométrico completo, incluindo consenso de especialistas, ponderação AHP e validação iterativa, garantindo que os resultados diagnósticos sejam interpretáveis e estruturalmente válidos.

Resultados e Análise

A avaliação de cinco LLMs de ponta contra a linha de base humana produziu as seguintes percepções:

• Desempenho Agregado: Os LLMs alcançaram uma precisão agregada maior ($M=0,751$) em comparação com humanos ($M=0,704$), com uma diferença estatisticamente significativa ($p < .001$).
• Disparidades Dimensionais:
  • Pontos Fortes dos LLM: Os modelos superaram significativamente os humanos em Responsabilidade Social, Autoconsistência, Utilização Emocional, Percepção Social e Aprendizado Adaptativo.
  • Pontos Fracos dos LLM: Uma fraqueza consistente foi identificada em Comunicação (D3), onde os humanos superaram significativamente os LLMs (Humano $M=0,518$ vs. LLM $M=0,428$; diferença de 9,0%).
• Diagnóstico Granular da Comunicação: A fraqueza em Comunicação foi localizada em três facetas específicas:
  1. Comunicação de múltiplas interações: Os LLMs ficaram atrás dos humanos em 52,4%.
  2. Comunicação não verbal: Os LLMs ficaram atrás em 24,8%.
  3. Sincronia: Os LLMs ficaram atrás em 10,5%.
• Achados do Estudo de Caso: A análise revelou que os modelos frequentemente falham em penalizar comportamentos "violadores de limites" (por exemplo, polidez excessiva como curvar-se 180 graus) que os humanos identificam corretamente como inadequados. Isso sugere que os modelos podem supervalorizar deferência explícita enquanto carecem de sensibilidade a normas contextuais.
• Estabilidade: As falhas na dimensão Comunicação foram sistemáticas e não aleatórias; quando um modelo falhava em um item de Comunicação, ele consistentemente falhava nele em múltiplas execuções.

Significado e Alegações

O artigo afirma que o NICE reformula a avaliação da inteligência social de um foco em pontuações agregadas para um diagnóstico fundamentado em teoria de fraquezas socialmente consequentes.

• Utilidade Diagnóstica: O benchmark demonstra que uma alta precisão agregada pode mascarar déficits críticos em áreas específicas, como nuances de comunicação e sensibilidade a limites, que são vitais para uma interação humano-IA segura.
• Insights Acionáveis: Ao identificar facetas de capacidade específicas (por exemplo, comunicação de múltiplas interações, sinais não verbais) onde os modelos consistentemente têm desempenho inferior, o NICE fornece um roteiro para treinamento e alinhamento direcionados do modelo.
• Limitações: Os autores reconhecem que o NICE é atualmente um benchmark estático e baseado em texto desenvolvido principalmente dentro de um contexto cultural chinês. Embora aproxime situações da vida real, ele não pode capturar totalmente a dinâmica da interação social contínua e do mundo real. Trabalhos futuros são necessários para estender o benchmark para configurações mais complexas, interativas e transculturais.