Resumo Técnico: Sobre a Avaliação de Inteligência Semelhante à Humana em Máquinas

Declaração do Problema

O artigo aborda uma lacuna crítica na avaliação de sistemas de Inteligência Artificial (IA): os benchmarks atuais são frequentemente insuficientes para avaliar se os modelos possuem capacidades cognitivas semelhantes às humanas. Embora os modelos de IA recentes demonstrem alto desempenho em várias tarefas, os autores argumentam que os paradigmas de avaliação existentes falham em capturar as similaridades qualitativas entre a cognição humana e a de máquina.

O problema central é que os benchmarks padrão dependem de:

1. Falta de Rótulos Validados por Humanos: Muitos conjuntos de dados utilizam rótulos únicos de "verdade fundamental" (ground-truth) derivados de curadores ou votação majoritária, ignorando a distribuição real das respostas humanas.
2. Representação Inadequada da Variabilidade: Os benchmarks frequentemente descartam a variabilidade das respostas humanas e a incerteza, tratando tarefas cognitivas como se tivessem respostas objetivas únicas, mesmo quando são inerentemente subjetivas (ex: raciocínio moral, detecção de humor).
3. Invalidade Ecológica: As tarefas são frequentemente excessivamente simplificadas, carecendo da complexidade, ambiguidade e nuance contextual de cenários do mundo real.

Os autores distinguem entre inteligência de nível humano (alcançar paridade quantitativa ou exceder a precisão humana) e inteligência semelhante à humana (exibir similaridade qualitativa nos padrões cognitivos, incluindo perfis de erro, distribuições de incerteza e crenças graduadas). Eles argumentam que as ferramentas atuais confundem esses conceitos, podendo caracterizar erroneamente as capacidades da IA.

Metodologia

Para fundamentar suas afirmações, os autores realizaram um estudo de avaliação humana em nove benchmarks de IA existentes, conhecidos por exigir raciocínio de senso comum e Teoria da Mente (ToM).

• Benchmarks Selecionados: Sete tarefas do BIG-Bench (Srivastava et al., 2022) cobrindo IQA social, permissibilidade moral, questões éticas, apoio social, identificação de ironia, humor ácido e raciocínio de fantasia; além de BigToM e ToMBench para raciocínio de Teoria da Mente.
• Coleta de Dados:
  • Participantes: 117 participantes recrutados via Prolific.
  • Estímulos: 30 estímulos amostrados aleatoriamente de cada um dos 9 benchmarks (2.685 tentativas anotadas no total).
  • Procedimento: Em vez da seleção padrão de múltipla escolha, os participantes usaram um controle deslizante de 0 a 100 para avaliar cada opção de resposta (ex: "discordo totalmente" a "concordo totalmente").
  • Medição de Incerteza: Após cada classificação, os participantes relataram sua confiança em uma escala separada de 0 a 100. Este design de duas medidas desmembra julgamentos graduados (grau de crença) da incerteza epistêmica (confiança naquele julgamento).
• Análise: Os autores compararam as distribuições de resposta humana e os níveis de confiança contra os rótulos de verdade fundamental originais dos benchmarks e os níveis de acaso.

Principais Descobertas

A reanotação humana revelou discrepâncias significativas entre os rótulos padrão dos benchmarks e o comportamento humano real:

1. Baixa Concordância com a Verdade Fundamental: Em todos os nove benchmarks, a precisão humana (concordância com o rótulo único do benchmark) teve média de 69,7%.
   • Algumas tarefas apresentaram desempenho abaixo do acaso (ex: Apoio social com 45% vs. 50% de chance).
   • Foi encontrado um desacordo significativo em Permissibilidade moral (72% de concordância), Identificação de ironia (73% de concordância) e IQA Social (68% de concordância).
   • Apenas as Questões éticas simples mostraram alta concordância (88%).
2. Crenças Graduadas vs. Rótulos Binários: As respostas humanas raramente foram binárias. Os participantes frequentemente forneceram classificações intermediárias (ex: média de classificação de 69,4 em uma escala de 0 a 100 para um estímulo rotulado como "não solidário"), indicando crenças graduadas que os rótulos binários falham em capturar.
3. Incerteza Estruturada: Os participantes relataram graus variáveis de confiança. Em tarefas como Apoio social e Permissibilidade moral, foram comuns classificações de baixa confiança, mas em outros casos (ex: Identificação de ironia), os participantes mostraram alta confiança em visões divergentes. Isso sugere que a variabilidade é frequentemente um desacordo estruturado em vez de mero ruído ou confusão.
4. Limitações do Design Atual: O estudo demonstra que confiar em rótulos únicos de verdade fundamental introduz um padrão de comparação enganoso, falhando em modelar a natureza distributiva da cognição humana.

Contribuições Principais e Recomendações

O artigo propõe cinco recomendações concretas derivadas de melhores práticas da ciência cognitiva para melhorar os futuros benchmarks de IA:

1. Medir Contra Humanos Reais: Os rótulos de verdade fundamental para uma IA "semelhante à humana" devem ser dados de resposta coletados de humanos, não apenas respostas curadas. Isso é essencial para tarefas subjetivas onde não existe uma única resposta objetiva.
2. Avaliar Contra Distribuições Populacionais: Os modelos devem ser avaliados contra a distribuição completa dos julgamentos humanos (rótulos suaves/ soft labels) em vez de rótulos rígidos de voto majoritário. As métricas devem incluir comparações de distribuição de probabilidade (ex: divergência KL, distâncias de Wasserstein) para garantir que os modelos capturem a variabilidade do nível populacional e as subpopulações.
3. Avaliar a Gradualidade e a Incerteza: Os benchmarks devem elicitar e medir julgamentos graduados e confiança de anotadores individuais. Isso captura a nuance da tomada de decisão no mundo real e a incerteza inerente ao raciocínio humano, que as escolhas binárias obscurecem.
4. Fundamentar Tarefas em Meta-Teoria: O design do benchmark deve começar com uma meta-teoria do construto cognitivo (definindo subcomponentes e assinaturas observáveis) em vez de adaptar testes psicológicos (ex: o teste de Sally-Anne) que podem estar contaminados por dados de treinamento ou carecer de validade de construto para a IA.
5. Projetar Tarefas Cognitivamente Ricas: As tarefas devem elicitar comportamentos naturalistas, integrando múltiplos processos cognitivos, utilizando ablação sistemática (retenção de contexto) e incluindo ambiguidade estruturada. Isso vai além dos formatos simplificados de perguntas e respostas para avaliar como a IA lida com a complexidade e a incerteza do mundo real.

Significância e Escopo

Os autores posicionam este trabalho como um chamado à ação tanto para cientistas cognitivos quanto para pesquisadores de IA para alinhar as práticas de avaliação com a modelagem cognitiva rigorosa.

• Valor Científico: Uma comparação rigorosa da inteligência de máquina e humana através de padrões de erro, vieses e incerteza é vital para compreender a natureza de ambas.
• Valor Prático: Para tarefas subjetivas (raciocínio moral, adequação social, humor), onde não existe um padrão normativo de correção, a avaliação distributiva semelhante à humana é necessária. Por outro lado, para tarefas com padrões normativos (ex: matemática, dobramento de proteínas), padrões de erro semelhantes aos humanos podem ser contraproducentes, e as recomendações do artigo não pretendem ser aplicadas a esses domínios.
• Limitações: Os autores reconhecem que coletar dados humanos de alta qualidade é intensivo em recursos e que a transferibilidade das meta-teorias humanas para sistemas de IA permanece uma questão aberta. Eles não afirmam que a IA deve replicar todas as limitações cognitivas humanas (ex: vieses prejudiciais), mas argumentam que entender a estrutura da variabilidade humana é essencial para construir parceiros de IA seguros, colaborativos e interpretáveis.

O artigo conclui que alcançar uma verdadeira compreensão da IA "semelhante à humana" exige ir além das métricas simples de precisão em direção a um framework que valorize a variabilidade, a incerteza e a validade ecológica, baseando-se fortemente em décadas de pesquisa em ciência cognitiva.