Structural Ranking of the Cognitive Plausibility of Computational Models of Analogy and Metaphors with the Minimal Cognitive Grid

Resumo Técnico: Classificação Estrutural da Plausibilidade Cognitiva de Modelos Computacionais de Analogia e Metáforas com a Grade Cognitiva Mínima

Declaração do Problema
A criação e a interpretação de analogias e metáforas são fundamentais para a competência semântica humana. Embora numerosos modelos computacionais tenham sido propostos para replicar essas capacidades, há uma falta de quadros sistemáticos e quantitativos para avaliar sua plausibilidade cognitiva — especificamente, a extensão em que seus mecanismos internos se alinham com processos cognitivos humanos, em vez de meramente produzir saídas funcionalmente equivalentes. Sistemas atuais de Inteligência Artificial, particularmente Modelos de Linguagem de Grande Escala (LLMs), frequentemente alcançam alto desempenho em tarefas de analogia, mas operam por meio de mecanismos (por exemplo, reconhecimento de padrões estatísticos) que diferem fundamentalmente da cognição humana. O artigo aborda a necessidade de uma métrica padronizada para distinguir entre artefatos "funcionais" (que imitam a saída) e modelos "estruturais" (que imitam mecanismos cognitivos internos), avaliando assim seu poder explicativo na ciência cognitiva.

Metodologia: A Grade Cognitiva Mínima (MCG)
Os autores empregam e operacionalizam formalmente a Grade Cognitiva Mínima (MCG), um quadro proposto por Lieto (2021) para classificar sistemas artificiais com base em sua precisão estrutural em relação a alvos biológicos ou cognitivos. A metodologia envolve uma avaliação quantitativa em três dimensões distintas:

1. Razão Funcional/Estrutural (FSR): Esta dimensão avalia o equilíbrio entre replicação funcional (correspondência de saída) e implementação estrutural (correspondência de mecanismo). Os autores definem uma métrica, $FSRM$, baseada em um conjunto de restrições estruturais derivadas de duas teorias cognitivas primárias:

   • Teoria do Mapeamento de Estrutura (SMT): As restrições incluem mapeamento um-para-um, conectividade paralela, sistematicidade (preferência por estruturas relacionais interconectadas) e projeção inferencial.
   • Teoria de Categorização da Metáfora (CTM): As restrições incluem categorização (interpretar metáforas como declarações de inclusão de classe) e seleção de propriedades (transferir características salientes).
     Os modelos são pontuados com base em se implementam esses mecanismos estruturalmente ($s_i=1$) ou meramente funcionalmente ($s_i=0$), ponderados pela importância teórica de cada restrição.

2. Generalidade (GM): Esta dimensão avalia a amplitude das funções cognitivas que um modelo pode simular, fundamentada na taxonomia Cattell-Horn-Carroll (CHC) das habilidades cognitivas humanas. Os autores avaliam os modelos em cinco domínios: Conhecimento Quantitativo, Raciocínio Fluido, Processamento Visual, Conhecimento Linguístico/Verbal e Habilidades Sensoriais/Motoras. As pontuações são atribuídas com base na cobertura total (1), cobertura parcial (0,5) ou ausência (0), com um esquema de ponderação específico que enfatiza a importância das Habilidades Sensoriais/Motoras na cognição incorporada.

3. Correspondência de Desempenho (PMM): Esta dimensão quantifica o alinhamento entre o comportamento do modelo e o comportamento humano, considerando não apenas a precisão, mas também padrões de erro e tempos de resposta. A pontuação é uma soma ponderada de:

   • Delta de Precisão: O desvio em relação ao desempenho de referência humana.
   • Padrões de Erro: Se o modelo replica a distribuição de erros humanos (por exemplo, falhando nos mesmos itens difíceis).
   • Tempos de Resposta: A similaridade na latência de execução em comparação com os tempos de reação humanos.

Principais Contribuições

• Operacionalização Formal: O artigo fornece uma operacionalização matemática rigorosa da MCG, transformando distinções teóricas qualitativas em pontuações quantitativas ($FSRM$, $GM$, $PMM$) que permitem a comparação direta de arquiteturas de IA diversas.
• Métrica Unificada de Plausibilidade Cognitiva (CPM): Os autores introduzem uma pontuação composta, $CPM = \lambda \cdot FSR'_M + \mu \cdot GM + \nu \cdot PMM$, que integra as três dimensões. Eles propõem um esquema de ponderação ($\lambda=0,5, \mu=0,25, \nu=0,25$) que prioriza a fidelidade estrutural, argumentando que o poder explicativo na ciência cognitiva depende principalmente do alinhamento dos mecanismos internos com a teoria humana.
• Análise Comparativa Sistemática: O quadro é aplicado a quatro classes distintas de sistemas:
  • SME (Motor de Mapeamento de Estrutura) e CogSketch: Sistemas simbólicos baseados na SMT.
  • METCL: Um modelo baseado em lógica para geração de metáforas baseado na CTM.
  • LLMs: Incluindo GPT-3.5, GPT-4 e GPT-4o.

Resultados
A avaliação produz perfis distintos para cada sistema:

• SME e CogSketch: Alcançam as maiores Pontuações Estruturais ($FSR'_M \approx 0,606$) devido à sua implementação explícita de restrições da SMT (mapeamento um-para-um, sistematicidade). Eles também demonstram a maior Correspondência de Desempenho ($PMM \approx 0,923$) em Matrizes Progressivas de Raven, replicando a precisão humana e os padrões de erro. No entanto, pontuam muito baixo em Generalidade ($GM \approx 0,063–0,125$), pois carecem de capacidades em raciocínio quantitativo, processamento de linguagem e tarefas sensório-motoras.
• METCL: Ocupa uma posição intermediária. Pontua moderadamente em Fidelidade Estrutural ($FSR'_M \approx 0,407$) ao implementar restrições da CTM (categorização, seleção de propriedades), mas carece de restrições estruturais baseadas na SMT. Sua Generalidade é limitada ($GM \approx 0,125$) e a Correspondência de Desempenho é moderada ($PMM \approx 0,714$).
• LLMs: Apresentam a maior Generalidade ($GM \approx 0,500–0,800$), cobrindo domínios quantitativos, fluidos, visuais e linguísticos. No entanto, mostram muito baixa Fidelidade Estrutural ($FSR'_M \approx 0,109$), falhando em implementar restrições da SMT como sistematicidade ou mapeamento um-para-um em um sentido mecânico. Sua Correspondência de Desempenho é mista ($PMM \approx 0,578$), frequentemente mostrando alta precisão, mas padrões de erro divergentes (por exemplo, falhando em tarefas ricas em distratores onde humanos têm sucesso) e carecendo de dados de alinhamento temporal.

Sob o esquema de ponderação não igualitário proposto (priorizando a plausibilidade estrutural), CogSketch e SME ocupam o primeiro lugar na plausibilidade cognitiva geral. Sob um esquema de ponderação igualitária, os LLMs superam o METCL devido à sua superior generalidade, um resultado que os autores descrevem como "paradoxal", dada a falta de restrições inspiradas cognitivamente nos LLMs.

Significado e Alegações
O artigo alega que a MCG oferece um "plano" para uma comparação generalizável e reproduzível de sistemas de IA com base em sua plausibilidade biológica ou cognitiva, em vez de apenas sua saída funcional.

• Poder Explicativo: Os autores argumentam que a Razão Funcional/Estrutural é a dimensão crítica para a ciência cognitiva porque avalia se o sucesso de um modelo está fundamentado em mecanismos relevantes para o fenômeno (por exemplo, mapeamento relacional) em vez de generalização estatística.
• Distinção do Behaviorismo: O quadro visa evitar um "behaviorismo renovado" penalizando sistemas que alcançam desempenho ao nível humano por meio de processos internos não semelhantes aos humanos.
• Escalabilidade: A metodologia é apresentada como uma ferramenta escalável para avaliar gerações atuais e futuras de IA, fornecendo uma linguagem de medição comum entre arquiteturas simbólicas, subsimbólicas e híbridas.
• Limitações: Os autores reconhecem modestamente limitações, incluindo a disponibilidade desigual de dados de referência (os LLMs são testados em mais conjuntos de dados do que o SME/CogSketch), a falta de dados de tempo de resposta para alguns sistemas e o fato de que os pesos das restrições são atualmente baseados na relevância teórica em vez de derivação orientada por dados. Eles sugerem que trabalhos futuros devem focar na expansão de conjuntos de dados e no refinamento dos esquemas de ponderação para estender ainda mais a generalizabilidade do quadro.