Resumo Técnico: Mind the Gap: A Divergência entre Tarefas Geradas por Humanos e por LLMs

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham permitido a criação de agentes generativos capazes de simular comportamento autônomo em mundos virtuais, permanece incerto se esses modelos operam sob os mesmos princípios cognitivos que os humanos. Os benchmarks de desempenho atuais (ex: TaskBench, AgentGen) focam em capacidades de planejamento e automação, mas frequentemente negligenciam uma questão fundamental: os LLMs realmente replicam os mecanismos cognitivos profundos que impulsionam a definição de objetivos humanos, ou eles apenas mimetizam padrões superficiais?

A definição de objetivos autônomos em humanos é teorizada como sendo impulsionada por dois pilares centrais:

1. Motivação Orientada por Valores: Valores pessoais estáveis (ex: abertura à mudança vs. conservação) que guiam o que os indivíduos consideram desejável.
2. Experiência Incorporada (Embodied Experience): Restrições sensoriomotoras e interações acumuladas com o mundo físico e social que fundamentam as ações na realidade.

Os autores hipotetizam que os LLMs atuais, treinados puramente em texto, carecem dos mecanismos internos para a priorização de valores e do aterramento (grounding) sensoriomotor necessário para gerar objetivos incorporados e semelhantes aos humanos. Este estudo visa quantificar a divergência entre a geração de tarefas humana e de LLMs para determinar se o fornecimento de perfis psicológicos aos LLMs pode reduzir essa lacuna.

Metodologia

O estudo empregou um design de dois experimentos para comparar a geração de tarefas humana contra a do GPT-4o.

Experimento 1: Geração de Tarefas

• Participantes: 176 participantes humanos recrutados via Prolific.
• Design: Um design fatorial entre-sujeitos 2×2 manipulando:
  • Complexidade Ambiental: Alta (32 itens de sala de estar) vs. Baixa (25 itens, excluindo objetos de entretenimento de alta affordance).
  • Contexto Social: Social (presença de um ícone de "pessoa") vs. Não-social (presença de um "manequim").
• Procedimento: Os participantes foram solicitados a gerar pelo menos três tarefas usando os itens fornecidos para "passar o tempo", detalhando o título, objetos, configuração, objetivos e pontuação.
• Medidas Psicológicas: Antes da geração, os participantes completaram:
  • PVQ21: Para medir valores pessoais (Abertura à Mudança vs. Conservação; Autointeresse vs. Autotranscendência).
  • Questionário TWS: Para medir o estilo cognitivo (Intuitivo vs. Sistemático).
  • BFI-2: Para medir sociabilidade.
• Condições de LLM:
  • Condição Raw (Bruta): O GPT-4o recebeu apenas o prompt da tarefa.
  • Condição Matched (Correspondente): O GPT-4o recebeu o prompt da tarefa mais o perfil psicológico completo (valores e estilo cognitivo) de um participante humano correspondente.
  • Ambas as execuções de LLM utilizaram uma temperatura de 1.0 para incentivar a diversidade.

Experimento 2: Avaliação de Atributos de Tarefa

• Participantes: 75 avaliadores independentes.
• Estímulos: Um subconjunto de tarefas geradas por humanos (575) e pelo GPT-4o Matched (176, uma por perfil).
• Procedimento: Avaliadores avaliaram as tarefas em uma escala de 0 a 10 através das dimensões de:
  • Criatividade: Diversão, Novidade.
  • Incorporação (Embodiment): Demanda Mental, Demanda Física, Engajamento de Partes do Corpo, Dificuldade Geral.
• Análise: A confiabilidade inter-avaliador foi confirmada (ICC 0.58–0.90). As comparações estatísticas utilizaram testes de Qui-quadrado para distribuição de tópicos e testes de Mann-Whitney U para atributos avaliados.

Principais Resultados

1. A Assinatura Humana: Orientada por Valores e Sensível ao Ambiente

A geração de tarefas humana foi sistematicamente prevista por traços psicológicos:

• Valores: Maior "Abertura à Mudança" previu significativamente tarefas classificadas como mais novas e divertidas. O "Autointeresse" não mostrou tal relação.
• Estilo Cognitivo × Ambiente: Observou-se um efeito de interação entre o estilo de pensamento e a complexidade ambiental. Indivíduos com um estilo de pensamento sistemático geraram tarefas mais divertidas em ambientes simples, enquanto aqueles com um estilo intuitivo prosperaram em ambientes complexos, produzindo tarefas mais diversas. Isso sugere que os humanos adaptam flexivelmente as estratégias cognitivas às demandas ambientais.

2. O Gap Humano-LLM

Apesar de serem condicionadas em perfis psicológicos humanos, os GPT-4o falharam em replicar as assinaturas comportamentais humanas:

• Viés Temático: Os LLMs exibiram um forte viés para tarefas abstratas, "Mentais e Artísticas" (ex: música, escrita), que representaram 74% do output do GPT-4o Matched. Em contraste, os humanos geraram uma mistura equilibrada incluindo atividades de "Relaxamento e Domésticas" (32% para humanos vs. ~5% para LLMs).
• Déficit Social: Em contextos sociais, 58% das tarefas humanas eram multijogador/sociais, enquanto os LLMs geraram tarefas sociais apenas 24–29% das vezes.
• Gap de Incorporação (Embodiment): As tarefas dos LLMs foram classificadas como significativamente mais exigentes mentalmente e significativamente menos exigentes fisicamente do que as tarefas humanas. Elas exigiram menos engajamento dos braços e da parte inferior do corpo, refletindo uma falta de aterramento sensoriomotor.
• O Paradoxo da Criatividade: Apesar desses gaps, as tarefas geradas por LLM foram classificadas como mais novas e mais divertidas do que as tarefas humanas. Os autores atribuem isso à capacidade do LLM de produzir criatividade combinatória desvinculada da viabilidade física ou normas sociais, provavelmente amplificada pelo alinhamento de RLHF que otimiza para o engajamento imediato em vez do realismo mundano.

Principais Contribuições

1. Evidência de Assinaturas Humanas: O estudo fornece evidência comportamental de que a geração de tarefas autônomas humanas é sistematicamente moldada por traços pessoais estáveis (especificamente Abertura à Mudança) e estilo cognitivo, apoiando um relato de definição de objetivos orientado por valores.
2. Identificação de Limitações de LLM: O estudo demonstra que, mesmo quando fornecidos com perfis psicológicos explícitos, os LLMs falham em exibir assinaturas humanas essenciais. Eles carecem de mecanismos internos para priorização de valores e produzem outputs que são tematicamente enviesados para a abstração e desconectados da realidade física e social.
3. O Trade-off da "Criatividade Não-Aterrada": A pesquisa destaca um descompasso crítico onde os LLMs podem gerar textos percebidos como altamente criativos e novos precisamente porque não estão aterrados nas restrições físicas e sociais que caracterizam a experiência humana.

Significância e Alegações

O artigo conclui que existe um gap central entre a natureza cognitiva humana, orientada por valores e incorporada, e os padrões estatísticos dos LLMs.

• Para a Pesquisa de IA: As descobertas sugerem que criar agentes autônomos verdadeiramente alinhados aos humanos requer mais do que escalar LLMs ou realizar ajuste fino (fine-tuning) em texto. Necessita incorporar sistemas de motivação intrínseca, modelos de mundo e aterramento sensoriomotor para reduzir a lacuna entre a proficiência linguística e a geração de objetivos incorporados.
• Para a Ciência Cognitiva: O paradigma proposto de geração de tarefas baseada em texto oferece uma ferramenta escalável para estudar a definição de objetivos em contextos naturalistas, permitindo novas comparações entre a cognição humana e os outputs de máquinas.

Os autores mantêm uma postura modesta, observando que seu estudo foca em uma única arquitetura (GPT-4o) e um paradigma baseado em texto, sugerindo que trabalhos futuros devem expandir para uma gama mais ampla de modelos e ambientes 3D interativos para testar a generalidade desses achados.