A criterion for Artificial General Intelligence: hypothetic-deductive reasoning, tested on ChatGPT

Resumo Técnico: Um Critério para a Inteligência Artificial Geral: Raciocínio Hipotético-Dedutivo, Testado no ChatGPT

Definição do Problema
O artigo aborda a questão fundamental de saber se os Grandes Modelos de Linguagem (LLMs), especificamente o ChatGPT (baseado em GPT-3.5 e GPT-4), possuem as capacidades cognitivas necessárias para se qualificarem como "Inteligência Artificial Geral" (AGI) ou verdadeiras "máquinas pensantes". Embora os LLMs tenham demonstrado capacidades impressionantes de recuperação de conhecimento, codificação e tarefas em domínios específicos, os autores argumentam que permanece uma lacuna crítica em sua capacidade de realizar um raciocínio "genuíno". O problema central é identificar um esquema subsumidor de raciocínio que caracterize a inteligência humana e determinar se os sistemas de IA atuais podem dominá-lo. Os autores postulam que, embora os LLMs se destaquem na conclusão estatística de textos, eles podem carecer da capacidade de realizar o raciocínio hipotético-dedutivo (a aplicação de teorias para deduzir soluções) e o raciocínio causal (identificar relações de causa e efeito), que são essenciais para uma IA explicável e confiável.

Metodologia
Os autores propõem dois frameworks de teste específicos para avaliar essas capacidades de raciocínio, aplicando-os ao ChatGPT(3) e ao ChatGPT(4):

1. Teste de Raciocínio Causal:

   • Estímulos: O estudo utiliza um compêndio de 26 "diagramas de neurônios" abstratos (adaptados de Paul e Hall, 2013) representando situações causais complexas, incluindo redundância, omissões e transitividade.
   • Procedimento: Os diagramas são transcritos em descrições textuais. O ChatGPT é solicitado a determinar se um neurônio final dispara e, crucialmente, a identificar as causas específicas (raiz e próximas) para esse resultado.
   • Avaliação: As respostas são comparadas com o consenso humano intuitivo e definições formais de causalidade contrafactual.

2. Teste de Raciocínio Hipotético-Dedutivo:

   • Estímulos: Uma série de perguntas que exigem raciocínio elementar de física, biologia e psicologia social. Estas perguntas são desenhadas para serem solucionáveis por humanos minimamente treinados, mas são improváveis de aparecerem de forma literal nos dados de treinamento, forçando o modelo a sintetizar conhecimento em vez de apenas recuperá-lo.
   • Procedimento: Os autores empregam um método de "listagem de hipóteses" (uma variante do prompting de Cadeia de Pensamento/Chain-of-Thought). Após o modelo fornecer uma resposta, ele é explicitamente instruído a "raciocinar passo a passo e listar todas as hipóteses e leis da natureza" utilizadas para derivar essa resposta.
   • Avaliação: O desempenho do modelo é julgado não apenas pela correção da resposta final, mas pela validade e relevância das hipóteses listadas. Uma resposta correta derivada de hipóteses irrelevantes ou incorretas é considerada uma falha de raciocínio genuíno.

Principais Contribuições

• Definição de um Critério de AGI: O artigo propõe que a capacidade de emular o raciocínio hipotético-dedutivo explícito em nível de especialista em uma ampla gama de contextos é uma condição necessária para a AGI. Isso distingue a "compreensão verdadeira" da "improvisação instantânea" ou correlação estatística.
• O Teste de Listagem de Hipóteses: Os autores introduzem uma ferramenta diagnóstica prática para sondar a lógica interna dos LLMs. Ao forçar o modelo a declarar explicitamente as leis e regularidades nas quais ele se baseia, o teste revela se o modelo está simulando o raciocínio ou apenas recuperando padrões.
• Raciocínio Causal como um Proxy: O artigo argumenta que o raciocínio causal é um derivado simplificado do raciocínio hipotético-dedutivo e serve como um proxy válido, embora elementar, para testar o pensamento baseado em teoria na IA.
• Distinção entre Raciocínio Implícito e Explícito: O estudo destaca a diferença entre uma IA produzindo um output correto (que pode ser estatisticamente provável) e uma IA capaz de justificar esse output com um conjunto coerente de hipóteses explícitas, um requisito para a "IA explicável".

Resultos

• Raciocínio Causal:

  • ChatGPT(3): Teve um desempenho insatisfatório, identificando causas corretas em apenas 1 de 21 diagramas.
  • ChatGPT(4): Mostrou uma melhoria significativa, identificando corretamente o disparo do neurônio final na maioria dos casos. No entanto, na tarefa crucial de identificar as causas, teve sucesso em apenas 13 de 26 diagramas (com 2 parcialmente corretos).
  • Modos de Falha: O modelo falhou frequentemente em identificar causas raiz em diagramas complexos e exibiu erros em raciocínio lógico sequencial, onde deduções intermediárias não foram corretamente transportadas para etapas subsequentes. O desempenho degradou significativamente em diagramas não presentes na literatura de treinamento (Paul e Hall, 2013).

• Raciocínio Hipotético-Dedutivo:

  • O ChatGPT(4) forneceu respostas corretas ou quase corretas para diversas questões de física e lógica (ex.: Q1, Q4, Q5, Q7).
  • Contudo, quando submetido ao teste de listagem de hipóteses, o modelo frequentemente associou respostas corretas a hipóteses irrelevantes, erradas ou incompletas.
  • Nos casos em que a resposta estava incorreta (ex.: Q2, Q6, Q8, Q9, Q10), o modelo ainda gerou uma cadeia de raciocínio logicamente coerente, porém factualmente falha, baseada em hipóteses incorretas.
  • O estudo conclui que, embora o ChatGPT(4) possa simular a forma do raciocínio, ele carece da capacidade robusta e de nível especialista de ligar consistentemente problemas complexos às leis e regularidades subjacentes corretas.

Significância e Alegações
Os autores alegam modestamente que seu trabalho fornece um critério pragmático para avaliar a AGI, em vez de um benchmark abrangente. Eles argumentam que:

1. Limitações Atuais: Até o período de teste (meados de 2023), o ChatGPT ainda não se qualifica como AGI porque carece da capacidade confiável de raciocínio hipotético-dedutivo e causal explícito em contextos sofisticados.
2. Confiança e Explicabilidade: Para que a IA seja "confiável" e capaz de responder a perguntas de busca de explicação do tipo "por que", ela deve ser capaz de listar as hipóteses que geram suas conclusões. Os LLMs atuais, que frequentemente dependem de correlações estatísticas implícitas, falham neste teste de transparência.
3. Trajetória Futura: Os autores reconhecem que as capacidades dos LLMs estão evoluindo rapidamente (notando o salto do GPT-3.5 para o GPT-4). Eles sugerem que modelos futuros, mais poderosos, poderão eventualmente dominar esses esquemas de raciocínio, mas até que uma IA possa passar consistentemente por esses testes em nível de especialista através de diversos campos, ela não pode ser considerada uma verdadeira "máquina pensante".
4. Engajamento Filosófico: O artigo visa motivar filósofos a se envolverem com as realidades técnicas do raciocínio da IA, preenchendo a lacuna entre os benchmarks da ciência da computação e as definições epistemológicas de compreensão.