A criterion for Artificial General Intelligence: hypothetic-deductive reasoning, tested on ChatGPT

Resumen Técnico: Un Criterio para la Inteligencia Artificial General: Razonamiento Hipotético-Deductivo, Probado en ChatGPT

Planteamiento del Problema
El artículo aborda la pregunta fundamental de si los Modelos de Lenguaje Extensos (LLM), específicamente ChatGPT (basado en GPT-3.5 y GPT-4), poseen las capacidades cognitivas requeridas para calificar como "Inteligencia Artificial General" (AGI) o verdaderas "máquinas pensantes". Si bien los LLM han demostrado capacidades impresionantes en la recuperación de conocimientos, programación y tareas de dominios específicos, los autores argumentan que persiste una brecha crítica en su capacidad para realizar un razonamiento "genuino". El problema central es identificar un esquema subsumidor de razonamiento que caracterice la inteligencia humana y determinar si los sistemas de IA actuales pueden dominarlo. Los autores postulan que, aunque los LLM sobresalen en la completación estadística de texto, pueden carecer de la capacidad para el razonamiento hipotético-deductivo (la aplicación de teorías para deducir soluciones) y el razonamiento causal (identificar relaciones de causa-efecto), los cuales son esenciales para una IA explicable y confiable.

Metodología
Los autores proponen dos marcos de prueba específicos para evaluar estas capacidades de razonamiento, aplicándolos a ChatGPT(3) y ChatGPT(4):

1. Prueba de Razonamiento Causal:

   • Estímulos: El estudio utiliza un compendio de 26 "diagramas de neuronas" abstractos (adaptados de Paul y Hall, 2013) que representan situaciones causales complejas, incluyendo redundancia, omisiones y transitividad.
   • Procedimiento: Los diagramas se transcriben en descripciones textuales. Se le pide a ChatGPT que determine si una neurona final se dispara y, crucialmente, que identifique las causas específicas (raíz y próximas) para ese resultado.
   • Evaluación: Las respuestas se comparan contra el consenso humano intuitivo y las definiciones formales contrafácticas de la causalidad.

2. Prueba de Razonamiento Hipotético-Deductivo:

   • Estímulos: Una serie de preguntas que requieren razonamiento de física, biología y psicología social elemental. Estas preguntas están diseñadas para ser resolubles por humanos con entrenamiento mínimo, pero es improbable que aparezcan de forma literal en los datos de entrenamiento, obligando al modelo a sintetizar el conocimiento en lugar de recuperarlo.
   • Procedimiento: Los autores emplean un método de "listado de hipótesis" (una variante del prompting de Cadena de Pensamiento o Chain-of-Thought). Después de que el modelo proporciona una respuesta, se le solicita explícitamente "razonar paso a paso y enumerar todas las hipótesis y leyes de la naturaleza" utilizadas para derivar esa respuesta.
   • Evaluación: El desempeño del modelo se juzga no solo por la corrección de la respuesta final, sino por la validez y relevancia de las hipótesis enumeradas. Una respuesta correcta derivada de hipótesis irrelevantes o incorrectas se considera un fallo de razonamiento genuino.

Contribuciones Clave

• Definición de un Criterio de AGI: El artículo propone que la capacidad de emular el razonamiento hipotético-deductivo explícito a un nivel experto en una amplia gama de contextos es una condición necesaria para la AGI. Esto distingue la "comprensión verdadera" de la "improvisación sobre la marcha" o la correlación estadística.
• La Prueba de Listado de Hipótesis: Los autores introducen una herramienta de diagnóstico práctica para sondear la lógica interna de los LLM. Al forzar al modelo a declarar explícitamente las leyes y regularidades en las que se apoya, la prueba revela si el modelo está simulando el razonamiento o simplemente recuperando patrones.
• El Razonamiento Causal como un Proxy: El artículo argumenta que el razonamiento causal es un derivado simplificado del razonamiento hipotético-deductivo y sirve como un proxy válido, aunque elemental, para probar el pensamiento basado en teorías en la IA.
• Distinción entre Razonamiento Implícito y Explícito: El estudio destaca la diferencia entre una IA que produce un resultado correcto (que puede ser estadísticamente probable) y una IA capaz de justificar dicho resultado con un conjunto coherente de hipótesis explícitas, un requisito para la "IA explicable".

Resultados

• Razonamiento Causal:

  • ChatGPT(3): Se desempeñó pobremente, identificando las causas correctas en solo 1 de 21 diagramas.
  • ChatGPT(4): Mostró una mejora significativa, identificando correctamente el estado de disparo de la neurona final en la mayoría de los casos. Sin embargo, en la tarea crucial de identificar las causas, tuvo éxito en solo 13 de 26 diagramas (con 2 parcialmente correctos).
  • Modos de Fallo: El modelo falló frecuentemente al identificar causas raíz en diagramas complejos y exhibió errores en el razonamiento secuencial lógico, donde las deducciones intermedias no se trasladaron correctamente a los pasos subsiguientes. El desempeño se degradó significamente en diagramas no presentes en la literatura de entrenamiento (Paul y Hall, 2013).

• Razonamiento Hipotético-Deductivo:

  • ChatGPT(4) proporcionó respuestas correctas o casi correctas a varias preguntas de física y lógica (por ejemplo, Q1, Q4, Q5, Q7).
  • Sin embargo, cuando se sometió a la prueba de listado de hipótesis, el modelo frecuentemente asoció respuestas correctas con hipótesis irrelevantes, erróneas o incompletas.
  • En los casos donde la respuesta fue incorrecta (por ejemplo, Q2, Q6, Q8, Q9, Q10), el modelo generó una cadena de razonamiento lógicamente coherente pero fácticamente errónea basada en hipótesis incorrectas.
  • El estudio concluye que, si bien ChatGPT(4) puede simular la forma del razonamiento, carece de la capacidad robusta y de nivel experto para vincular consistentemente problemas complejos con las leyes y regularidades subyacentes correctas.

Significancia y Reivindicaciones
Los autores reivindican modestamente que su trabajo proporciona un criterio pragmático para evaluar la AGI, en lugar de un benchmark exhaustivo. Argumentan que:

1. Limitaciones Actuales: Al momento de la prueba (mediados de 2023), ChatGPT aún no califica como AGI porque carece de la capacidad fiable para el razonamiento hipotético-deductivo y causal explícito en contextos sofisticados.
2. Confianza y Explicabilidad: Para que la IA sea "confiable" y capaz de responder a preguntas de tipo "¿por qué?" que buscan explicaciones, debe ser capaz de listar las hipótesis que generan sus conclusiones. Los LLM actuales, que a menudo dependen de correlaciones estadísticas implícitas, fallan en esta prueba de transparencia.
3. Trayectoria Futura: Los autores reconocen que las capacidades de los LLM evolucionan rápidamente (notando el salto de GPT-3.5 a GPT-4). Sugieren que modelos futuros más poderosos podrían eventualmente dominar estos esquemas de razonamiento, pero hasta que una IA pueda pasar consistentemente estas pruebas a un nivel experto en diversos campos, no puede ser considerada una verdadera "máquina pensante".
4. Compromiso Filosófico: El artículo pretende motivar a los filósofos a comprometerse con las realidades técnicas del razonamiento de la IA, cerrando la brecha entre los benchmarks de la informática y las definiciones epistemológicas de la comprensión.