Reasoning Models of Artificial Intelligence Think Like Humans Do
Este artículo sostiene que tanto el comportamiento humano como las capacidades de razonamiento de los modelos de lenguaje de gran tamaño modernos se explican mejor mediante una teoría mediacional, en la cual procesos mediadores reforzados y paso a paso (como la cadena de pensamiento) subyacen a lo que parece ser inteligencia derivada o emergente.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Durante décadas, los científicos han debatido cómo la mente resuelve problemas que nunca fueron enseñados explícitamente. Cuando un niño aprende a identificar un coche a partir de una imagen, o cuando un estudiante deduce un nuevo problema matemático sin que se le hayan mostrado los pasos exactos, a menudo parece como si una conexión "derivada" y oculta hubiera aparecido repentinamente en el cerebro. Algunas teorías sugieren que estas conexiones surgen espontáneamente, eludiendo la instrucción directa. Sin embargo, una perspectiva diferente sostiene que nada surge verdaderamente sin un historial de refuerzo. Esta visión, conocida como teoría mediacional, propone que lo que parece un súbito insight es en realidad el resultado de una serie de pequeños pasos intermedios. Estos pasos —a menudo palabras silenciosas o imágenes mentales— son practicados y fortalecidos por sus propias consecuencias, incluso si el profesor o el investigador nunca pretendieron entrenarlos específicamente. Es una cuestión de si la mente construye puentes entre ideas a través de hábitos invisibles y reforzados o mediante un misterioso salto de lógica.
Esta cuestión ha pasado recientemente de estudiar el comportamiento humano al corazón de la inteligencia artificial. Una nueva perspectiva de investigadores de la Universidad de Posgrado de Claremont, el Instituto de Tecnología de Florida y la Universidad Estatal de California en Los Ángeles sugiere que los programas informáticos más avanzados están demostrando ahora el mismo punto que los científicos del comportamiento han argumentado durante mucho tiempo. Al examinar cómo los modelos de lenguaje extensos modernos resuelven tareas complejas, los autores muestran que estas máquinas no saltan directamente a una respuesta. En su lugar, participan en un proceso paso a paso que refleja el mismo comportamiento humano descrito por la teoría mediacional. Los investigadores sostienen que el "razonamiento" observado en estos sistemas no es magia o un repentino surgimiento de inteligencia, sino el resultado de un entrenamiento que refuerza cada paso intermedio de una solución, tal como un aprendiz humano refuerza sus propios pensamientos internos.
El artículo comienza revisando la idea de las relaciones derivadas, que son conexiones entre cosas que una persona no ha sido enseñada a vincular directamente. En experimentos tradicionales, a un niño se le puede enseñar que la imagen de un coche va con la palabra "coche", y más tarde, sin entrenamiento adicional, podría señalar correctamente el coche cuando se le pide que busque el "coche" entre otros objetos. Esto se denomina a menudo equivalencia de estímulos. Los autores desafían la idea de que este vínculo sea no entrenado o no reforzado. Proponen que cuando el niño escucha la palabra "coche", repite la palabra para sí mismo de forma silenciosa o en voz alta. Este acto de repetir la palabra es un comportamiento mediador. Debido a que el niño está en presencia del coche, decir la palabra "coche" es reforzado por la concordancia entre lo que escucha y lo que dice. Este refuerzo ocurre directamente, incluso si el investigador no planeó explícitamente recompensar al niño por decir la palabra. La conexión no es un misterio; es un resultado directo del propio comportamiento del niño siendo fortalecido por el entorno.
Los autores extienden esta lógica a cómo se está enseñando a pensar a las computadoras. Las primeras versiones de la inteligencia artificial eran como simples máquinas de predicción. Observaban una frase y adivinaban la siguiente palabra basándose en patrones estadísticos, de forma muy similar a como una persona adivina la siguiente palabra en una frase familiar. Estos sistemas podían responder preguntas, pero lo hacían en un solo disparo rápido, sin desglosar el problema. Carecían de la capacidad de razonar a través de un asunto complejo. El cambio hacia los "modelos de razonamiento" ocurrió cuando los ingenieros se dieron cuenta de que obligar a la computadora a mostrar su procedimiento mejoraba su rendimiento. En lugar de solo dar una respuesta, se le solicita a la computadora que genere una cadena de pensamiento, una secuencia de pasos que conducen a la solución. Este cambio en la forma en que se entrena a la computadora se alinea perfectamente con la teoría mediacional del comportamiento humano.
El entrenamiento de estos modelos de razonamiento ocurre en etapas, cada una refinando cómo aprende la máquina. Primero, el modelo es expuesto a vastas cantidades de texto, aprendiendo los patrones básicos del lenguaje. Luego, es ajustado con ejemplos de respuestas útiles y seguras proporcionadas por expertos humanos. Finalmente, y lo más importante para este argumento, el modelo se somete a un aprendizaje por refuerzo. En esta etapa, la computadora no solo es evaluada si su respuesta final es correcta o incorrecta; se evalúa cada paso que tomó para llegar allí. Cuando un modelo resuelve un problema correctamente, el sistema refuerza toda la cadena de pasos que condujo a esa respuesta. Sin embargo, en los modelos estándar que recompensan solo la respuesta final, el sistema refuerza toda la cadena como un grupo, lo que significa que un paso erróneo podría ser fortalecido si la respuesta final resulta ser correcta. Para abordar esto, se han desarrollado modelos específicos de "recompensa de proceso" que verifican la precisión de cada paso individualmente. En estos sistemas avanzados, si un paso es incorrecto, su probabilidad disminuye incluso si la respuesta final es correcta, asegurando que la máquina aprenda a tomar pasos intermedios correctos en lugar de llegar a una conclusión correcta por suerte.
Los investigadores señalan que esto es exactamente cómo funciona la resolución de problemas humanos. Cuando una persona enfrenta una tarea difícil, no suele producir la respuesta final en un solo estallido ininterrumpido. En su lugar, desglosa el problema, hablándose a sí misma o escribiendo los pasos. Cada paso sirve como una señal para el siguiente y es reforzado por el progreso que realiza hacia la solución. Los autores señalan que cuando los ingenieros informáticos observaron que sus modelos repentinamente comenzaban a revisar su propio trabajo o a corregir sus propios errores, lo llamaron un comportamiento "emergente". Los investigadores argumentan que esto es un nombre erróneo. Nada emergió que no fuera reforzado. Los modelos aprendieron a revisar su trabajo porque hacerlo conducía a respuestas correctas con más frecuencia, y el sistema recompensaba esas cadenas de comportamiento. La "emergencia" fue simplemente una brecha en el conocimiento del observador sobre la historia del entrenamiento, no una brecha en el mecanismo de acción.
Esta convergencia de la informática y la ciencia del comportamiento ofrece una visión poderosa. Los ingenieros que construyeron estos sistemas llegaron a la misma conclusión que los científicos del comportamiento: la forma más efectiva de resolver un problema complejo es utilizar una secuencia de pasos mediadores que se refuerzan en el camino. El artículo sugiere que esto no es una coincidencia, sino una verdad fundamental sobre cómo se resuelven los problemas, ya sea mediante un cerebro humano o un chip de silicio. El "razonamiento" que vemos en estos modelos avanzados es simplemente el resultado de un historial de entrenamiento que fortalece los comportamientos intermedios necesarios para alcanzar una meta. Al comprender esto, podemos ver que el pensamiento complejo y paso a paso que admiramos tanto en humanos como en máquinas se construye sobre los mismos principios básicos de aprendizaje y refuerzo. El misterio de cómo pensamos no se encuentra en un salto oculto de lógica, sino en los pasos silenciosos y reforzados que damos para llegar allí.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.