Measuring in-context algorithmic reasoning in language models against an exact Bayes-optimal standard

Imagina que estás intentando enseñarle a un robot a resolver un rompecabezas. Le muestras algunos ejemplos: "Si pongo un bloque rojo aquí, un bloque azul aparece allá". Luego le pides que prediga qué pasará después. A veces el robot acierta, pero ¿está realmente pensando en las reglas del rompecabezas o solo está adivinando basándose en cómo suenan las palabras juntas habitualmente? Este es el gran misterio detrás de los "Modelos de Lenguaje Extensos" (LLM) modernos, los superinteligentes chatbots de IA que usamos hoy en día. Los científicos llaman a esto "aprendizaje en contexto" (in-context learning): la capacidad de aprender una nueva tarea simplemente leyendo unos pocos ejemplos en un prompt. El problema es que no tenemos una regla perfecta para medir si el robot está razonando de verdad o solo buscando patrones. Por lo general, solo podemos comparar un robot con otro, o con un humano, pero no conocemos la "visión de Dios" de cuál debería ser la respuesta perfecta.

Para solucionar esto, los autores de este artículo construyeron un universo especial, diminuto y perfectamente controlado. Crearon un benchmark llamado F-ICL. Piensa en esto como una biblioteca gigante y exhaustiva de cada programa de computadora simple posible que podría resolver un tipo específico de rompecabezas binario (usando solo 0s y 1s). Debido a que enumeraron cada uno de estos 1.5 mil millones de programas diminutos, pueden calcular la respuesta matemáticamente perfecta para cualquier rompecabezas. Esta respuesta perfecta se llama la solución "Bayes-óptima". Es el estándar de oro: la mejor suposición posible que una máquina podría hacer dada la evidencia. Ahora, finalmente pueden comparar un modelo de IA real contra este estándar de oro y ver exactamente qué tan lejos está. Es como tener el mapa perfecto de una ciudad y luego comprobar si una aplicación de GPS te está guiando realmente por la ruta más corta, o si solo está adivinando basándose en el tráfico que vio ayer.

La Gran Brecha de Razonamiento

Los investigadores tomaron un panel masivo de 105 modelos de IA diferentes —que van desde proyectos de código abierto hasta los sistemas de "frontera" más avanzados de las principales empresas tecnológicas— y los sometieron a la prueba F-ICL. Querían ver si estos modelos podían actuar como razonadores bayesianos perfectos, actualizando sus creencias lógicamente a medida que llegaba nueva evidencia.

Aquí está el giro sorprendente: los modelos son excelentes dando la respuesta correcta, pero terribles razonando como una máquina perfecta.

Aunque algunos modelos obtuvieron la respuesta final correcta hasta el 92% de las veces, su "distribución de conjeturas" interna (la forma en que ponderan diferentes posibilidades) era a menudo peor que la de un simple adivinador aleatorio. De hecho, 45 de los 46 modelos funcionaron peor que una "referencia de pulsación de teclas". Imagina a un mono golpeando aleatoriamente las teclas de un teclado; este mono aleatorio produjo en realidad una distribución de probabilidad más cercana a la verdad matemática perfecta que la mayoría de los modelos de IA avanzados. Los modelos no solo estaban ligeramente errados; estaban erróneamente seguros sobre la lógica subyacente.

El Error de "Sobre-compromiso"

Uno de los hallazgos más juguetones y reveladores es cómo se comportan los modelos cuando les das un solo ejemplo. Un razonador perfecto mejoraría ligeramente con cada nueva pista. Pero estos modelos de IA a menudo se vuelven peores después de ver un solo ejemplo antes de empezar a mejorar.

Es como si le mostraras a un detective una sola pista sobre un crimen y, en lugar de pensar cuidadosamente, este inmediatamente gritara: "¡Ya sé quién fue!" y se obsesionara con el sospechoso equivocado. Solo después de que le mostraras algunas pistas más, comenzaría a retroceder lentamente y a mirar la evidencia de nuevo. El artículo encontró que 69 de 81 ejecuciones de modelos cometieron este error, saltando a conclusiones demasiado rápido. Están "sobre-comprometiéndose" con el primer dato que ven, en lugar de esperar a ver el panorama completo.

El Tamaño No Corrige la Lógica

Podrías pensar que los modelos más grandes y más inteligentes solucionarían esto. El artículo probó modelos con miles de millones de parámetros (el "tamaño del cerebro" de la IA), desde unos diminutos de 0.8 mil millones hasta masivos de 675 mil millones. ¿El resultado? Los modelos más grandes mejoraron en dar la respuesta correcta, pero no mejoraron en el razonamiento.

La brecha entre el comportamiento del modelo y el estándar matemático perfecto se mantuvo exactamente igual, sin importar cuán enorme fuera el modelo. Ya fuera que el modelo tuviera 1 mil millones de parámetros o 600 mil millones, seguía luchando por coincidir con la lógica "Bayes-óptima" perfecta. Es como si le dieras a un estudiante una biblioteca cada vez más grande de libros (más datos), pero aún no aprendiera a usar un mapa; solo se volvió mejor memorizando los títulos de los libros.

La Trampa de la "Seguridad" y el "Entrenamiento"

El artículo también analizó qué sucede cuando los modelos son "post-entrenados"; es decir, cuando los humanos los ajustan para que sean más útiles, sigan instrucciones o sean "seguros". Sorprendentemente, este entrenamiento hizo que la brecha de razonamiento fuera más amplia.

Cuando los modelos fueron ajustados para ser "seguidores de instrucciones" o para "pensar" más, en realidad se alejaron más del estándar lógico perfecto. Parece que enseñar a un modelo a ser cortés o a seguir un formato de chat específico podría estar enseñándole a ignorar la estructura lógica pura del problema. Es como enseñarle a un jugador de ajedrez a decir siempre "Buen juego" después de una partida; puede que se vuelva más agradable, pero podría olvidar las reglas reales del juego.

La Frontera se está Estancando

Los investigadores también observaron los modelos más nuevos y costosos de las empresas tecnológicas más grandes, lanzados en los últimos dos años. Encontraron que la fidelidad al estándar lógico perfecto no ha mejorado en absoluto. Los modelos más nuevos son tan distantes del razonador perfecto como lo eran los anteriores. De hecho, el modelo más antiguo que probaron (de mayo de 2024) fue en realidad el más fiel al estándar lógico, mientras que los más nuevos fueron ligeramente peores.

El Problema de la "Terminación"

Una razón específica por la cual los modelos obtuvieron puntuaciones tan bajas fue cómo manejaron el final de una oración. El modelo matemático perfecto sabe exactamente cuándo debe detenerse una secuencia de 0s y 1s. Los modelos de IA, sin embargo, fueron muy malos en esto. A menudo adivinaban que una secuencia debía terminar cuando no debía, o continuaban cuando deberían haber parado. Este error específico representó casi el 90% de sus errores. Es como si los modelos fueran excelentes escribiendo la historia, pero terribles en saber cuándo poner un punto final.

El Veredicto

El artículo concluye que, si bien estos modelos de IA son increíblemente buenos en la completitud de patrones —encontrar la palabra siguiente más probable basada en lo que han visto antes—, aún no están realizando un razonamiento algorítmico genuino. No están construyendo un modelo mental de las reglas, solo están uniendo patrones.

Los autores lanzaron su benchmark, F-ICL, como una herramienta abierta para que otros científicos puedan seguir probando esto. Encontraron que los modelos actuales están atrapados en una zona de "búsqueda de patrones", situándose entre un adivinador aleatorio y un razonador lógico perfecto, pero mucho más cerca del adivinador aleatorio. Hasta que los modelos puedan cerrar esta brecha, pueden ser excelentes escribiendo ensayos o fragmentos de código, pero no están "pensando" verdaderamente de la manera en que esperamos. La brecha no se soluciona haciendo los modelos más grandes o entrenándolos por más tiempo; parece requerir un cambio fundamental en la forma en que procesan la información.