Imagina que estás intentando enseñarle a un robot cómo escribir una historia o resolver un problema matemático. Durante mucho tiempo, la mejor manera de hacerlo era enseñarle al robot a decir una palabra a la vez, estrictamente de izquierda a derecha, como un humano leyendo un libro. Esto se llama generación "autorregresiva". Funciona bien, pero es un poco rígido. Si el robot comete un error en la primera frase, tiene que seguir escribiendo el resto de la historia basándose en ese error, o tiene que empezar todo de nuevo. No puede volver fácilmente atrás para arreglar el principio mientras escribe el medio, tal como lo hace un editor humano.

Recientemente, los científicos descubrieron un nuevo tipo de IA llamada "Modelo de Difusión con Máscara" (Masked Diffusion Model). Piensa en esto como un juego de "completar los espacios en blanco". En lugar de escribir palabras una por una, la IA observa una frase donde algunas palabras están ocultas (enmascaradas) e intenta adivinar cuáles son. Debido a que puede mirar cualquier palabra oculta en cualquier momento, debería ser capaz de saltar de un lado a otro, arreglar el principio, luego el final, luego el medio, en cualquier orden que desee. Esto se llama "inferencia en cualquier orden" (any-order inference). Suena como la herramienta perfecta para tareas complejas como la programación, donde los programadores suelen saltar entre la visión general y los detalles minúsculos. Pero aquí está el truco: el hecho de que la IA pueda saltar de un lado a otro no significa que lo haga.

Este artículo investiga por qué estos poderosos robots de "completar los espacios en blanco" a menudo se quedan estancados en una rutina, actuando igual que los viejos robots de "izquierda a derecha", a pesar de tener la libertad de hacer lo contrario. Los autores, un equipo de investigadores de la Universidad de Texas en Austin y la Universidad de Harvard, descubrieron una trampa oculta llamada "incertidumbre posicional". Descubrieron que, si bien la IA puede saber qué palabra necesita (como una función específica en un programa informático), se confunde sobre dónde debe ir esa palabra en la frase final. Debido a que no está segura de la ubicación, juega sobre seguro y rellena los espacios en blanco en un orden aburrido y predecible, perdiendo la oportunidad de la capacidad de pensamiento no lineal para la que se suponía que era buena.

Para solucionar esto, los investigadores no solo ajustaron la confianza del robot; le dieron dos nuevos superpoderes. El primero es como darle al robot unas tijeras y un pegamento. En lugar de estar atrapado con un número fijo de espacios en blanco, el robot ahora puede insertar nuevos espacios en blanco donde sea necesario, desplazando toda la frase para hacer sitio a nuevas ideas. El segundo superpoder es como enseñarle al robot a pensar en "fragmentos" o "párrafos" en lugar de palabras individuales. En lugar de adivinar un carácter a la vez, adivina bloques enteros de significado a la vez, lo que le permite decidir qué gran idea construir a continuación sin perderse en los detalles.

El equipo probó estas ideas en problemas de programación y matemáticas. Descubrieron que, al utilizar estos nuevos métodos, los robots realmente empezaron a pensar más como los programadores humanos, saltando de un lado a otro de diferentes partes del código para refinar su trabajo. Esto condujo a mejores resultados, con los robots resolviendo más problemas correctamente que antes. El artículo sugiere que, para lograr que la IA razone verdaderamente como un humano, necesitamos diseñar modelos que no solo tengan la capacidad de saltar de un lado a otro, sino que estén construidos de una manera que haga que saltar sea la opción natural y fácil.

El Problema: La Trampa del "Lienzo Fijo"

Los investigadores comenzaron analizando por qué estos modelos de "completar los espacios en blanco" (Modelos de Difusión con Máscara, o MDM) no estaban cumpliendo con sus expectativas. En teoría, un MDM debería ser capaz de revelar cualquier token oculto en una secuencia en cualquier momento. Si le pides que escriba un programa en Python, debería ser capaz de escribir el nombre de la función, luego saltar al bucle, y luego volver a la definición de la variable, todo en un orden caótico y humano.

Sin embargo, cuando observaron a los modelos en acción, vieron algo decepcionante. Aunque los modelos tenían la libertad de elegir cualquier orden, casi siempre elegían rellenar los espacios en blanco de izquierda a derecha, tal como los robots de la vieja escuela. Los autores llaman a esto "colapso causal". Es como si el robot tuviera un mapa de toda la ciudad pero decidiera caminar por la calle bloque a bloque de todos modos, ignorando todos los atajos.

El artículo argumenta que esto no es solo un mal hábito; es un fallo fundamental en la forma en que estos modelos están construidos. El problema es la incertidumbre posicional. Imagina que estás construyendo un castillo de LEGO. Sabes que necesitas una pieza de "torre". Pero aún no sabes exactamente dónde va la torre porque no has construido las paredes alrededor de ella. Si intentas colocar la torre ahora, podrías ponerla en el lugar equivco.

En un MDM estándar, el "lienzo" (la secuencia de tokens) es fijo. El modelo tiene que decidir: "¿Pongo la palabra 'return' aquí, o aquí, o aquí?". Si el modelo sabe que necesita una sentencia 'return' pero no está seguro de si pertenece dentro de un bucle o después de él, su confianza se divide entre todos esos posibles lugares. Debido a que la confianza está repartida, el modelo se siente "menos seguro" de colocar esa sentencia 'return' que de colocar una palabra simple que claramente sigue a la anterior. Por lo tanto, para ir sobre seguro, simplemente rellena primero las palabras fáciles y locales, bloqueándose efectivamente en un orden de izquierda a derecha. El artículo muestra que esto sucede incluso cuando el modelo es muy inteligente; la cuadrícula fija del lienzo lo obliga a tomar decisiones prematuras.

La Solución 1: FlexMDM (Las Tijeras y el Pegamento)

Para solucionar el problema de "¿dónde pongo esto?", la primera solución se llama FlexMDM. Este enfoque cambia las reglas del juego al eliminar el lienzo fijo.

Imagina que estás escribiendo una historia en un papel, pero en lugar de estar atrapado con las líneas que empezaste, tienes una goma de borrar mágica y un pegamento. Si escribes una frase y te das cuenta de que necesitas un nuevo párrafo en medio, puedes insertar mágicamente un nuevo espacio de línea justo ahí. Las palabras que escribiste antes pueden deslizarse para hacer sitio.

FlexMDM hace exactamente esto. Le permite al modelo insertar nuevos tokens (o máscaras) durante el proceso de generación. Cuando el modelo decide revelar un token, no tiene que comprometerse con un lugar permanente en la secuencia final. Más tarde, si el modelo decide que necesita más espacio o una estructura diferente, puede insertar nuevos huecos, y los tokens revelados anteriormente se desplazarán a sus nuevas posiciones correctas.

Este simple cambio rompe la trampa de la "incertidumbre posicional". El modelo ya no tiene que preocuparse de "¿Es este el lugar correcto?", porque el lugar puede moverse. Los investigadores descubrieron que esto permitió al modelo generar código de una manera mucho más humana. En lugar de terminar una línea por completo antes de empezar la siguiente, el modelo podía redactar el nombre de una función, luego saltar para escribir un bucle, y luego volver para rellenar los detalles de la función. Midieron esto observando la estructura de "árbol" del código y encontraron que FlexMDM era mucho más propenso a saltar entre diferentes ramas del código, mientras que el modelo estándar simplemente avanzaba recto por un solo camino.

En sus pruebas, ajustaron un modelo de 7 mil millones de parámetros (Dream-Coder) para usar este método. En las pruebas de referencia de codificación como HumanEval y MBPP, este nuevo modelo "flexible" funcionó mejor que el original, especialmente cuando permitieron que generara múltiples intentos (Pass@16). Demostró que, al permitir que el modelo reorganizara el lienzo, podía explorar soluciones más creativas.

La Solución 2: LatentMDM (Pensar en Fragmentos)

La segunda solución, LatentMDM, adopta un enfoque diferente. En lugar de luchar con la posición de las palabras individuales, cambia el nivel en el que piensa el modelo.

Imagina que intentas describir una película a un amigo. Si intentas describirla palabra por palabra ("El hombre caminó, luego se detuvo, luego miró..."), es difícil captar la visión general. Pero si la describes en "escenas" o "fragmentos" ("Primero, el héroe entra en la habitación. Luego, ve al villano. Finalmente, pelean."), es mucho más fácil saltar de un lado a otro. Puedes decir: "Hablemos primero de la escena de la pelea", sin preocuparte por las palabras exactas utilizadas en la escena de la entrada.

LatMDM hace esto agrupando los tokens en segmentos semánticos (como líneas de código o bloques lógicos) y tratando cada segmento como una unidad única en un "espacio latente" (una representación de significado comprimida y abstracta). En lugar de adivinar un token a la vez, el modelo adivina qué segmento revelar a continuación.

Esto traslada la "incertidumbre posicional" del nivel de las palabras individuales al nivel de las ideas completas. El modelo no tiene que preocuparse de si una palabra específica va en el lugar 5 o en el 6; simplemente decide: "Voy a escribir el segmento del 'bucle' a continuación". Debido a que los segmentos son más gruesos, el modelo puede tener mucha más confianza sobre el orden de las ideas, incluso si las palabras exactas dentro de ellas aún se están definiendo.

Los investigadores entrenaron un modelo más pequeño de 125 millones de parámetros desde cero usando este método en un conjunto de datos matemáticos llamado TinyGSM. Descubrieron que este modelo podía elegir revelar segmentos en un orden que no fuera de izquierda a derecha, algo que los modelos estándar no podían hacer de manera efectiva. De hecho, LatentMDM superó a los modelos estándar e incluso a algunos modelos autorregresivos más grandes en problemas matemáticos, todo ello funcionando más rápido. Esto sugiere que, al pensar en "fragmentos", el modelo puede navegar el espacio de soluciones de manera más eficiente, encontrando el camino correcto sin perderse en los detalles.

Lo que esto significa

El artículo concluye que tener la interfaz para la inferencia en cualquier orden (la capacidad de elegir cualquier espacio en blanco) no es suficiente. La mecánica interna del modelo también debe soportarlo. Si el modelo está atrapado en una cuadrícula fija de palabras, naturalmente colapsará en un orden de izquierda a derecha porque tiene demasiado miedo de cometer un error sobre dónde van las cosas.

Ya sea haciendo la cuadrícula flexible (FlexMDM) o pensando en fragmentos más grandes (LatentMDM), los investigadores demostraron que la IA puede romper verdaderamente el hábito de "izquierda a derecha". Estos modelos no solo generan texto; lo generan con una estructura que imita cómo los humanos realmente piensan y construyen cosas complejas: saltando de un lado a otro, refinando ideas y explorando diferentes caminos antes de asentarse en una solución final.

Los autores advierten cuidadosamente que estos son pasos prometedores, no una solución definitiva a todos los problemas de razonamiento de la IA. Probaron estas ideas principalmente en codificación y matemáticas, y aunque los resultados fueron sólidos, sugieren que se necesita más trabajo para ver si estos comportamientos de "cualquier orden" funcionan para otros tipos de tareas o a mayor escala. Pero el mensaje central es claro: para construir una IA que razone como un humano, debemos dejar de obligarla a escribir como una máquina de escribir y empezar a dejar que piense como un arquitecto.