En el mundo de la inteligencia artificial, los grandes modelos de lenguaje son tratados a menudo como herramientas universales: haces una pregunta y ellos proporcionan una respuesta. Durante años, los investigadores han sabido que la forma en que haces esa pregunta, las palabras específicas, el formato o el estilo del prompt, puede cambiar drásticamente el resultado. Un prompt que hace que un modelo parezca brillante podría hacer que otro parezca insensato, e incluso cambios pequeños y sin sentido en el texto pueden alterar las clasificaciones de qué modelo es el "mejor". Este fenómeno, conocido como interacción prompt-modelo, ha sido bien documentado en tareas como la resolución de problemas matemáticos o la escritura de código. Sin embargo, un misterio persistente permanecía: ¿pertenece esta sensibilidad a la compleja maquinaria que el modelo utiliza para realizar tareas, o es una propiedad fundamental de cómo el modelo procesa la información en sí mismo? Para responder a esto, los científicos necesitaban observar al modelo cuando no estaba intentando hacer nada en absoluto. Necesitaban observar a la máquina en un estado de pura existencia libre de tareas, despojada de instrucciones, objetivos o la presión de ser correcta.

Un equipo de investigadores independientes se propuso investigar esto eliminando la tarea por completo. En lugar de pedirle a un modelo que resuelva un problema, le suministraron una secuencia corta de texto y observaron qué sucedía cuando el modelo se veía obligado a predecir la siguiente palabra, y luego la palabra siguiente, en un bucle continuo. Debido a que el modelo no estaba muestreando de forma aleatoria, sino que seguía una regla estricta y determinista para elegir la palabra más probable siguiente, el proceso fue como una bola rodando por una colina hasta asentarse en un valle. En algunos casos, la bola rodaría hacia un único valle estable y permanecería allí para siempre; en otros, podría quedarse atrapada en un bucle o vagar sin rumbo. Los investigadores midieron con qué frecuencia las predicciones del modelo se asentaban en ese estado estable, una métrica que llamaron fracción de punto fijo. Luego probaron cómo cambiaba este comportamiento al añadir un prefijo corto de texto, solo nueve palabras o tokens, antes de que comenzara la secuencia. El objetivo era simple: ver si un pequeño fragmento de texto adicional podía alterar fundamentalmente la trayectoria interna del modelo, incluso cuando el modelo no estaba intentando lograr nada.

Los resultados fueron sorprendentes y desafiaron las propias expectativas de los investigadores. Encontraron que la interacción entre el prompt y el modelo alcanzaba esta lectura libre de tareas con toda su fuerza. Añadir solo nueve tokens de texto de condicionamiento fue suficiente para mover el readout medido a través de casi todo su rango posible. Para algunos modelos, esta pequeña adición convirtió un patrón de predicción caótico y errante en uno perfectamente estable. Para otros, hizo exactamente lo contrario, destruyendo un patrón previamente estable y enviando las predicciones a un bucle. El efecto fue tan poderoso que podía cambiar la clasificación estructural del comportamiento de un modelo por completo. Para poner esto en perspectiva, los investigadores compararon este cambio con el impacto del ajuste de instrucciones (instruction tuning), un proceso de entrenamiento masivo que típicamente aumenta el rendimiento de un modelo en los benchmarks estándar en más de sesenta puntos. Mientras que ese entrenamiento de mano pesada movía significamente el rendimiento de la tarea del modelo, dejaba este readout estructural completamente inalterado. En contraste, un prefijo de apenas nueve palabras podía cambiar el comportamiento del modelo de un extremo al otro. Esto demostró que la interacción prompt-modelo no es solo una peculiaridad de cómo los modelos siguen instrucciones; es un hecho estructural profundo sobre cómo un modelo lee un fragmento de texto.

Los investigadores intentaron entonces explicar por qué sucedió esto, proponiendo varias teorías naturales que parecían plausibles. Se preguntaron si la longitud del texto añadido era la causa, o si el contenido, ya fuera prosa simple o código formateado, era el motor. También consideraron si el efecto era universal, es decir, si siempre empujaba a los modelos en la misma dirección, o si era un rasgo específico de ciertos tipos de modelos, como aquellos entrenados para seguir instrucciones. Probaron estas ideas rigurosamente, comenzando con grupos pequeños de modelos y luego ampliando su muestra para incluir arquitecturas y tipos de texto más diversos. Las cinco factorizaciones específicas que propusieron fallaron al ampliar la muestra. El efecto no se debía simplemente a la longitud del texto; de hecho, la relación no era suave ni predecible, con algunos modelos reaccionando salvajemente ante una sola palabra extra mientras otros la ignoraban. El contenido del texto también falló al explicar el patrón; lo que funcionaba para un modelo a menudo fallaba para otro, y la dirección del cambio se invertía dependiendo de la combinación específica de texto y modelo. Incluso la idea de que los modelos entrenados para seguir instrucciones resistirían estos cambios resultó falsa cuando probaron una variedad más amplia de textos.

Lo que quedó después de que estas cinco explicaciones se disolvieran fue una realidad simple y obstinada: el efecto pertenecía al par específico de prompt y modelo, no a uno u otro individualmente. Un prefijo fijo de nueve palabras podía conducir a cuatro modelos diferentes hacia un estado de estabilidad total mientras empujaba a otros dos hacia el caos total. El mismo texto que hacía que las predicciones de un modelo se bloquearan en su lugar causaba que otro colapsara. Este comportamiento sobrevivió incluso cuando los investigadores utilizaron texto común en el mundo real, demostrando que no era solo un artefacto del uso de palabras extrañas o aleatorias. Los investigadores también observaron la mecánica interna de los modelos, específicamente cuánto atendía el modelo al primer token de la secuencia. Una teoría popular sugería que los tokens tempranos actúan como un "sumidero" (sink), absorbiendo el enfoque del modelo y dictando el resultado. Sin embargo, cuando midieron esto, la teoría no logró predecir la dirección del cambio. En algunos modelos, el sumidero de atención aumentó y la estabilidad subió; en otros, el sumidero de atención aumentó pero la estabilidad se desplomó. La explicación mecánica se mantuvo cierta para el texto del mundo real pero falló por completo para las entradas aleatorias utilizadas en su sonda, sugiriendo que los investigadores estaban operando fuera del régimen donde esa teoría mecánica aplica.

El estudio concluye que la unidad de explicación para este fenómeno es el par prompt-modelo en sí mismo. No existe una regla única sobre la longitud del texto, el contenido o el tipo de modelo que pueda predecir cómo reaccionará un modelo específico a un prompt específico. Los investigadores encontraron que sus propios intentos de encontrar una regla universal a menudo tropezaban con un error sutil: aplicar un criterio rígido a una cantidad que no tenía margen de variación. Por ejemplo, inicialmente pensaron que habían encontrado una dirección universal donde todos los modelos se movían de la misma manera, solo para darse cuenta de que su pequeña muestra había ocultado las excepciones. Al ampliar su muestra y negarse a aceptar patrones que no pudieran fallar, aseguraron que sus hallazgos fueran honestos. La imagen final es una de especificidad profunda. La forma en que un modelo lee un fragmento de texto no es una propiedad genérica del modelo, ni es una propiedad genérica del texto. Es una interacción única que emerge solo cuando ese texto específico se encuentra con ese modelo específico. Los investigadores invitan a la comunidad científica a continuar probando esto, pero hasta que un nuevo factor pueda sobrevivir al mismo rigor de ampliación de la muestra, la respuesta sigue siendo que la interacción es un evento específico del par, resistente a la categorización simple.