La vida secreta de la repetición en los cerebros de la IA

Imagina que estás tratando de enseñarle a un robot cómo contar una historia. Le das un "prompt", como el inicio de una frase, y le pides que adivine la siguiente palabra. Así es como funcionan muchos sistemas de Inteligencia Artificial (IA) modernos, conocidos como Modelos de Lenguaje Extensos. Son como motores de autocompletado superpotentes que han leído casi todo lo que hay en internet. Para averiguar si realmente "saben" algo, los científicos suelen usar un truco llamado "prueba de cloze". Es como un rompecabezas de completar espacios en blanco: le muestras a la IA una frase con una palabra faltante y ves si puede adivinar la correcta.

Durante años, los investigadores han creído en una regla simple sobre cómo estos cerebros de IA manejan la repetición. Pensaban que si repetías una palabra una y otra vez en el prompt, la IA se sentiría más segura de esa palabra, tal como un humano podría sentirse más cómodo con un concepto cuanto más lo escucha. Esto se llama "priming" (primado). Si dices "manzana, manzana, manzana", la IA debería pensar: "¡Vale, esto definitivamente trata sobre manzanas!" y predecir "manzana" con alta confianza. Los científicos asumieron que esta confianza seguiría aumentando cuanto más copias de la palabra se añadieran, sin importar en qué parte de la frase se le pidiera a la IA que hiciera su suposición. Pero, ¿y si esa suposición es errónea? ¿Y si el cerebro de la IA funciona de manera diferente dependiendo de dónde le pidas que mire? Esta es la pregunta que aborda el artículo de Han-yu Wang, explorando una extraña peculiaridad donde "más" repetición en realidad conduce a "menos" confianza, pero solo bajo condiciones específicas.

Cuando más se convierte en menos: El punto olvidadizo de la IA

En este estudio, el investigador configuró un pequeño y astuto experimento para probar cómo reaccionan los modelos de IA a la repetición. Imagina que tienes una palabra mágica, digamos "gato". Puedes mostrarle esta palabra a la IA de dos maneras diferentes, pero mantienes el comienzo de la historia exactamente igual.

La prueba del "Justo al lado" (Sonda adyacente):
Primero, escribes una larga lista de palabras "gato" justo hasta el final de la frase: "gato, gato, gato, gato... [adivina aquí]". Le pides a la IA que adivine la siguiente palabra.

• Qué pasó: Tal como predijo la vieja regla, la IA se volvió cada vez más segura. Cuantas más palabras "gato" añadías, más segura estaba de que la siguiente palabra sería "gato". Era como un redoble de tambor que se hacía cada vez más fuerte.

La prueba del "Comienzo fresco" (Sonda desplazada):
Luego, el investigador hizo algo tramposo. Escribió la misma lista larga de palabras "gato" al principio, pero luego añadió un punto y seguido y un marco de frase completamente nuevo antes de pedir la suposición. Se veía así: "gato, gato, gato, gato... . El cielo es azul. [adivina aquí]".

• Qué pasó: Aquí es donde el truco de magia falló. En lugar de volverse más segura, la confianza de la IA dio un giro extraño. Al principio, añadir unas pocas palabras "gato" ayudó. Pero tan pronto como la lista se hizo demasiado larga (alrededor de 5 a 10 copias), la IA empezó a perder su confianza. Para cuando habías puesto 30 palabras "gato", la IA era en realidad menos propensa a adivinar "gato" de lo que lo era con solo unas pocas copias.

El investigador llama a esta forma una "U invertida". Es como si la IA se emocionara un poco al principio, pero luego se sintiera abrumada o confundida por la enorme cantidad de repetición cuando tiene que saltar a una nueva frase para encontrar la respuesta.

El gran descubrimiento: Todo depende de dónde mires

El hallazgo más importante de este artículo es que la posición de la pregunta importa inmensamente. La misma lista de palabras repetidas puede hacer que la IA sea más inteligente si le preguntas inmediatamente después de la lista, pero puede hacerla más tonta si le preguntas una frase después.

El estudio probó esto en 13 modelos de IA diferentes, que van desde los más pequeños hasta los más grandes. Encontraron que este patrón de "U invertida" ocurrió en cada uno de ellos. No fue un error de un modelo específico. Incluso lo probaron en otros cuatro idiomas —español, chino, alemán y francés— y el mismo patrón extraño apareció. Esto sugiere que no es un error en la forma en que la IA habla inglés, sino una peculiaridad fundamental en cómo estos modelos procesan la información repetida.

Lo que NO es (Y lo que SÍ es)

El investigador no solo se detuvo en encontrar el patrón; jugó a ser detective para descubrir por qué estaba sucediendo. Quería asegurarse de que no fuera simplemente porque la frase se volviera demasiado larga, o porque la IA estuviera cansada, o porque estuviera pensando en palabras relacionadas con "gato" (como "gatito" o "ronroneo").

• No es por la longitud: Probaron frases con el mismo número de palabras pero con palabras de relleno aleatorias y aburridas en lugar de repetir "gato". El extraño descenso en la confianza no ocurrió.
• No es por palabras relacionadas: Intentaron reemplazar las palabras "gato" repetidas con palabras que significan lo mismo o que están relacionadas. De nuevo, no hubo caída en la confianza.
• SÍ es por la repetición exacta: La caída solo ocurrió cuando la misma palabra exacta se repetía una y otra vez.

Esto significa que la IA no solo se está "aburriendo" o "confundiendo" por un texto largo. Algo específico sucede cuando el mismo token (la unidad digital de construcción de una palabra) se repite demasiadas veces antes de que comience una nueva frase.

Dentro del cerebro de la IA

Para entender qué estaba pasando, el investigador echó un vistazo al interior de sus mecanismos de "atención". Puedes pensar en la atención como un foco de luz que la IA proyecta sobre diferentes partes de la frase.

• El foco se encoge: A medida que la lista de palabras "gato" crecía, la cantidad de atención que la IA le daba a cada palabra "gato" individual se hacía más pequeña. Esto tiene sentido; si tienes una cantidad fija de luz y tienes que iluminar 30 cosas, cada cosa recibe menos luz.
• El presupuesto total crece (en algunos modelos): Sorprendentemente, en los modelos que mostraron la mayor caída de confianza, la cantidad total de atención que la IA daba a todo el bloque de palabras "gato" en realidad aumentaba a medida que la lista se hacía más larga. Era como si la IA estuviera gritando "¡Miren todos estos gatos!" cada vez más fuerte, pero de alguna manera, cuando tenía que saltar a la nueva frase, ese grito hacía que fuera más difícil recordar la palabra específica "gato".

¿Por qué debería importarte?

Este artículo es una etiqueta de advertencia para cualquiera que intente probar qué tan inteligentes son estos modelos de IA. Si eres un científico intentando ver si una IA conoce un hecho, y utilizas un método que repite una palabra muchas veces para "primar" a la IA, podrías estar obteniendo lo contrario de lo que esperas. Si le haces la pregunta una frase después, podrías hacer que accidentalmente sea menos propensa a darte la respuesta correcta.

El estudio demuestra que no podemos tratar la posición de una pregunta como un detalle neutral. Dónde haces la pregunta cambia la respuesta. Es un recordatorio de que estos cerebros de IA son complejos y a veces contraintuitivos: a veces, escuchar una palabra demasiadas veces no te ayuda a recordarla; puede que simplemente te haga olvidarla, especialmente si tienes que esperar un momento antes de responder.

El investigador probó esto en 13 modelos y encontró el efecto en todos ellos. Revisó esto en 42 combinaciones diferentes de modelos e idiomas, y el patrón se mantuvo siempre. Aunque no pueden decir exactamente por qué el cerebro de la IA funciona de esta manera (es una correlación, no una explicación completa del mecanismo), han demostrado que este efecto de "más se convierte en menos" es real, consistente y ocurre de forma generalizada. Es una pieza pequeña pero crucial del rompecabezas para comprender cómo piensan realmente estos cerebros digitales.