Language Models Agree With Each Other, Not With Readers

La cámara de eco de la IA frente al lector silencioso

Imagina que estás en una habitación llena de personas intentando adivinar de qué trata un libro misterioso e invisible. Si le pides a un grupo de humanos que lean una página y subrayen las frases más importantes, obtendrás un caos desordenado y hermoso. Una persona subraya un chiste divertido, otra marca un dato triste y una tercera rodea una palabra que le gusta cómo suena. Todos leen por sus propias razones, sin instrucciones, sin premios y sin nadie que les diga qué significa "importante". Así es como funciona la lectura real: es personal, desordenada y llena de desacuerdos.

Ahora, imagina que reemplazas a esos humanos con una flota de computadoras superinteligentes, todas entrenadas con la misma biblioteca masiva de internet. Les haces exactamente la misma pregunta: "¿Qué frases de esta historia importan?". Podrías esperar que fueran tan desordenadas como los humanos, o incluso más diversas por ser máquinas diferentes. Pero aquí está el giro: estas computadoras están empezando a sonar exactamente igual las unas a las otras. Todas están eligiendo las mismas frases, con un nivel de acuerdo que ningún grupo de humanos alcanza jamás. Este artículo investiga ese extraño fenómeno. Se pregunta: ¿Están estos modelos de IA simplemente copiándose unos a otros, o de alguna manera todos han decidido una única forma "correcta" de leer? Y si están tan de acuerdo entre sí, ¿están de acuerdo con nosotros?

El experimento: Una batalla de subrayado

Para encontrar la respuesta, los investigadores organizaron un juego único. No contrataron personas para que actuaran como sujetos de prueba ni les pagaron para seguir reglas. En su lugar, observaron una plataforma social real donde miles de personas comunes habían estado subrayando texto en 120 artículos web por sus propias razones personales: tal vez para recordar un dato, citar a un amigo o simplemente porque una frase les pareció adecuada. Crucialmente, estos lectores no podían ver los subrayados de los demás; leían en total aislamiento.

Luego, los investigadores pidieron a 18 modelos de IA diferentes (de grandes empresas como OpenAI, Google y Anthropic, que van desde modelos pequeños hasta los superpotentes modelos "frontera") que leyeran los mismos 120 artículos y seleccionaran el 20% de las frases que parecieran más importantes. Compararon cuánto coincidían las IA entre sí frente a cuánto coincidían los humanos reales entre sí.

El gran descubrimiento: Las IA son mejores amigas (pero no contigo)

Los resultados fueron sorprendentes. Cuando dos modelos de IA diferentes leían el mismo artículo, coincidían en qué frases eran importantes aproximadamente 2.3 veces más de lo que dos lectores humanos aleatorios coincidían entre sí.

Para ponerlo en perspectiva:

• Dos humanos leyendo la misma página podrían compartir unas 4.1 frases subrayadas de un conjunto típico de 14.
• Dos modelos de IA leyendo esa misma página compartían unas 8.7 frases.
• Incluso más impactante: los dos modelos más potentes de empresas rivales (GPT-5.4 y Claude Opus 5) coincidieron entre sí 5.1 veces más de lo que lo hicieron dos humanos. De hecho, coincidieron casi tanto como un solo humano coincide consigo mismo al leer el mismo texto dos veces.

El artículo llama a esto "convergencia". Significa que las IA están marchando al unísono, eligiendo las mismas frases "mejores", mientras que los humanos marchan en direcciones diferentes.

Lo que NO es (descartando las explicaciones erróneas)

Los investigadores fueron muy cuidadosos para asegurarse de que esto no fuera un truco. Probaron y descartaron varias razones obvias por las cuales las IA podrían estar de acuerdo tanto:

• No es porque sean de la misma empresa: Los modelos de laboratorios y países totalmente distintos coincidieron tanto como los modelos de la misma compañía.
• No es porque sean "deterministas" (robóticos): Incluso cuando se le pedía a la misma IA la misma pregunta dos veces, no siempre elegía las mismas frases (solo coincidía consigo misma aproximadamente el 27% de las veces). Pero cuando interactuaba con una IA distinta, coincidían mucho más.
• No es por la redacción del prompt: Cambiar ligeramente las palabras de la instrucción no evitó que coincidieran.
• No es porque estén copiando una respuesta "correcta": La tarea no tenía una respuesta correcta o incorrecta. Las IA solo estaban eligiendo lo que consideraban importante.

El misterio del "registro": ¿Les gustan palabras diferentes?

Uno podría suponer que las IA coinciden tanto porque todas aman las frases largas y sofisticadas, mientras que los humanos aman las cortas y emocionales. Los investigadores comprobaron esto analizando 11 características diferentes de las frases (como longitud, puntuación y tipos de palabras).

Encontraron que cuando emparejaban las frases por longitud y posición, no había diferencia. Las IA y los humanos elegían frases que se veían exactamente iguales en la superficie. Las IA no estaban eligiendo "palabras robóticas"; estaban eligiendo los mismos tipos de palabras que los humanos, solo que un conjunto de frases completamente diferente. La distancia entre lo que eligen las IA y lo que eligen los humanos está creciendo, pero no es porque hablen idiomas distintos.

El techo: Las IA se están quedando sin espacio para ser humanas

Aquí está la parte más interesante de la historia. Los investigadores se preguntaron: "¿A medida que la IA se vuelve más inteligente, empieza a coincidir más con los humanos?".

La respuesta es sí, pero solo hasta cierto punto.

• Los modelos más nuevos y capaces coinciden más con los humanos que los modelos antiguos y menos capaces.
• Sin embargo, alcanzan un "techo". Incluso la mejor IA del estudio solo alcanzó aproximadamente el 84% del nivel de acuerdo que podría alcanzar un "consenso de la multitud" perfecto (el promedio de opinión de muchos humanos).
• Mientras tanto, el acuerdo entre dos IA sigue subiendo, superando el techo humano y yendo mucho más alto.

Es como si las IA estuvieran aprendiendo a leer como humanos, pero también están aprendiendo a leer como unas otras aún más rápido. Se están volviendo tan buenas imitando a un lector "ideal" que están dejando atrás a los humanos reales.

El problema del procedimiento: ¿Una pelea justa?

El artículo también admite una peculiaridad en cómo se jugó el juego. Cuando un humano subraya texto, puede marcar 20 frases, pero los investigadores solo le permitieron quedarse con las 14 mejores (una selección aleatoria de sus mejores opciones). La IA, sin embargo, fue obligada a elegir sus 14 frases absolutamente mejores. Esto le dio a la IA una ventaja injusta, como un jugador de baloncesto que puede elegir sus 14 mejores tiros mientras que el humano tiene que elegir 14 tiros al azar de un montón de 20.

Cuando los investigadores hicieron que la IA jugara bajo las reglas humanas (eligiendo aleatoriamente de sus mejores opciones), la brecha entre el acuerdo de la IA y el humano se redujo a la mitad. Pero incluso entonces, las IA coincidían entre sí significativamente más que los humanos. La brecha no desapareció; solo se hizo más pequeña.

La conclusión

El artículo concluye que los modelos de lenguaje no son solo herramientas que nos ayudan a leer; se están convirtendo en un nuevo tipo de lector por completo. Están convergiendo en una forma de comprensión de texto compartida e interna que es mucho más uniforme que la forma en que leen las personas reales. Aunque están mejorando en su comprensión de nosotros, están mejorando aún más en su comprensión mutua. El resultado es un mundo donde los modelos de IA podrían estar más de acuerdo con una IA rival de una empresa diferente que con la persona que está leyendo el texto. Es una cámara de eco poderosa y ligeramente inquietante donde las máquinas están tarareando la misma melodía, mientras que los humanos siguen cantando sus canciones únicas.