Literary Non-Style in LLM-Generated Text

Imagina que eres un detective tratando de descubrir si una historia fue escrita por un humano o por un robot. No estás buscando errores ortográficos o gramaticales; estás buscando el "alma" de la escritura. En el mundo de la ciencia del lenguaje, existe una regla famosa llamada la Ley de Zipf. Piensa en ella como una lista de reproducción de tus canciones favoritas. En cualquier gran colección de música, unos pocos éxitos (como "Cumpleaños Feliz" o una canción pop masiva) se reproducen una y otra vez, mientras que la mayoría de las canciones se reproducen solo una o dos veces. Si clasificas estas canciones desde la "más reproducida" hasta la "menos reproducida", la caída sigue una curva muy específica y predecible. Esto sucede en el habla humana, en los libros e incluso en la forma en que usamos las palabras. Los científicos han creído durante mucho tiempo que este patrón "musical" es un signo de la creatividad natural y humana. Pero ahora, con computadoras que pueden escribir historias, tenemos que preguntarnos: ¿Siguen estas máquinas nuestras reglas musicales, o suenan como un disco rayado?

Este artículo, escrito por Cory Masso, investiga precisamente eso. El autor quiere saber si el texto generado por los Modelos de Lenguaje Extensos (LLM) —los superinteligentes chatbots de IA que vemos en todas partes— se siente diferente al texto escrito por humanos. El estudio sugiere que, si bien la IA puede imitar las palabras que usamos, falla en el ritmo y la variedad que hacen que la escritura humana se sienta viva. Al contar con qué frecuencia aparecen grupos específicos de palabras (como "frases de tres palabras" o "frases de cuatro palabras"), el autor encontró que la escritura de la IA es mucho más repetitiva y predecible que la escritura humana. Es como si la IA estuviera atrapada en un bucle, reciclando sus mismas frases favoritas, mientras que un escritor humano te sigue sorprendiendo con nuevas combinaciones. El artículo concluye que esta falta de variedad no es solo un problema de estilo; de hecho, limita las ideas que la IA puede expresar. Si no puedes decir las cosas de diferentes maneras, no puedes decir tantas cosas distintas en absoluto.

La historia del "Ritmo del Robot"

Para entender lo que el autor encontró, veamos los "ingredientes" de la historia. El artículo compara dos tipos principales de escritura:

1. El Humano: Una memoria clásica llamada The Education of Henry Adams, escrita por una persona real a principios de 1900.
2. El Robot: Un libro llamado The Inner Life of an AI, que fue "escrito" por una IA (ChatGPT) pero ensamblado por un promotor humano.

El autor también analizó un conjunto masivo de datos que contenía 8 millones de palabras de escritura humana y 8 millones de palabras de escritura de IA para asegurarse de que los resultados no fueran solo una casualidad.

El gran descubrimiento: La trampa de las "frases hechas"
El autor notó algo extraño al leer el libro de la IA. Se sentía como si el robot estuviera usando un conjunto de frases "prefabricadas" una y otra vez. Por ejemplo, la frase "a pesar de estos desafíos" apareció 16 veces en el libro, ¡y "comencé a" apareció más de 50 veces! En contraste, el autor humano, Henry Adams, utilizó una variedad mucho mayor de palabras. Rara vez repetía la misma secuencia de cuatro palabras.

Para demostrar que esto no era solo una sensación, el autor hizo algo de matemáticas. Contó cuántas agrupaciones únicas de palabras (llamadas n-gramas) aparecieron en los textos.

• Los 1-gramas son palabras sueltas.
• Los 2-gramas son pares de dos palabras (como "muy bueno").
• Los 3-gramas y 4-gramas son cadenas más largas.

Los resultados fueron claros:

• En el texto humano, la variedad era alta. Para las frases de 4 palabras, la relación de frases únicas respecto al total de frases era de 0.9890. Esto significa que Henry Adams casi nunca repetía una secuencia de cuatro palabras.
• En el texto de la IA, la variedad era mucho menor. La relación para las frases de 4 palabras fue de solo 0.6882. Esto significa que la IA repetía constantemente sus cadenas favoritas de cuatro palabras.

La "pendiente" de la historia
El autor también observó la "pendiente" de la escritura, que es una forma elegante de describir qué tan rápido se agotan las nuevas ideas en un texto. En una historia humana perfecta, sigues encontrando nuevas palabras y frases, pero aparecen cada vez con menos frecuencia, siguiendo una curva suave (la Ley de Zipf).

• Para la IA, la curva era demasiado empinada. Las frases más comunes eran demasiado comunes, y las frases raras eran demasiado raras.
• El autor encontró que para las frases de 4 palabras, la "pendiente" de la IA era de -0.395 (en una prueba), mientras que la del humano era de -0.178. El número más pronunciado de la IA significa que se aferra a sus frases favoritas con mucha más fuerza de lo que lo hace un humano.

¿Qué pasa con las "frases hechas"?
El autor se preguntó: "¿Tal vez la IA solo usa palabras diferentes para la misma idea? ¿Como decir 'grande' en lugar de 'enorme'?" Para probar esto, "lematizaron" el texto, lo que significa agrupar las palabras por su raíz (de modo que "corriendo", "corrió" y "corre" todas cuentan como la misma palabra).

• El Resultado: Incluso después de agrupar palabras similares, la IA seguía sonando repetitiva. La "pendiente" no cambió mucho. Esto sugiere que el problema no es solo usar sinónimos; la IA está genuinamente estancada en un bache de frases específicas.

El "Disco Rayado" vs. El "Solo de Jazz"

Entonces, ¿qué significa todo esto? El autor utiliza una gran analogía: imagina que un escritor humano es un músico de jazz improvisando un solo. Puede tocar algunas notas familiares, pero las mezcla constantemente, añade nuevos ritos y sorprende al oyente. La IA, por el contrario, es como un tocadiscos rayado que sigue saltando al mismo estribillo pegajoso.

El artículo argumenta que esto no se trata solo de que la IA suene "aburrida". Se trata de lo que la IA puede decir.

• El Límite: Debido a que la IA depende tanto de las mismas pocas frases, tiene una "caja de herramientas" de ideas más pequeña. Si tienes un número fijo de palabras para escribir una historia, un humano puede incluir más ideas diferentes porque utiliza más combinaciones únicas. La IA, atrapada en su bucle, termina diciendo las mismas cosas de formas ligeramente distintas.
• El "Sentir": El autor señala que las personas a menudo pueden "sentir" cuando están leyendo un texto de IA. Se siente plano, formulario y un poco vacío. Este estudio sugiere que ese sentimiento proviene de una falta de variedad de frases. A la IA le falta la "chispa" de la creatividad humana porque no puede romper sus propios patrones.

Lo que el artículo dice que no sabe

Es importante notar lo que este estudio no hizo. El autor no afirmó que la escritura de la IA sea "mala" en un sentido moral, ni dijo que la IA nunca pueda escribir buena literatura. Simplemente midió la estadística de las palabras.

• No demostró que la IA nunca pueda aprender a ser más creativa; solo mostró que, en este momento, en los textos que analizaron, los patrones son muy diferentes a los de los humanos.
• No dijo que la repetición sea siempre mala (a veces repetir una frase es una elección artística poderosa, como en un poema). Pero la IA repite frases demasiado y en los lugares equivocados, como un robot intentando ser un poeta pero olvidando cómo variar su ritmo.

La Conclusión Final

Al final, el artículo sugiere que el estilo y el significado están conectados. No se puede separar el "sentir" de una historia de las "ideas" que contiene. Si un escritor (o un robot) no puede encontrar nuevas formas de decir las cosas, está limitado en lo que puede expresar. El ritmo de "disco rayado" de la IA no es solo una peculiaridad estilística; es una señal de que la capacidad de la máquina para expresar pensamientos humanos complejos y variados es todavía, bueno, un trabajo en progreso. Los números muestran que, si bien la IA puede hablar, aún no ha aprendido a cantar con la misma variedad salvaje e impredecible que los humanos.