💬 NLP

Repeated Sequences Reveal Gaps between Large Language Models and Natural Language

Este artículo introduce un marco de evaluación novedoso basado en subsecuencias repetidas y entropías de Rényi para demostrar que, a diferencia del lenguaje natural que exhibe una organización estructural a largo plazo estable, los modelos de lenguaje grandes más avanzados presentan desviaciones sistemáticas y dependientes del tamaño en sus patrones de crecimiento de entropía, revelando brechas fundamentales en la forma en que capturan la estructura estadística profunda del texto más allá de la fluidez superficial.

Autores originales: Kumiko Tanaka-Ishii

Publicado 2026-05-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Kumiko Tanaka-Ishii

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Idea: Fluidez vs. Estructura

Imagina que estás escuchando a dos personas contar una historia.

Persona A habla perfectamente. Cada frase fluye suavemente, la gramática es correcta y nunca tartamudea.
Persona B también habla perfectamente, pero tiene un secreto: en realidad solo está repitiendo las mismas pocas frases una y otra vez, o está construyendo una historia uniendo pequeños ladrillos de Lego prefabricados sin crear nunca una forma nueva.

Durante mucho tiempo, pensamos que los Modelos de Lenguaje Grande (LLM) como GPT estaban mejorando tanto que sonaban exactamente como humanos. Pero este artículo plantea una pregunta más profunda: ¿Realmente entienden cómo construir una historia larga desde el interior hacia el exterior, o simplemente son muy buenos en sonar fluidos a corto plazo?

La autora, Kumiko Tanaka-Ishii, desarrolló una nueva forma de "escuchar" estas historias, no verificando si tienen sentido gramaticalmente, sino observando cómo reutilizan sus propias palabras y patrones a lo largo de grandes distancias.

La Herramienta: El Detector de "Eco"

Para encontrar la diferencia, la autora utiliza un concepto llamado Subsecuencias Repetidas.

Piensa en un texto como un pasillo largo.

Lenguaje Natural (Humanos): Cuando un humano escribe una novela, planta semillas al principio. Introduce un personaje, un tema o una frase específica. A medida que avanza la historia, regresa a esas semillas, las riega y hace crecer nuevas ramas. La historia se "resuena" a sí misma. Reutiliza estructuras antiguas para construir nuevos significados.
LLM (IA): La autora descubrió que los modelos de IA a menudo actúan como un disco rayado o un salón de espejos. Pueden repetir cosas, pero no parecen tener ese mismo "eco" estructural profundo donde las partes antiguas de la historia se reorganizan activamente para apoyar las partes nuevas.

El artículo mide esto contando cuántas veces aparecen nuevamente más adelante en el documento pequeños fragmentos de texto (como secuencias de 5 o 10 letras).

Los Dos Tipos de Crecimiento: El Jardín vs. La Fábrica

El artículo compara cómo crece la "información" a medida que el texto se hace más largo. Identifica dos formas principales en que esto puede ocurrir:

El Jardín de Ley de Potencia (Lenguaje Natural):
Imagina un jardín donde sigues plantando flores nuevas y únicas, pero también sigues reutilizando el mismo enrejado y la misma cerca para sostenerlas. A medida que el jardín crece, la variedad de flores aumenta, pero la estructura (las cercas y enrejados) se reutiliza una y otra vez.
El artículo descubre que la escritura humana se comporta así. Sigue un patrón de "Log-Potencia". Esto significa que el texto recicla constantemente su propio ADN estructural. Es eficiente y profundamente interconectado.
La Línea de Fábrica (Modelos de IA):
Imagina una fábrica que sigue produciendo productos. A medida que la fábrica funciona más tiempo, sigue haciendo artículos ligeramente diferentes, pero no parece tener esa misma reutilización recursiva profunda de su propio plano interno.
El artículo encontró que los modelos de IA, especialmente los más antiguos o pequeños, se comportan de manera diferente. Muestran un patrón de "Ley de Potencia" que sugiere que están generando constantemente nueva complejidad estructural sin el mismo nivel de reutilización profunda y eficiente que se encuentra en la escritura humana.

El Experimento: La Prueba de "Mezcla"

La autora probó esto en:

Novelas escritas por humanos (de Project Gutenberg).
Historias generadas por IA (creadas por GPT-3.5, GPT-4 y modelos más nuevos).

Ajustaron las longitudes para que la comparación fuera justa. Luego, realizaron una "prueba de eco" matemática (utilizando algo llamado Entropía de Rényi) para ver cómo el texto se reutilizaba a sí mismo.

Los Resultados:

Humanos: No importa cuán largo fuera el libro, el patrón de "eco" se mantuvo estable. Los humanos reutilizaron consistentemente sus propios patrones estructurales de una manera predecible y eficiente.
IA: El patrón de la IA cambió dependiendo de cuán "grande" fuera el modelo.
- Los modelos de IA más pequeños fueron muy caóticos en cómo reutilizaban (o fallaban en reutilizar) la estructura.
- A medida que los modelos de IA se hicieron más grandes (como GPT-5), comenzaron a parecerse más a los humanos, pero aún mostraban una diferencia sistemática. Estaban mejorando en imitar el "eco", pero la matemática subyacente de cómo construían sus historias seguía siendo distinta a la de un autor humano.

La Trampa de la "Máxima Repetición"

El artículo también examinó la frase repetida más larga en un texto (como encontrar la oración más larga que aparece dos veces).

Estudios anteriores se centraron en estas repeticiones "extremas".
La autora argumenta que esto es como intentar entender un bosque mirando solo al árbol más alto. Es inestable y engañoso.
En cambio, observar todos los fragmentos repetidos (la "distribución") ofrece una imagen mucho más clara y estable de la verdadera estructura del texto.

La Conclusión Fundamental

Este artículo no dice que la IA sea "mala" o que no pueda escribir buenas historias. Dice que la IA y los humanos construyen historias de manera diferente.

Los humanos escriben haciendo referencia constante y recombinando sus propias palabras y estructuras pasadas, creando una red ajustada y eficiente de significado que crece de una manera matemática específica (Log-Potencia).
La IA escribe prediciendo la siguiente palabra, lo que crea un tipo diferente de patrón de crecimiento (más cercano a la Ley de Potencia). Incluso los modelos de IA más inteligentes no han dominado del todo el arte humano del "reciclaje estructural" a largas distancias.

La autora concluye que necesitamos nuevas herramientas para medir la IA. No podemos simplemente preguntar: "¿Aprobó la prueba?" o "¿Es fluido?". Necesitamos preguntar: "¿Construye su mundo de la manera en que lo hace un humano?". Y por ahora, la respuesta es: No del todo.

Resumen Técnico: Las Secuencias Repetidas Revelan Brechas entre los Modelos de Lenguaje Grande y el Lenguaje Natural

Enunciado del Problema
Aunque los Modelos de Lenguaje Grande (LLM) demuestran alta fluidez y coherencia en contextos locales, sigue siendo un desafío abierto determinar si capturan la organización estadística de largo alcance del lenguaje natural. Los métodos de evaluación existentes, que dependen en gran medida de benchmarks basados en tareas o análisis de contexto corto, proporcionan solo evidencia indirecta sobre la estructura global del texto generado. Trabajos anteriores han identificado problemas como la repetición excesiva y la diversidad reducida en las salidas de los LLM, lo que sugiere que un alto rendimiento en tareas no garantiza una estructura de largo alcance similar a la humana. Específicamente, existe una falta de diagnósticos cuantitativos que puedan distinguir cómo el lenguaje natural y los LLM reutilizan elementos estructurales establecidos a lo largo de grandes extensiones.

Metodología
Los autores proponen un marco de evaluación complementario basado en la distribución de subsecuencias repetidas a través de escalas, vinculando estas estadísticas a entropías de Rényi de orden superior.

Conteo de Subsecuencias Repetidas: El método define el número de bloques repetidos ( $D_m$ ) de longitud $m$ dentro de una secuencia de longitud $n$ . A diferencia de los análisis centrados en repeticiones máximas (que pueden ser numéricamente inestables), este enfoque examina la distribución de todas las subsecuencias repetidas.
Entropía de Rényi de Orden Superior: Los autores relacionan el espectro de bloques repetidos con las entropías de Rényi ( $H_\alpha$ ) de orden $\alpha \ge 2$ . Esto permite una caracterización de longitud finita del crecimiento de la entropía. La entropía empírica $\hat{H}_\alpha(m)$ se calcula basándose en la frecuencia de los tipos de bloques observados.
Caracterización Funcional: El artículo modela el crecimiento del número efectivo de bloques distinguibles ( $\log_2 S_m$ $lo g_{2} S_{m}$ ) utilizando dos formas sublineales:
- Ansatz de ley de potencias: $\log_2 S_m \propto m^\beta$ , asociado con la expansión de grados de libertad estructurales.
- Ansatz logarítmico-potencia: $\log_2 S_m \propto (\log_2 m)^\gamma$ , asociado con una fuerte reutilización estructural donde la longitud de la descripción crece lentamente en relación con la longitud de la secuencia.
Procedimiento de Estimación: Se emplea una estimación en dos etapas para manejar efectos de tamaño finito. Primero, se estima un término de corrección ( $\Delta_\alpha$ ) derivado de los polinomios de Touchard basado en la relación entre el total de bloques y los bloques distintos. Segundo, los exponentes $\beta$ y $\gamma$ se ajustan a los valores de entropía empírica corregidos.

Configuración Experimental
El estudio compara textos de lenguaje natural contra textos generados por GPT a través de cuatro generaciones de modelos: gpt-3.5turbo, gpt-4o-mini, gpt-5-mini y gpt-5.

Conjuntos de Datos: Los textos de lenguaje natural se muestrearon de Project Gutenberg (novelas) para igualar las distribuciones de longitud de las salidas de GPT. Todos los textos se preprocesaron para eliminar metadatos y caracteres no alfabéticos.
Controles: Los experimentos se realizaron en 100 textos por categoría, con distribuciones de longitud igualada para controlar los efectos de la longitud de la secuencia. Pruebas adicionales en ensayos y escritura científica confirmaron que las tendencias observadas en las narrativas eran consistentes entre géneros.

Resultados Clave

Ajuste del Modelo: En todos los conjuntos de datos, el modelo logarítmico-potencia generalmente proporcionó un mejor ajuste ( $R^2 > 0.97$ ) para el lenguaje natural que el modelo de ley de potencias, particularmente para textos más largos. Esto sugiere que el crecimiento de la entropía del lenguaje natural está dominado por la reutilización estructural en lugar de una expansión continua de nuevos grados de libertad estructurales.
Estabilidad en el Lenguaje Natural: El lenguaje natural exhibió patrones estables de crecimiento de entropía (exponentes medios $\beta$ y $\gamma$ ) a través de diferentes conjuntos de datos y longitudes de texto, a pesar de la variabilidad entre textos individuales. Esto indica una forma de "universalidad débil" a nivel de población.
Desplazamientos Sistemáticos en los LLM: Por el contrario, los textos generados por GPT mostraron desplazamientos sistemáticos y estadísticamente significativos en los exponentes estimados a medida que aumentaba el tamaño del modelo.
- Los modelos más pequeños (por ejemplo, gpt-3.5turbo) mostraron una fuerte preferencia por el modelo log-potencia, pero con características de exponente diferentes.
- A medida que el tamaño del modelo aumentó hasta gpt-5, tanto $\beta$ como $\gamma$ aumentaron monótonamente, alejándose de los patrones estables del lenguaje natural.
- Las pruebas estadísticas (pruebas t de dos muestras de Welch) confirmaron una separación clara entre el lenguaje natural y las salidas de GPT-5 ( $p \approx 0$ ).
Comparación con la Repetición Máxima: Mientras que el crecimiento de las subsecuencias repetidas máximamente (exponente $\eta$ ) mostró cierta convergencia entre gpt-5 y el lenguaje natural, el método propuesto basado en la distribución reveló diferencias más pronunciadas y sistemáticas en la organización de largo alcance.

Contribuciones Clave

Formulación Distribucional: El artículo propone una formulación distribucional de la repetición que permite una caracterización de longitud finita del crecimiento de la entropía mediante entropías de Rényi de orden superior, superando la inestabilidad de las estadísticas de repetición máxima.
Diagnóstico Estructural: Demuestra diferencias sistemáticas entre el lenguaje natural y el texto generado por LLM en el comportamiento del crecimiento de la entropía. Específicamente, revela que mientras el lenguaje natural exhibe patrones estables dominados por la reutilización, los LLM exhiben desplazamientos sistemáticos en la organización estructural que se correlacionan con el tamaño del modelo.

Significado y Afirmaciones
El artículo afirma que la entropía de subsecuencias repetidas sirve como un diagnóstico estructural cuantitativo capaz de revelar diferencias sistemáticas en la organización de largo alcance que son invisibles para la fluidez superficial o las evaluaciones basadas en tareas.

Los autores interpretan la escala logarítmico-potencia en el lenguaje natural como evidencia de una "fuerte reutilización estructural", donde los textos se generan mediante la recombinación y reindexación de recursos lingüísticos compartidos. En contraste, los exponentes cambiantes en los LLM sugieren una manifestación más débil de esta organización "estructura-como-referencia", potencialmente debido al objetivo de predicción del siguiente token y al uso de contexto finito. El trabajo establece que los LLM actuales de última generación, a pesar de su fluidez, no replican completamente la organización estadística de largo alcance del lenguaje natural, proporcionando una nueva métrica para evaluar la fidelidad estructural del texto generado.