Human--LLM Collaboration Is Transforming Complexity Metrics in Scientific Texts

Resumen Técnico: La colaboración Humano–LLM está transformando las métricas de complejidad en los textos científicos

Planteamiento del problema
Los modelos de lenguaje de gran tamaño (LLM), particularmente desde su adopción generalizada a principios de 2023, se están convirtiendo en contribuyentes integrales del ecosistema lingüístico humano–IA. Aunque los LLM están entrenados en lenguaje humano, su integración en la comunicación científica plantea interrogantes sobre cómo alteran las propiedades emergentes del lenguaje. Existen perspectivas teóricas contrapuestas: una sugiere que los LLM podrían reducir la complejidad léxica mediante la simplificación y el reciclaje de datos de entrenamiento (lo que podría conducir al "colapso del modelo" si los modelos futuros se entrenan con salidas generadas por IA), mientras que otra sugiere que las poblaciones mixtas humano–IA pueden generar dinámicas emergentes novedosas a través de sesgos colectivos y bucles de retroalimentación. El problema central abordado es si la afluencia de texto generado o revisado por LLM en la literatura científica (específicamente en los resúmenes de arXiv) produce cambios detectables en las leyes estadísticas que rigen la complejidad léxica, tales como la ley de Zipf, la ley de Heaps y las tasas de rotación de palabras.

Metodología
Los autores tratan la rápida adopción de herramientas de IA generativa en 2023 como un "experimento natural". Analizan un corpus de más de 2.7 millones de resúmenes de arXiv desde enero de 2010 hasta septiembre de 2025, centráéndose en las presentaciones de primera versión (v1).

1. Construcción del Índice de Estilo de LLM: Para cuantificar la presencia de la influencia de los LLM, los autores construyeron un índice compuesto de "estilo asociado a LLM". Este índice agrega las frecuencias mensuales estandarizadas de marcadores estilísticos específicos que aumentan con el uso de LLM: el uso de guiones (guiones cortos, guiones largos, guiones medios) y marcadores léxicos específicos ("significativo", "crucial", "exhibir/mostrar").
2. Métricas de Complejidad: El estudio rastrea tres medidas primarias de la estructura léxica:
   • Tamaño del Vocabulario: El número de tipos de palabras únicas.
   • Exponente de la Ley de Heaps ($b$): Que describe la relación entre el tamaño del corpus y el crecimiento del vocabulario ($V(N) = aN^b$).
   • Exponente de la Ley de Zipf ($\alpha$): Que describe la distribución de frecuencia por rango de las palabras ($P(r) \propto r^{-\alpha}$).
   • Rotación Top-$y$: La fracción de palabras nuevas que entran en la lista de palabras de contenido de rango superior $y$ año tras año, funcionando como un diagnóstico de sesgo de transmisión (conformidad vs. novedad).
3. Análisis Estadístico:
   • Benchmarking: El texto humano se comparó con el texto generado por LLM (GPT-3.5) utilizando el corpus HC3 para establecer diferencias de base.
   • Tendencias Temporales: Se calcularon estadísticas mensuales para el corpus de arXiv de 2014 a 2025.
   • Modelado de Regresión: Se emplearon modelos multivariantes para predecir las métricas de complejidad léxica utilizando el año de publicación, el índice de estilo de LLM, un indicador post-2023 y sus términos de interacción. Este enfoque aísla el efecto del estilo de LLM de las tendencias seculares generales.
   • Señales de Alerta Temprana (EWS): Se analizaron la autocorrelación de retardo-1, la asimetría y la varianza de ventana rodante para detectar un frenado crítico o inestabilidad en las series temporales.

Resultos Clave

• Diferencias de Base: En el corpus HC3, el texto generado por LLM exhibió un exponente de Heaps ligeramente menor ($b=0.522$) y un exponente de Zipf ligeramente mayor ($\alpha=1.741$) en comparación con el texto humano ($b=0.539$, $\alpha=1.681$), lo que indica una diversidad léxica marginalmente menor y una mayor concentración en la producción de los LLM, aunque las distribuciones siguen siendo similares.
• Cambios Temporales en arXiv:
  • Índice de Estilo: Se observó un aumento brusco en el índice de estilo asociado a LLM a partir de 2023, coincidiendo con la adopción generalizada de herramientas como ChatGPT.
  • Métricas Léxicas: Los cambios en los exponentes de las leyes de Zipf y Heaps fueron sutiles. Sin embargo, el tamaño del vocabulario y el exponente de Heaps mostraron un crecimiento modestamente acelerado después de 2023.
  • Efectos de Interacción: Crucialmente, la relación entre el índice de estilo de LLM y las métricas de complejidad cambió después de 2022. La correlación positiva entre el índice de estilo y el tamaño del vocabulario, el exponente de Heaps y el exponente de Zipf se volvió más plana en el periodo post-2023. Los modelos de regresión confirmaron que el crecimiento del vocabulario después de 2023 excedió lo que se esperaría de las tendencias temporales previas por sí solas, sugiriendo un cambio distintivo en la dinámica.
  • Rotación: El cambio estructural más significativo fue un aumento brusco en la rotación de las palabras de rango superior a partir de 2023. El escalamiento de la rotación frente al tamaño de la lista pasó de ser ligeramente cóncavo hacia arriba ($b=1.15$) antes de 2023 a ligeramente cóncavo hacia abajo ($b=0.969$) después de 2023, lo que indica una mayor tasa de entrada de palabras nuevas en los rangos superiores.
• Diagnósticos EWS: Los diagnósticos estándar de señales de alerta temprana (autocorrelación, varianza) mostraron solo cambios modestos, lo que sugiere que el sistema no ha alcanzado un punto de inflexión crítico de inestabilidad, a pesar de los cambios estructurales en la rotación.

Significancia y Afirmaciones
El artículo afirma que la integración de los LLM en la escritura científica está alterando las propiedades emergentes del ecosistema lingüístico de formas que son sutiles pero medibles. Contrario a las hipótesis de que los LLM podrían reducir uniformemente la diversidad léxica, los autores encuentran que las contribuciones actuales de los LLM están asociadas con un aumento en la riqueza del vocabulario y una rotación acelerada en los términos de alta frecuencia.

El aplanamiento de la relación entre el estilo de LLM y las métricas de complejidad sugiere que las dinámicas de una población mixta humano–IA son distintas de la generación puramente humana o puramente de IA. El aumento de la rotación implica un cambio en el "sesgo de transmisión" del sistema, potencialmente inyectando más novedad o alterando las dinámicas de conformidad en el discurso científico.

Los autores concluyen que estos cambios apuntan a una posible tensión entre la eficiencia a corto plazo y la diversidad de información a largo plazo. Advierten que si la diversidad en el lenguaje generado por humanos e híbrido declina con el tiempo, esto podría impactar la robustez de los futuros sistemas de IA entrenados con dichos datos. El estudio enmarca a los LLM no meramente como herramientas, sino como un nuevo mecanismo de retroalimentación en la evolución cultural, comparable en consecuencia al surgimiento de la escritura o los mercados, lo que requiere un monitoreo continuo de cómo la colaboración humano–IA redefine la complejidad del conocimiento científico.