💬 NLP

More Aligned, Less Diverse? Analyzing the Grammar and Lexicon of Two Generations of LLMs

Este estudio compara dos generaciones de modelos de lenguaje grandes con textos de noticias escritos por humanos utilizando el formalismo HPSG y métricas de diversidad, revelando que, aunque la escritura humana permanece estable, los modelos más recientes ajustados mediante instrucciones exhiben una diversidad sintáctica y léxica significativamente reducida, lo que sugiere un posible estrechamiento del rango expresivo a pesar de una mayor coherencia.

Autores originales: Adrián Gude, Roi Santos-Ríos, Francis Bond, Dan Flickinger, Carlos Gómez-Rodríguez, Olga Zamaraeva

Publicado 2026-05-08

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Adrián Gude, Roi Santos-Ríos, Francis Bond, Dan Flickinger, Carlos Gómez-Rodríguez, Olga Zamaraeva

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un crítico musical comparando dos bandas: Los Humanos (periodistas profesionales) y Los Robots (Inteligencia Artificial). Quieres ver cómo ha cambiado su música con el paso del tiempo.

Este artículo es como un análisis profundo de la partitura de estos dos grupos. En lugar de limitarse a escuchar la melodía (las palabras), los investigadores examinaron la gramática (los acordes y la estructura) y el vocabulario (los instrumentos específicos utilizados) para determinar si los robots están sonando más como humanos o si se están convirtiendo en algo completamente distinto.

A continuación se presenta el desglose de sus hallazgos en términos sencillos:

1. El Escenario: Dos Eras, Dos Bandas

Los investigadores compararon dos periodos de tiempo diferentes:

Los Humanos: Analizaron artículos periodísticos de The New York Times escritos en 2023 y 2025.
Los Robots: Compararon dos generaciones de modelos de IA:
- Robots Antiguos (2023): Estos eran los modelos "base". Imagínalos como músicos crudos y sin entrenamiento que tocan lo que les viene a la mente.
- Robots Nuevos (2025): Estos son los modelos "ajustados por instrucciones". Imagínalos como músicos a los que se les ha dado un manual de reglas estricto y un entrenador que les dice exactamente cómo comportarse, qué decir y cómo ser "útiles".

2. El Gran Descubrimiento: "Más Alineados, Menos Diversos"

El hallazgo principal es un poco sorprendente. Podrías esperar que, a medida que la IA se vuelve más inteligente y más "alineada" con las instrucciones humanas, comenzara a sonar más como un escritor humano.

La Realidad: Los modelos de IA nuevos suenan en realidad menos como humanos y menos como sus propias versiones antiguas.

Los Humanos: Los periodistas profesionales no han cambiado mucho. Su estilo de escritura, la estructura de las oraciones y la elección de palabras se han mantenido estables y diversas durante los últimos dos años. Son como una banda de jazz que sigue improvisando con nuevas ideas.
Los Robots Antiguos: Estos modelos eran en realidad bastante diversos. Utilizaban una amplia variedad de estructuras de oraciones y palabras, a veces incluso más variadas que las de los humanos en términos de vocabulario.
Los Robots Nuevos: Estos modelos se han vuelto aburridamente consistentes. Han perdido su "sabor".
- Diversidad Sintáctica (Estructura): Utilizan menos tipos de estructuras de oraciones.
- Diversidad Léxica (Palabras): Utilizan un rango de palabras mucho más estrecho. Evitan nombres específicos, fechas y detalles únicos.

3. El Efecto del "Filtro de Seguridad"

¿Por qué cambiaron los robots? El artículo sugiere que se debe al Ajuste por Instrucciones.

Imagina que los robots antiguos eran pintores salvajes que lanzaban pintura por todas partes. Los robots nuevos son pintores a los que se les ha dicho: "No cometas errores, no alucines y quédate con los hechos".

Para seguir estas reglas, los modelos de IA nuevos comenzaron a jugar a lo seguro.

Dejaron de usar nombres específicos (como "Washington" o "el senador Ben Cardin") porque no querían equivocarse con los hechos.
Dejaron de usar estructuras de oraciones complejas que podrían ser arriesgadas.
En su lugar, comenzaron a usar oraciones largas, seguras y repetitivas que son fáciles de entender pero carecen de la "chispa" de la escritura humana.

4. La Paradoja de "Fácil de Leer"

Aquí hay un giro extraño: los modelos de IA nuevos escriben oraciones más largas que los humanos, pero esas oraciones son más fáciles de analizar para una computadora.

La Analogía: Imagina a un escritor humano construyendo un castillo complejo y sinuoso con puertas ocultas y pasadizos secretos. Es hermoso, pero difícil de mapear.
El nuevo IA construye un pasillo muy largo y recto sin puertas. Es más largo que el castillo del humano, pero es increíblemente fácil de recorrer porque es tan predecible.

Los investigadores descubrieron que el texto generado por la IA nueva es tan regular y formulaico que un corrector gramatical de computadora puede procesarlo casi perfectamente (99 % de éxito), mientras que la escritura humana es ligeramente más caótica y más difícil de analizar (94-95 % de éxito).

5. La Conclusión

El artículo concluye que, aunque los modelos de IA nuevos son mejores siguiendo instrucciones y sonando "útiles", han intercambiado creatividad y variedad por seguridad y predictibilidad.

Ya no son escritores "promedio"; se están convirtiendo en escritores "seguros". Han reducido tanto su rango expresivo que ahora son menos diversos que tanto los periodistas humanos como los modelos de IA antiguos y menos entrenados.

En resumen: Los robots mejoraron en seguir las reglas, pero al hacerlo, olvidaron cómo ser interesantes.

Resumen Técnico: ¿Más Alineados, Menos Diversos? Analizando la Gramática y el Léxico de Dos Generaciones de Modelos de Lenguaje Grande

Enunciado del Problema
Aunque los Modelos de Lenguaje Grande (LLM) se comparan cada vez más con escritores humanos en diversas dimensiones lingüísticas, los métodos robustos para cuantificar estas diferencias siguen subdesarrollados. Específicamente, el impacto del ajuste por instrucciones y del Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF) sobre la diversidad gramatical y léxica de las salidas del modelo no se comprende bien. Investigaciones anteriores han establecido que los modelos base difieren del texto humano, pero no está claro cómo las nuevas generaciones ajustadas por instrucciones se comparan tanto con los humanos como con sus propios predecesores. Este estudio aborda esta brecha investigando si los LLM más nuevos, diseñados para una mejor alineación y coherencia, han sacrificado la variedad sintáctica y léxica.

Metodología
Los autores emplean un marco lingüístico formal en lugar de métricas basadas en tareas estándar de Procesamiento del Lenguaje Natural (PLN) para garantizar la robustez y la generalización.

Marco: El estudio utiliza la Gramática de Estructura de Frase Impulsada por Cabeza (HPSG) y la Gramática de Recursos en Inglés (ERG). A diferencia de los analizadores estadísticos o las Dependencias Universales, el ERG es un analizador de gráficos determinista y exhaustivo diseñado para proporcionar estructura para todas las oraciones en inglés bien formadas, permitiendo el análisis de fenómenos lingüísticos raros y la analizabilidad.
Conjuntos de Datos:
- Texto Humano: Párrafos de introducción de The New York Times (NYT) de dos periodos distintos: 2023 (utilizado en trabajos anteriores) y 2025 (nuevamente recopilado).
- Texto de LLM: Se compararon dos generaciones de modelos:
  - Generación Antigua (Pre-2023): Modelos base (LLaMA 7B/13B/30B/65B, Falcon 7B, Mistral 7B) entrenados antes de octubre de 2023.
  - Generación Nueva (2024): Modelos ajustados por instrucciones (Qwen 2.5, Mistral 7B v0.3, GPT-4o, LLaMA 3.3) entrenados hasta 2024.
- Protocolo de Generación: Para los datos humanos de 2025, se solicitó a los LLM que generaran titulares de NYT y las primeras tres palabras del párrafo de introducción para producir titulares sintéticos. Los modelos ajustados por instrucciones requirieron prompts explícitos de sistema/usuario para simular la tarea de finalización.
Métricas: La diversidad se cuantificó utilizando índices de teoría ecológica e información:
- Índice Shannon-Wiener ( $H'$ ): Mide la riqueza y la uniformidad de la distribución.
- Índice de Simpson ( $D$ ): Mide la probabilidad de que dos tokens seleccionados aleatoriamente pertenezcan a categorías diferentes.
- Estas métricas se aplicaron a tipos sintácticos (configuraciones de estructura de frase) y tipos léxicos (representaciones complejas de HPSG de restricciones de palabras, distintas del vocabulario superficial).

Contribuciones Clave

Comparación Diacrónica: A diferencia de trabajos anteriores que comparaban una sola generación de LLM con humanos, este estudio contrasta directamente dos generaciones de LLM (base vs. ajustadas por instrucciones) contra dos muestras temporales de escritura humana.
Análisis Lingüístico Formal: El uso de HPSG/ERG proporciona un método fundamentado lingüísticamente e independiente de teorías para analizar la sintaxis y el léxico, evitando sesgos inherentes al rendimiento en tareas de PLN o al etiquetado grueso de la categoría gramatical.
Aplicación de Métricas de Diversidad: La aplicación de los índices de Shannon y Simpson a estructuras gramaticales ofrece una manera sistemática de rastrear cambios estilísticos a través de las generaciones de modelos.

Resultados

Estabilidad Humana: El texto de noticias en inglés de 2023 y 2025 mostró una estabilidad notable tanto en las métricas de diversidad sintáctica como léxica, indicando un equilibrio consistente de variedad en el periodismo profesional.
Divergencia de LLM:
- Diversidad Sintáctica: Los modelos ajustados por instrucciones más nuevos (2025) mostraron una diversidad sintáctica significativamente reducida en comparación con los modelos base más antiguos (2023). Mientras que los modelos antiguos estaban más cerca de la diversidad humana, los modelos más nuevos favorecieron construcciones que involucran modificación y coordinación (por ejemplo, frases nominales con modificadores) mientras evitaban detalles específicos como nombres y fechas.
- Diversidad Léxica: El declive fue aún más pronunciado en la diversidad léxica. Sorprendentemente, los LLM antiguos (2023) exhibieron la mayor diversidad léxica, superando tanto al texto humano como a los modelos más nuevos. Los modelos más nuevos (2025) mostraron la menor variedad léxica, dependiendo de "tipos léxicos básicos" (adjetivos, sustantivos comunes, verbos transitivos) y evitando referentes específicos.
- Puntuación: Los modelos más nuevos utilizaron la puntuación con significativamente menos diversidad, generando menos guiones largos, puntos y coma y comillas en comparación con los escritores humanos y los modelos antiguos.
Analizabilidad y Longitud:
- Los modelos más nuevos generaron oraciones más largas (15–30% más largas que el texto humano) en comparación con los modelos antiguos (que eran más cortos que el texto humano).
- A pesar del aumento en la longitud, las salidas de los LLM más nuevos fueron más fáciles de analizar (acercándose a una tasa de éxito del 99%) y requirieron menos recursos computacionales que el texto humano o las salidas de LLM antiguos. Esto sugiere que los modelos más nuevos producen oraciones estructuralmente regulares y optimizadas que se alinean con las partes más predecibles de la gramática, mientras que el texto humano desencadena fenómenos más complejos y menos predecibles.

Significado y Afirmaciones
El artículo afirma que, si bien el ajuste por instrucciones mejora la coherencia y la adhesión a las instrucciones, tiene el efecto secundario de estrechar el rango expresivo de la salida del modelo. Los hallazgos sugieren una compensación donde los paradigmas de alineación sacrifican la variedad léxica y sintáctica por el control estilístico y la seguridad factual (evidenciado por la evitación de nombres o fechas específicos y la reducción de estructuras propensas a alucinaciones).

Los autores concluyen que los modelos más grandes y nuevos no están convergiendo hacia el comportamiento lingüístico humano en la escritura de noticias profesionales; más bien, se están desviando, volviéndose más formulaicos y menos diversos que tanto los humanos como los modelos base anteriores. Esto resalta la necesidad de futuras investigaciones sobre cómo el ajuste por instrucciones afecta las capacidades lingüísticas y si estas capacidades pueden restaurarse sin comprometer la alineación. El estudio tiene un alcance modesto limitado al texto de noticias en inglés, señalando que la metodología es ampliamente aplicable pero actualmente limitada por la disponibilidad de gramáticas HPSG de amplio cobertura para otros idiomas.