How Human-Like Are Large Language Models? A Register-Aware Linguistic Evaluation Framework

Resumen Técnico: ¿Qué tan similares a los humanos son los Modelos de Lenguaje Grandes? Un Marco de Evaluación Lingüística Consciente del Registro

Planteamiento del Problema
Si bien la investigación actual sobre Modelos de Lenguaje Grandes (LLM) prioriza en gran medida la corrección factual y las métricas de rendimiento en tareas (por ejemplo, MMLU, preguntas y respuestas específicas de dominio), la pregunta fundamental sobre qué tan estrechamente se asemeja el texto generado por LLM al lenguaje humano a nivel lingüístico permanece poco explorada. Desde una perspectiva de la lingüística de corpus, la producción del lenguaje humano es inherentemente dependiente del contexto; distintos contextos comunicativos (registros) dan lugar a frecuencias específicas y patrones de coocurrencia de características lingüísticas. Un texto puede ser factualmente correcto pero lingüísticamente "poco natural" si no se adhiere a los patrones de su registro objetivo. Los métodos de detección existentes a menudo dependen de incrustaciones de modelos (que no son interpretables por humanos) o no miden adecuadamente la alineación con el registro, particularmente cuando los modelos se condicionan sobre ejemplos explícitos de registro en lugar de inferir el registro a partir del contexto situacional.

Metodología
Los autores proponen un marco de evaluación consciente del registro que evalúa la similitud con el humano como un problema de dos muestras entre la distribución de características lingüísticas de un corpus de referencia humano y un corpus correspondiente generado por LLM.

1. Generación de Datos y Condicionamiento Implícito del Registro:

   • Se seleccionaron cinco registros distintos en inglés: Conversación hablada (BNC2014Spoken), Escritura académica (S2ORC_ACL), Texto instructivo en línea (wikiHow), Escritura creativa (WritingPrompts) y Reportaje periodístico (XSum).
   • Se recopilaron corpus de referencia humana y se utilizaron metadatos para construir indicaciones en lenguaje natural.
   • Crucialmente, el marco emplea condicionamiento de registro implícito: las indicaciones describen el contexto situacional sin incluir ejemplos de texto específicos del registro, obligando al modelo a inferir el estilo objetivo.
   • Se evaluaron siete modelos de código abierto ajustados con instrucciones (que van desde 8B hasta 70B parámetros, incluyendo Llama 3, Qwen 3, Gemma 3 y Apertus) en configuraciones de cero disparos (zero-shot) y pocos disparos (few-shot).

2. Extracción de Características:

   • El marco utiliza las 67 características léxico-gramaticales y discursivas introducidas por Biber (1988), un estándar en la lingüística de corpus para analizar la variación entre registros.
   • Los textos se estandarizaron a una longitud de 400 tokens léxicos para garantizar la comparabilidad.

3. Métrica de Distancia (MMD):

   • La discrepancia entre los corpus humanos y sintéticos se cuantifica utilizando la Discrepancia Máxima de la Media (MMD) en un Espacio de Hilbert de Núcleo Reproductor (RKHS) con un núcleo RBF.
   • La MMD mide la distancia entre las incrustaciones medias de dos distribuciones. Un valor de cero implica que las distribuciones son idénticas.
   • Para establecer una línea base, los autores calculan la MMD entre dos submuestras disjuntas del corpus humano ($MMD_{humano-humano}$) para generar un Intervalo de Confianza (IC) del 95 %. Si la distancia de un LLM supera el límite superior de este IC, indica una desviación estadísticamente significativa de los patrones del lenguaje humano.

Contribuciones Clave

• Un Marco Consciente del Registro: Un método para evaluar la similitud con el humano basado en la diferencia distribucional de características lingüísticas utilizando MMD, yendo más allá de las métricas específicas de tareas.
• Implementación de Código Abierto: La publicación del código, configuraciones de generación y resultados utilizando las 67 características de Biber.
• Comparativa Exhaustiva: Un análisis comparativo de siete modelos en cinco registros, que incluye un estudio de ablación sobre la estabilidad de las indicaciones y los efectos de la generación con pocos disparos.

Resultados

• Desviación Universal: En todos los entornos probados, cada LLM produjo una distribución de características lingüísticas que se desviaba significativamente de la línea base humana (superando el IC humano-humano).
• Dependencia del Registro: La clasificación de modelos por "similitud con el humano" no es consistente entre registros. Por ejemplo, los modelos Qwen tuvieron el mejor desempeño en Conversación hablada, Escritura creativa y Noticias, mientras que Apertus 70B fue el más cercano a las líneas base humanas para Escritura académica y Texto instructivo.
• Tamaño del Modelo vs. Desempeño: La similitud con el humano no está dictada por el tamaño del modelo. Los modelos más pequeños (por ejemplo, Qwen 8B) a menudo funcionaron tan bien o mejor que sus contrapartes más grandes (por ejemplo, Llama 70B) dependiendo del registro.
• Sesgos Lingüísticos Específicos:
  • Los modelos generalmente sobreutilizaron Cláusulas de Participio Presente y Nominalizaciones en comparación con los humanos.
  • Los modelos tendieron a producir palabras más largas y utilizar Adjetivos Atributivos con mayor frecuencia.
  • Los modelos mostraron una variabilidad reducida en las características lingüísticas en comparación con los humanos en cuatro de los cinco registros.
• Estabilidad de las Indicaciones: Si bien los valores absolutos de distancia variaron con la redacción de las indicaciones, la clasificación relativa de los modelos permaneció consistente (correlación $\ge$ 0.985).
• Efectos de Pocos Disparos: Proporcionar ejemplos de pocos disparos generalmente redujo la distancia a la distribución humana, aunque el efecto fue menor y ocasionalmente perjudicial (por ejemplo, para Llama 8B en Conversación hablada).

Significado y Afirmaciones
El artículo afirma que la similitud con el humano es una propiedad dependiente del registro que debe evaluarse con sensibilidad al registro. Agregar resultados entre registros oscurece las diferencias sistemáticas; un modelo clasificado como "más similar al humano" en un contexto puede no serlo en otro.

Los autores argumentan que su marco proporciona una métrica transparente e interpretable (MMD sobre características interpretables por humanos) que puede optimizarse en trabajos futuros para mejorar la producción de lenguaje de los LLM. Al minimizar la MMD entre los textos generados y muestras representativas de registros, se podría alentar a los modelos a producir textos que sean lingüísticamente apropiados para su propósito comunicativo y evitar el "colapso de modos" en distribuciones estrechas de características. El estudio concluye que los LLM actuales, independientemente de su tamaño o arquitectura, fallan sistemáticamente en replicar la variabilidad completa y los patrones específicos de coocurrencia del lenguaje humano dentro de registros específicos.