Resumen Técnico: Los modelos ajustados por instrucciones reutilizan la sintaxis humana localmente más que los humanos

Planteamiento del problema

La convergencia sintáctica —la tendencia de los hablantes a adaptar sus construcciones gramaticales para coincidir con sus interlocutores— es un fenómeno bien documentado en el diálogo humano, que opera típicamente por debajo de la conciencia mediante mecanismos de primado estructural. Dado que los Grandes Modelos de Lenguaje (LLM) son ahora interlocutores rutinarios, sigue siendo una pregunta abierta si estos exhiben una convergencia sintáctica direccional análoga hacia los usuarios humanos en comparación con los referentes humanos. Específicamente, no está claro si los LLM reutilizan las reglas de la gramática libre de contexto (CFG) de los turnos humanos precedentes más que los humanos, y cómo este comportamiento varía entre familias de modelos, escalas de parámetros y regímenes de entrenamiento (preentrenados frente a ajustados por instrucciones).

Metodología

El estudio utiliza un paradigma de sustitución basado en datos de Blevins et al. [2026], donde los turnos generados por LLM reemplazan los turnos de un interlocutor en diálogos preexistentes de humano-humano del corpus DailyDialog. Esta configuración permite una comparación directa entre las salidas del modelo y las respuestas humanas originales en posiciones conversacionales idénticas.

Datos y Modelos

• Corpus: 707 conversaciones diádicas en inglés (restringidas a los turnos 6–final), lo que produce 1,901 posiciones emparejadas por modelo.
• Modelos: Dieciséis modelos de pesos abiertos a través de dos familias (Llama-3.1/3.2 y Gemma-3), que van desde 1B hasta 70B de parámetros. Cada familia incluye variantes tanto preentrenadas (PT) como ajustadas por instrucciones (IT).
• Condiciones:
  1. HUMANO: Respuesta humana original ($h_i$) ante un estímulo humano ($p_i$).
  2. ACTUAL: Generación del modelo ($m_i$) ante un estímulo humano ($p_i$).
  3. ALEATORIO: Generación del modelo ($m_i$) ante un estímulo humano no relacionado ($\tilde{p}_i$) muestreado de una conversación diferente.

Pipeline de Medición

• Anotación Sintáctica: Las unidades de habla fueron analizadas mediante benepar para extraer reglas de producción de Gramática Libre de Contexto (CFG). Las reglas elegibles fueron aquellas no unarias y que ocurrieron más de una vez en el corpus humano.
• Métricas:
  • Alineación Total de la Salida Natural: Solapamiento de reglas CFG entre el objetivo y el estímulo real.
  • Incremento Actual-vs-Aleatorio: El solapamiento añadido atribuible al verdadero estímulo conversacional frente a uno no relacionado.
  • Propensión de Reutilización Condicional: Odds de solapamiento cuando se mantiene constante el tamaño del conjunto de reglas del objetivo.
• Modelado Estadístico: Se ajustaron modelos mixtos logísticos de efectos aleatorios (GLMM) para cada modelo y de forma agrupada a través de pares de arquitectura. Los interceptos aleatorios dieron cuenta de la variación entre posiciones y reglas. Las covariables incluyeron la frecuencia de la regla y el tamaño estructural del estímulo.
• Análisis Exploratorios: Se calcularon la similitud de coseno TF-IDF (léxica) y la similitud de coseno de embeddings de oraciones normalizados en L2 (semántica) para comparar la similitud del modelo y del humano con el turno precedente.

Resultados Clave

1. Reutilización Sintáctica Universal por Encima del Baseline (RQ1)

Cada modelo (los 16) demostró un mayor solapamiento de reglas CFG con el turno humano precedente real que con un estímulo no relacionado. El coeficiente actual-versus-aleatorio osciló entre $\beta = 0.706$ y $1.453$($p \le 6.5 \times 10^{-31}$), confirmando que todos los modelos evaluados exhiben convergencia sintáctica direccional.

2. Alineación de Modelos Ajustados por Instrucciones frente al Referente Humano (RQ2)

• Salida Natural: Cada modelo ajustado por instrucciones mostró un mayor solapamiento entre el actual y el estímulo que la respuesta humana emparejada ($\beta = 0.398$ a $0.796$). Los modelos preentrenados estuvieron más cerca del referente humano, con resultados mixtos (cuatro significativamente positivos, cuatro indistinguibles de cero).
• Pares de Arquitectura: Todos los ocho pares de arquitectura emparejados mostraron una mayor reutilización del actual-versus-el-estímulo bajo el ajuste por instrucciones en comparación con sus contrapartes preentrenadas.
• El Confundido de la "Estructura": Al descomponer estos resultados, los modelos ajustados por instrucciones produjeron respuestas con más estructura sintáctica elegible (conjuntos de reglas de objetivo más grandes), lo que inherentemente ofrece más oportunidades de solapamiento.
  • Incremento Actual-versus-Aleatorio: Los modelos ajustados por instrucciones mostraron un impulso incremental menor proveniente del estímulo real en comparación con los modelos preentrenados ($\beta = -0.310$).
  • Reutilización Condicional: Cuando se mantuvo constante el tamaño del conjunto de reglas del objetivo, la ventaja del ajuste por instrucciones se revirtió. Los modelos preentrenados exhibieron una tendencia más fuerte a reutilizar las reglas disponibles ($\beta = -0.505$ para IT frente a PT), mientras que los modelos ajustados por instrucciones mostraron una menor propensión de reutilización condicional.

3. Perfiles de Frecuencia (RQ3)

• Frecuencia de Reglas: Para todos los modelos, el incremento actual-versus-aleatorio fue mayor para las reglas de baja frecuencia.
• Perfiles Divergentes: Los humanos y los modelos preentrenados mostraron interacciones negativas con la frecuencia (un primado más fuerte para reglas raras). Los modelos ajustados por instrucciones mostraron interacciones de frecuencia más variadas, con algunos exhibiendo interacciones positivas, lo que sugiere un mecanismo diferente en cómo ponderan la reutilización de reglas según su frecuencia.

4. Similitud Léxica y Semántica (RQ4)

• Los dieciséis modelos fueron más léxica y semánticamente similares al turno precedente que las respuestas humanas emparejadas.
• Los modelos ajustados por instrucciones produjeron consistentemente respuestas con una mayor similitud semántica media que sus contrapartes preentrenadas. Los resultados de similitud léxica fueron heterogéneos entre los pares de arquitectura.

Significado y Reivindicaciones

El artículo afirma proporcionar la primera medición de la convergencia sintáctica local direccional en el diálogo humano-LLM a través de un amplio inventario de construcciones y variantes de modelos.

• Mecanismo de Convergencia: Los hallazgos sugieren que el ajuste por instrucciones optimiza los modelos para la "capacidad de respuesta" local, lo que conduce a una mayor alineación total con el turno precedente. Sin embargo, esto es en parte impulsado por la generación de respuestas que contienen más estructura sintáctica, en lugar de un aumento puro en la propensión a reutilizar reglas específicas.
• Reconciliación con la Estilometría: Los resultados se reconcilian con el trabajo previo (Blevins et al. [2026]) que muestra que los modelos ajustados por instrucciones pueden converger menos en ciertas características estilométricas; el presente estudio sugiere que esto puede reflejar una tendencia a introducir material novedoso mientras se mantiene una alta alineación estructural mediante un aumento en la complejidad de la salida.
• Implicaciones para los Riesgos de Alineación: El estudio operacionaliza un componente lingüístico local relevante para la hipótesis de la "espiral de amplificación" (Augustin et al. [2026]), donde la alineación lingüística combinada con la generación hiperpersonalizada puede contribuir a la construcción de creencias desadaptativas. Los datos confirman que los LLM, particularmente los ajustados por instrucciones, exhiben una fuerte y medible acomodación sintáctica hacia los usuarios humanos.
• Perspectiva Psicolingüística: La presencia de efectos de primado dependientes de la frecuencia (más fuertes para reglas raras) en todos los modelos, incluidos los preentrenados pequeños, sugiere que la sensibilidad al entorno sintáctico local es una propiedad fundamental de la predicción del siguiente token, potencialmente análoga al aprendizaje implícito basado en el error en los humanos, aunque el artículo señala que esta analogía requiere una investigación mecánica adicional.

El estudio concluye que, si bien los modelos ajustados por instrucciones se alinean más fuertemente con la sintaxis humana en la salida natural, esta alineación es compleja, involucrando tanto un aumento en la oportunidad estructural como mecanismos distintos de ponderación de frecuencia en comparación con tanto los humanos como los modelos preentrenados.