Resumen Técnico: La Acomodación Funciona en Ambas Direcciones: Estudio de la Convergencia Lingüística entre Humanos y Modelos de Lenguaje

Declaración del Problema

A medida que los Modelos de Lenguaje de Gran Escala (LLM) se integran cada vez más en la vida cotidiana, persiste una pregunta abierta crítica: ¿cómo moldea su presencia el comportamiento lingüístico humano? Si bien los LLM pueden producir textos indistinguibles del lenguaje humano, no está claro cómo adaptan su habla los interlocutores humanos al conversar con ellos en comparación con las interacciones entre humanos. Específicamente, el artículo investiga el fenómeno de la acomodación lingüística: la tendencia de los hablantes a adaptar su lenguaje (fonología, sintaxis, elecciones léxicas) para coincidir con su interlocutor. El estudio busca responder tres preguntas de investigación principales:

1. ¿Convergen los LLM hacia el estilo de sus usuarios a lo largo de conversaciones de múltiples turnos?
2. ¿Convergen los usuarios humanos hacia el estilo de su interlocutor LLM?
3. ¿Difiere la acomodación humana de los LLM de su acomodación hacia interlocutores humanos?

Trabajos anteriores han examinado la convergencia de modelo a modelo o tareas de reemplazo de turnos sintéticos, pero existe una falta de datos empíricos sobre la coordinación por turno de humanos y LLM en entornos realistas de chatbots de múltiples turnos en múltiples idiomas.

Metodología

Los autores emplean una métrica de convergencia asimétrica para desentrañar los comportamientos de acomodación de humanos y LLM. El estudio utiliza WildChat, un corpus de aproximadamente un millón de conversaciones reales entre usuarios humanos y ChatGPT (GPT-3.5-Turbo y GPT-4), filtrado para conversaciones con 2–10 pares de turnos.

Datos

• Conjunto de datos principal: WildChat, muestreado en ocho idiomas (inglés, francés, español, portugués, italiano, ruso, turco y chino), con un total de hasta 5.000 conversaciones por idioma.
• Líneas base: Se utilizaron dos conjuntos de datos de diálogo humano-humano para comparación:
  • DailyDialog: Conversaciones cotidianas.
  • Ubuntu Dialogue Corpus: Conversaciones de soporte técnico (representando una línea base orientada a tareas similar a los casos de uso comunes de LLM).

Métricas

La convergencia se mide utilizando la métrica definida por Danescu-Niculescu-Mizil y Lee (2011), que calcula la probabilidad de que un hablante utilice una característica dado que su pareja la utilizó, menos la tasa base del hablante. Se analizaron dos tipos de características:

1. Palabras funcionales de LIWC: Categorías del léxico de Indagación Lingüística y Conteo de Palabras (por ejemplo, pronombres, artículos, preposiciones, negaciones) que sirven como marcadores inconscientes de acomodación.
2. Lemas de SUSTANTIVO: Los 100 lemas de sustantivos más frecuentes por corpus (filtrados para sinónimos de WordNet cuando fue posible) para medir el arrastre léxico en palabras de clase abierta.

El análisis se realizó por separado para el LLM y el usuario humano en cada conversación para capturar la adaptación asimétrica.

Resultados Clave

1. Convergencia Asimétrica

El estudio revela una asimetría significativa en la acomodación:

• Los LLM sobreconvergen: Los LLM sobreconvergen significativamente hacia sus usuarios tanto en palabras funcionales como en características de clase abierta (sustantivos).
  • Palabras funcionales: La convergencia media de LIWC para los LLM es aproximadamente el doble que la de los usuarios (0,068 frente a 0,035 en inglés). El aumento relativo oscila entre el 22 % (preposiciones) y el 164 % (negación).
  • Sustantivos: La convergencia de sustantivos de los LLM es aún más pronunciada, con ChatGPT alcanzando una puntuación media de 0,442 frente a 0,141 para los usuarios. Esto indica que los LLM son altamente sensibles a las elecciones léxicas de los usuarios más allá de las palabras funcionales.
• Estabilidad humana: Los usuarios humanos acomodan a los LLM a tasas ampliamente consistentes con las líneas base humano-humano.
  • La convergencia media de LIWC para humanos en WildChat (0,035) cae dentro del rango observado en DailyDialog (0,036) y Ubuntu (0,022–0,024).
  • La convergencia de sustantivos humanos en WildChat (0,141) es comparable a DailyDialog (0,132) y Ubuntu (0,104).
  • Excepción: Los humanos mostraron una mayor convergencia en la negación al hablar con LLM (0,081), probablemente impulsada por la convergencia extrema del LLM en esa característica específica.

2. Robustez Translingüística

La asimetría se mantiene consistentemente en los ocho idiomas examinados. A pesar de las diferencias tipológicas y las variaciones en la cobertura de los datos de entrenamiento:

• Las puntuaciones de convergencia de los LLM superan consistentemente las tasas de los usuarios entre un 95 % y un 213 % para las características de LIWC.
• La convergencia de sustantivos de los LLM supera las tasas de los usuarios entre un 214 % y un 330 % en todos los idiomas.
• El inglés, a menudo el idioma mejor dotado de recursos, cae en el medio de este rango, lo que sugiere que la asimetría no es meramente una función de la calidad del modelo en un idioma específico.

3. Dinámicas Temporales

Un análisis por turno revela que las tasas de convergencia no siguen una tendencia lineal consistente a lo largo de una conversación.

• La mayoría de las fluctuaciones aparecen como ruido.
• Las tendencias lineales significativas (positivas o negativas) son esporádicas y específicas del idioma (por ejemplo, hablantes y modelos rusos aumentando la convergencia, mientras que los hablantes portugueses divergen), en lugar de una tendencia sistemática de que cualquiera de las partes acomode más o menos con el tiempo.
• Esto contrasta con algunos hallazgos anteriores sobre la convergencia progresiva, lo que sugiere que la coordinación local turno a turno permanece relativamente estable.

Significado y Afirmaciones

El artículo afirma que la acomodación en el diálogo humano-LLM es fundamentalmente asimétrica. Mientras que los LLM se ajustan en exceso dramáticamente a los estilos lingüísticos de sus usuarios, los humanos acomodan lingüísticamente a los LLM de la misma manera que lo harían con otra persona.

Los autores hipotetizan que esta estabilidad en el comportamiento humano se debe a la fluidez de los LLM modernos. Citando el consenso de que la acomodación lingüística es un proceso en gran medida inconsciente (Giles et al., 1991; Pickering y Garrod, 2004), el artículo sugiere que una vez que una IA produce un lenguaje suficientemente coherente, los mecanismos inconscientes de acomodación se activan como en el diálogo humano-humano, independientemente de la naturaleza del interlocutor. Este hallazgo contrasta con trabajos anteriores (por ejemplo, Bhatt y Rios, 2021) donde los humanos acomodaban a los bots de manera diferente, una discrepancia que los autores atribuyen a las respuestas incoherentes de los sistemas de bots anteriores frente a la coherencia de los LLM modernos.

El estudio concluye que a medida que los LLM se integran más en la comunicación cotidiana, comprender estas respuestas humanas subconscientes es crítico para anticipar los efectos a largo plazo de los LLM en el lenguaje natural, señalando que el comportamiento de "sobreacomodación" del modelo no necesariamente elicita una sobreacomodación recíproca por parte del humano.