💬 NLP

A Cross-lingual Comparison of Human and Classification Model Entrainment Behavior in Code-switched Speech Settings

Este artículo presenta un análisis translingüístico del arrastre humano en el habla con alternancia de códigos a través de diálogos en mandarín-inglés, hindi-inglés y español-inglés, revelando que, si bien el arrastre léxico se generaliza, el arrastre acústico y estilístico varía según el contexto, y demostrando que los modelos de clasificación actuales no logran priorizar las características específicas más salientes para el comportamiento humano.

Autores originales: Debasmita Bhattacharya, Siying Ding, Alayna Nguyen, Julia Hirschberg

Publicado 2026-07-29

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Debasmita Bhattacharya, Siying Ding, Alayna Nguyen, Julia Hirschberg

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás en una fiesta donde todo el mundo está charlando. Podrías notar que, cuando dos personas conectan de verdad, empiezan a imitarse entre sí. Una persona habla rápido y la otra acelera el ritmo; uno usa muchos "umms" y "likes" y el otro empieza a hacer lo mismo. Incluso pueden empezar a usar la misma jerga o a ajustar sus voces para sonar más parecidos. En el mundo de la ciencia, esto se llama entrenamiento (o entrainment). Es como un baile subconsciente donde las personas copian inconscientemente el estilo del otro para construir una conexión, sentirse comprendidos y hacer que la conversación fluya sin problemas.

Los científicos han estudiado este "baile" durante mucho tiempo, principalmente en personas que hablan un solo idioma, como el inglés. Pero el mundo está lleno de personas que mezclan idiomas, alternando de un idioma a otro, por ejemplo, entre el español y el inglés, o el hindi y el inglés, en medio de una frase. Esto se llama alternancia de código (code-switching). La gran pregunta es: ¿Sigue ocurriendo este baile de imitación cuando la gente mezcla idiomas? Y aquí está el giro: Hemos construido programas informáticos sofisticados (IA) para detectar este reflejo. Pero, ¿entienden realmente estos ordenadores cómo lo hacemos los humanos, o simplemente están adivinando basándose en las pistas equivocadas?

Este artículo profundiza en esa cuestión. Los investigadores analizaron conversaciones reales donde la gente mezclaba mandarín con inglés, hindi con inglés, y español con inglés. Querían ver si este "baño de imitación" se veía igual en estos diferentes pares de idiomas. Luego, probaron un grupo de modelos informáticos para ver si la IA estaba prestando atención a las mismas cosas que los humanos.

Aquí está lo que encontraron:

El baile humano: Mayormente igual, pero con un toque local
Cuando los humanos mezclan idiomas, también se imitan entre sí, pero la forma en que lo hacen depende de los idiomas involucrados.

Las palabras: En los tres pares de idiomas, las personas imitaron consistentemente la elección de palabras del otro. Si una persona usaba muchas palabras comunes o sonidos de relleno específicos, la otra persona tendía a copiar eso. Esta parte del baile fue muy consistente, sin importar qué idiomas se estuvieran mezclando.
La voz y el ritmo: Aquí es donde se puso interesante. En los grupos de español-inglés y mandarín-inglés, las personas mostraron muy poca imitación constante del tono de voz o la velocidad. Sin embargo, en el grupo de hindi-inglés, la imitación fue mucho más fuerte a nivel de turno (entre hablantes inmediatos), con los hablantes convergiendo consistentemente en sus rasgos de voz. Los investigadores sugieren que esta diferencia puede deberse a que el mandarín tiene una cualidad tonal única (donde el cambio de tono cambia el significado de una palabra) que hace que el "baile de la voz" sea diferente, mientras que los hablantes de hindi-inglés se alinean más estrechamente con los patrones observados en el español-inglés. Sin embargo, es importante señalar que, incluso en el hindi-inglés, esta fuerte imitación no se extendió al nivel de la conversación más amplia; los hablantes no mostraron una convergencia constante a lo largo de todo el diálogo.
El estilo de alternancia: La forma en que la gente cambiaba de idioma también varió. En el español-inglés y el mandarín-inglés, las personas imitaron la frecuencia y la forma en que alternaban los idiomas. Pero en el hindi-inglés, la imitación fue mucho más débil. Los autores sugieren que esto puede deberse a que los hablantes de hindi-inglés cambian de idioma de forma tan natural y frecuente que hay menos "espacio" para que una persona influya en el estilo de la otra; es como si todos ya estuvieran bailando de la misma manera, por lo que copiar no destaca tanto.

El baile del robot: Buenos para adivinar, malos para entender
Los investigadores luego preguntaron: ¿Ven nuestros modelos informáticos el baile de la misma manera que lo hacen los humanos?

El resultado: Los ordenadores fueron bastante buenos para detectar cuándo las personas se estaban imitando. Podían distinguir entre una conversación de "imitación" y una de "no imitación" con una precisión decente.
El problema: Sin embargo, los ordenadores estaban priorizando las pistas equivocadas para tomar esa decisión. Cuando los investigadores miraron bajo el capó para ver qué pistas estaba usando la IA, descubrieron un desajuste. Los humanos imitaban palabras específicas y estilos de alternancia, pero los ordenadores a menudo priorizaban características distintas a las más relevantes para el comportamiento humano y se centraban en lugar de eso en otros detalles menos relevantes, como pequeñas fluctuaciones en el tono de voz o la intensidad.
La analogía: Imagina a un guardia de seguridad tratando de detectar a un ladrón. El ladrón siempre lleva un sombrero rojo brillante (la pista humana). Pero la cámara del guardia de seguridad está tan enfocada en los cordones de los zapatos del ladrón (la pista del ordenador) que se pierde el sombrero por completo. El guardia aún atrapa al ladrón (el modelo obtiene la respuesta correcta), pero está utilizando la lógica equivocada.

Por qué esto es importante
El artículo sugiere que, si bien nuestra IA puede detectar que está ocurriendo una conexión, no comprende verdaderamente la forma humana en que se construye esa conexión. Es como un estudiante que saca la respuesta correcta en un examen de matemáticas memorizando la clave de respuestas en lugar de comprender la fórmula.

Los autores señalan que esto es un problema para el futuro. Si queremos construir asistentes de IA que charlen de forma natural con personas que mezclan idiomas, necesitamos que entiendan el baile real, no solo el falso. Si la IA depende de las pistas equivocadas, podría fallar cuando se encuentre con un nuevo grupo de personas o una mezcla de idiomas diferente. El artículo no pretende haber resuelto esto todavía; en cambio, sugiere que necesitamos enseñar a nuestros ordenadores a prestar atención a las mismas cosas que los humanos para que puedan ser compañeros de conversación verdaderamente naturales.

Resumen Técnico: Una comparación translingüística del comportamiento de entrelazamiento entre humanos y modelos de clasificación en entornos de habla con alternancia de códigos

Planteamiento del problema

El entrelazamiento conversacional —la adaptación subconsciente de los estilos de comunicación (léxicos, acústico-prosódicos y gestuales) hacia un interlocutor— está bien documentado en contextos monolingües y escritos, pero sigue siendo poco explorado en la alternancia de códigos (CSW, por sus siglas en inglés) hablada. Si bien trabajos previos han examinado el entrelazamiento en CSW, estos se han limitado mayoritariamente al par lingüístico español-inglés y a las modalidades escritas. Además, no está claro si los modelos de clasificación de aprendizaje automático, utilizados frecuentemente para detectar o generar tales fenómenos estilísticos, dependen de las mismas características que impulsan el comportamiento de entrelazamiento humano. Este artículo aborda dos preguntas primordiales:

RQ1: ¿En qué medida los patrones de entrelazamiento en la CSW hablada se generalizan a través de distintos pares de lenguas (específicamente mandarín-inglés, hindi-inglés y español-inglés) con diversas distancias tipológicas y contextos culturales?
RQ2: ¿En qué medida los modelos de clasificación atienden a las mismas características de entrelazamiento utilizadas por los humanos durante la comunicación espontánea con alternancia de códigos?

Metodología

El estudio emplea un enfoque de múltiples etapas que involucra el análisis de corpus, el modelado estadístico del comportamiento humano y la evaluación de aprendizaje automático.

Corpora

Los autores analizan tres corpora de habla informal multilingüe:

Bangor Miami (BM): Conversaciones espontáneas de español-inglés (35 horas, 56 diálogos).
SEAME: Diálogos espontáneos de mandarín-inglés (192 horas, 256 diálogos).
MaSaC: Habla de comedia televisiva situacional de hindi-inglés (13 horas, 1,190 diálogos).
Nota: MaSaC es guionizado, pero se trata como un sustituto de los fenómenos naturalistas debido a la falta de datos de habla abierta de hindi-inglés que coincidan en género. Los autores anotaron manualmente MaSaC con etiquetas de estrategia de CSW (Insertiva, Alternacional, Otra) para igualar la granularidad de BM y SEAME.

Análisis de entrelazamiento humano

Los autores replican el marco analítico de Bhattacharya et al. (2024a) y Levitan y Hirschberg (2011) para medir el entrelazamiento a nivel de turno y a nivel de conversación.

Características:
- Léxicas: Palabras frecuentes de los top-100/25, palabras frecuentes a nivel de conversación, señales de afirmación, muletillas y medidas basadas en la perplejidad del uso general del lenguaje.
- Acústico-prosódicas: Tono, intensidad, jitter, shimmer, relación armónico-ruido (HNR) y velocidad de habla.
- Estilo de CSW: Presencia de CSW, ratio de CSW y tipo de estrategia de CSW.
Métricas: El entrelazamiento se cuantifica mediante proximidad (similitud entre hablantes), convergencia (movimiento hacia la similitud) y sincronía (coordinación temporal). La significancia estadística se determina mediante valores p.

Evaluación del modelo

Los autores evalúan una serie de clasificadores binarios (tanto de ML clásico como basados en Transformers) para detectar si una conversación exhibe un entrelazamiento significativo.

Modelos: Incluye SVC, Árboles de Decisión, Bosques Aleatorios, MLP, XGBoost y diversos embeddings pre-entrenados (XLM-R, mBERT, WavLM, mHuBERT) fusionados con MLP.
Tarea: Clasificación binaria (Entrelazado vs. No entrelazado) tanto en la granularidad de nivel de turno como de nivel de conversación.
Análisis:
- Importancia de las características: Utilizando atributos integrados y valores de Shapley para determinar qué características impulsan las predicciones del modelo.
- Estudios de ablación: Eliminación sistemática de características para medir el impacto en la precisión del modelo ( $\Delta$ acc).
Comparación: La dependencia de las características de los modelos se compara con las características estadísticamente salientes identificadas en el análisis de entrelazamiento humano.

Resultados clave

1. Patrones de entrelazamiento humano translingüísticos (RQ1)

Entrelazamiento léxico: Generalmente consistente entre los pares de lenguas. El mandarín-inglés y el español-inglés muestran un robusto entrelazamiento léxico en todas las clases de palabras. El hindi-inglés (MaSaC) muestra entrelazamiento léxico para palabras frecuentes, pero carece de él para palabras frecuentes a nivel de conversación, señales de afirmación y muletillas. Los autores atribuyen esto último a la naturaleza guionizada de MaSaC y a la brevedad de las conversaciones, señalando que estas categorías podrían no aparecer en el diálogo.
Entrelazamiento acústico-prosódico: Muestra variaciones significativas.
- Mandarín-inglés (SEAME): Entrelazamiento acústico-prosódico limitado; significativo solo en una minoría de las características.
- Hindi-inglés (MaSaC): Fuerte evidencia de proximidad y convergencia a nivel de turno en la mayoría de las características acústico-prosódicas.
- Español-inglés (BM): Refleja patrones de ausencia en la proximidad/convergencia a nivel de conversación.
- Hipótesis: Los autores sugieren que el carácter tonal único del mandarín y sus distintas normas de entonación pueden explicar la falta de entrelazamiento acústico en comparación con el hindi y el español.
Entrelazamiento del estilo de CSW:
- Mandarín-inglés y Español-Inglés: Exhiben entrelazamiento en la mayoría de las características de CSW (presencia, ratio, estrategia) mediante proximidad y sincronía.
- Hindi-Inglés: Difiere notablemente, exhibiendo solo convergencia a nivel de turno y un entrelazamiento menos prominente en general. Los autores hipotetizan que debido a que los hablantes de hindi-inglés ya realizan la alternancia de códigos de manera prevalente e independiente (índices M- e I- altos), hay menos "espacio" para la influencia estilística, creando un efecto de techo.

2. Comportamiento de los modelos de clasificación (RQ2)

Desalineación de características: Aunque los clasificadores logran una precisión razonable en la detección del entrelazamiento, priorizan consistentemente características distintas a las más salientes para el comportamiento humano.
- Nivel de conversación: Los modelos a menudo asignan alta importancia a las características acústico-prosódicas o a métricas únicas de CSW, ignorando el conjunto más amplio de características relevantes para el humano. En algunos casos, los modelos dependen de características que proporcionan poca señal discriminativa para el entrelazamiento humano.
- Nivel de turno: Los estudios de ablación de características revelan que eliminar características específicas de entrelazamiento resulta en cambios cercanos a cero en la precisión. Esto sugiere que los modelos dependen de señales difusas, redundantes o espurias en lugar de un conjunto de características coherente y fundamentado en el humano.
Efecto de granularidad: Los modelos funcionan mejor a nivel de conversación que a nivel de turno. Los autores sugieren que la dinámica a nivel de turno es más fina y variable, lo que la hace más difícil de capturar mediante estadísticas agregadas.

Contribuciones clave

Validación translingüística: El primer estudio que valida los patrones de entrelazamiento de la CSW hablada a través de mandarín-inglés, hindi-inglés y español-inglés, extendiendo los hallazgos previos de español-inglés.
Marco fundamentado en el humano: Un enfoque novedoso que utiliza los patrones de comportamiento humano como un punto de referencia para evaluar e interpretar la toma de decisiones de los clasificadores en contextos estilísticos multilingües.
Discrepancia Modelo-Característica: Demuestra que, si bien los modelos pueden detectar el entrelazamiento, lo hacen utilizando mecanismos diferentes a los de los humanos, resaltando una brecha en la comprensión de por qué los modelos tienen éxito.
Liberación de datos: Publicación de una versión anotada manualmente del corpus MaSaC con nuevas etiquetas de estilo de CSW para apoyar la investigación futura sobre la CSW hablada.

Significancia y afirmaciones

El artículo afirma que los patrones de comportamiento humano, fundamentados empíricamente, proporcionan una lente valiosa para interrogar la toma de decisiones de los modelos. Los hallazgos sugieren que un alto rendimiento de clasificación no implica que un modelo haya capturado el fenómeno subyacente del entrelazamiento de una manera que soporte la generación naturalista.

Los autores concluyen modestamente que:

El entrelazamiento léxico se generaliza de forma robusta, pero los patrones acústico-prosódicos y de estilo de CSW varían según el carácter lingüístico y las normas culturales.
Los modelos actuales pueden propagar una desalineación a nivel de características si se utilizan para dirigir modelos generativos, ya que dependen de señales distintas de la saliencia humana.
El trabajo futuro debe investigar si los modelos generativos enfrentan desafíos similares en la alternancia de códigos y si las intervenciones (por ejemplo, estrategias de prompting o entrenamiento) pueden fomentar un entrelazamiento más humano.

El estudio reconoce limitaciones, incluyendo la dependencia de pares de CSW que involucran al inglés, el uso de datos guionizados para el hindi-inglés y la simplificación del entrelazamiento en tareas de clasificación binaria. Enfatiza que la significancia estadística en el análisis de corpus es un sustituto imperfecto de la saliencia cognitiva y hace un llamado a que futuros trabajos utilicen datos conductuales (por ejemplo, juicios de oyentes) para alinear mejor los modelos con la interacción humana.