Disentangling Speaker and Language Effects in Cross-Lingual Speaker Verification for Iberian Languages

Resumen Técnico: Desentrañando los efectos de la lengua y el hablante en la verificación de locutor translingüística para lenguas ibéricas

Planteamiento del problema

Los sistemas de verificación de locutor (SV, por sus siglas en inglés) translingüísticos suelen sufrir una degradación del rendimiento cuando las locuciones de inscripción y de prueba se expresan en diferentes lenguas. Aunque teóricamente se espera que la SV dependa de claves extralingüísticas independientes del contenido lingüístico, los estudios empíricos indican que los modelos actuales aprenden representaciones que no son totalmente agnósticas al idioma. Una limitación crítica en la investigación actual es que los protocolos de evaluación estándar confunden el desajuste lingüístico con la variabilidad entre locutores. Debido a que es difícil recolectar corpus a gran escala que contengan a los mismos individuos hablando múltiples lenguas, los referentes estándar evalúan el rendimiento translingüístico utilizando diferentes locutores para cada lengua. En consecuencia, las caídas de rendimiento observadas no pueden atribuirse claramente solo a las diferencias de lengua frente a la variabilidad del locutor.

Metodología

Para abordar este factor de confusión, los autores proponen un marco de evaluación bilingüe de mismo locutor aplicado a cinco lenguas ibéricas: español, catalán, gallego, euskera y portugués.

Construcción de datos:

• Fuente: Corpus Mozilla Common Voice (versión 25.0).
• Entrenamiento: Subconjuntos estrictamente equilibrados con recuentos de muestras iguales e identidades de locutores disjuntas por lengua. Cada locutor aporta 50 locuciones para evitar el desequilibrio del conjunto de datos o efectos de frecuencia.
• Evaluación: Los autores construyeron un conjunto de prueba bilingüe de mismo locutor seleccionando locutores que grabaron locuciones en español y al menos una lengua ibérica adicional. Esto permite realizar ensayos translingüísticos controlados donde la identidad del locutor es constante.
• Intervalo de entrenamiento dinámico: Para asegurar una medición fiable de las mejoras de rendimiento, el estudio identifica un intervalo de entrenamiento "dinámico" $[N, 2N]$ (específicamente de 1.000 a 2.000 muestras por lengua) donde el rendimiento aumenta significamente antes de la saturación.

Arquitectura del modelo:

• Modelo base: Un codificador mHuBERT-1471 multilingüe preentrenado en 147 lenguas.
• Ajuste fino (Fine-tuning): El codificador se ajusta para la identificación de locutores utilizando un cabezal de clasificación lineal con inicialización aleatoria y pérdida de entropía cruzada. El cabezal se descarta tras el entrenamiento, y el codificador sirve como extractor de embeddings.
• Protocolo de entrenamiento: Los modelos se entrenan durante un único episodio (epoch) con optimización AdamW. Para mitigar los efectos de la inicialización y la composición de los datos, los experimentos se repiten a lo largo de 20 muestreos de datos independientes y 5 semillas aleatorias (100 ejecuciones en total).
• Extracción de embeddings: Agrupación temporal (temporal pooling) de las representaciones ocultas del transformador seguida de normalización L2. La verificación se realiza mediante similitud de coseno.

Marco de análisis:
El estudio utiliza la Matriz de Transferencia Translingüística (CLTM) para cuantificar la transferencia translingüística por pares. La CLTM mide la ganancia de rendimiento en una lengua objetivo $i$ al añadir datos de una lengua donante $j$, normalizada por la ganancia de añadir datos equivalentes de la lengua objetivo.

• Métricas: El análisis emplea la Desviación de Frobenius Relativa (RFD1) para medir la desviación del comportamiento agnóstico al idioma, la Asimetría Relativa (Asymrel) para las diferencias direccionales y la Similitud de Coseno de Fila Promedio (cosrows) para la consistencia.
• Análisis de desplazamiento de embeddings: Para locutores bilingües, los autores computan los centroides por lengua y miden el vector de desplazamiento ($\delta$) entre lenguas para cuantificar los desplazamientos inducidos por la lengua en el espacio de los embeddings.

Resultados clave

1. La dependencia lingüística persiste:
Bajo la evaluación estándar (diferentes locutores), la CLTM revela una fuerte dependencia lingüística. El español, el catalán y el gallego forman un clúster de transferencia positiva, mientras que el euskera y el portugués exhiben una transferencia negativa. El subconjunto ibérico muestra una reducción de la desviación respecto al ideal agnóstico al idioma en comparación con un modelo global de 44 lenguas, pero retiene una estructura claramente asimétrica.

2. Impacto de la variabilidad del locutor:
Al restringir la evaluación a los mismos locutores bilingües:

• Lenguas romances (español-catalán, español-gallego): El entorno bilingüe reduce consistentemente tanto la desviación (RFD1) como la asimetría (Asymrel) de la CLTM. Esto indica que una parte de la degradación translingüística en las evaluaciones estándar es atribuible a la variabilidad del locutor.
• Lenguas distantes/no romances (español-euskera, español-portugués): El efecto del control del locutor es limitado. El par español-euskera sigue siendo fuertemente asimétrico (con un RFD1 ligeramente superior), y el español-portugués mantiene una transferencia negativa sustancial. Esto sugiere que, para estos pares, el desajuste lingüístico es el motor dominante de la degradación, independientemente de la identidad del locutor.

3. Desplazamientos de los embeddings:
Incluso con el mismo locutor, el cambio de lengua induce desplazamientos sistemáticos en el espacio de los embeddings.

• Portugués: Exhibe la mayor magnitud de desplazamiento y la mayor consistencia direccional, lo que correlaciona con la más fuerte degradación translingüística.
• Gallego: Muestra los desplazamientos más pequeños y menos estructurados, lo que correlaciona con una degradación mínima.
• Catalán y Euskera: Presentan patrones geométricos intermedios. Notablemente, los desplazamientos de los embeddings por sí solos no explican completamente los patrones de degradación, ya que el catalán y el euskera muestran geometrías de desplazamiento similares a pesar de tener comportamientos de CLTM distintos.

4. Correlación lingüística:
Los patrones de transferencia observados se alinean con las relaciones fonológicas:

• Español-Gallego: La alta proximidad fonológica (consonantes superpuestas, sistema vocálico alineado) resulta en desplazamientos y degradación mínimos.
• Español-Portugués: La máxima divergencia fonológica (vocales nasales, sonidos tipo schwa, reducción vocálica) conduce a la mayor degradación y desplazamientos.
• Español-Euskera: A pesar de compartir un sistema de cinco vocales, la divergencia en la estructura consonántica (sibilantes, africadas) causa una tensión representacional significativa.

Significación y afirmaciones

El artículo afirma proporcionar una caracterización más precisa de la dependencia lingüística en la SV translingüística al desentrañar la variabilidad del locutor del desajuste de la lengua. Los hallazgos principales son:

1. La variabilidad del locutor explica parte de la degradación observada: El control de la identidad del locutor mejora el rendimiento translingüístico, particularmente para lenguas estrechamente relacionadas.
2. El desajuste lingüístico sigue siendo el principal motor: Incluso bajo condiciones de mismo locutor, persiste una pérdida de rendimiento significativa, impulsada por los efectos lingüísticos intrínsecos y la divergencia fonológica.
3. Desplazamientos sistemáticos de los embeddings: El cambio de lengua induce desplazos sistemáticos en el espacio de los embeddings incluso para el mismo locutor, confirmando que los modelos multilingüües actuales no aíslan completamente la identidad del locutor del contenido lingüístico.

El trabajo establece un conjunto de evaluación bilingüe de mismo locutor para las lenguas ibéricas y demuestra que, si bien la variabilidad del locutor contribuye a las brechas translingüísticas, la limitación fundamental en los sistemas de SV actuales es su incapacidad para ser totalmente agnósticos al idioma.