Are you speaking my languages? On spoken language adherence in multimodal LLMs

Resumen Técnico: Sobre la Adherencia al Idioma Hablado en LLMs Multimodales

Declaración del Problema
Si bien el Reconocimiento Automático del Habla (ASR) basado en Modelos de Lenguaje Extensos (LLM) permite una transcripción multilingüe zero-shot y de cambio de código (code-switching) flexible, estos modelos frecuentemente identifican erróneamente el idioma objetivo, particularmente en segmentos cortos o con ruido. Esta "falta de adherencia al idioma" degrada la fidelidad de la transcripción, introduciendo errores que distorsionan el significado y comprometen tareas posteriores como la traducción automática y el análisis de sentimiento. Más allá de los errores funcionales, el texto erróneo en un idioma extranjero crea una experiencia de usuario negativa, pudiendo parecer poco profesional o culturalmente insensible. El desafío central es guiar al modelo hacia el idioma esperado utilizando el contexto del usuario (pistas/hints) sin restringir estrictamente su capacidad para realizar cambios de código o manejar señales imperfectas.

Metodología
Los autores proponen un enfoque sistemático para abordar la adherencia al idioma, que abarca la formalización, la medición y tres estrategias de mitigación distintas.

1. Formalización y Métrica (LAVR):
   El artículo define una "Violación de Adherencia al Idioma" cuando el conjunto de idiomas ($L_{hyp}$) detectados en la salida generada no es un subconjunto de los idiomas de referencia ($L_{ref}$) presentes en el audio. Para cuantificar esto, los autores introducen la Tasa de Violación de Adherencia al Idioma (LAVR).

   • Definición Operativa: El "idioma" se define por su escritura canónica. Una violación ocurre si la salida del ASR contiene caracteres inconsistentes con la ortografía estándar del idioma objetivo (por ejemplo, una 'ç' en una salida de alemán).
   • Alcance: La puntuación ASCII básica y los dígitos se tratan como neutros. La métrica prioriza la recuperación (recall) de caracteres inesperados que llamarían la atención del usuario, aceptando un compromiso donde puede omitir errores sistemáticos (como la pérdida de umlauts) si no hay caracteres "sorprendentes" presentes.

2. Estrategias de Mitigación:
   El estudio evalúa tres estrategias no mutuamente excluyentes para mejorar la adherencia manteniendo la flexibilidad:

   • Prompting Zero-Shot (ZS): Aprovechando el aprendizaje en contexto proporcionando pistas de idioma en el prompt. Los autores probaron tres estilos de prompt (P1, P2, P3) y seleccionaron P3 ("Transcribe este segmento de voz. Puede contener una mezcla de y otros idiomas") por su robustez contra pistas incorrectas.
   • Ajuste Fino Supervisado (SFT): Entrenar el modelo con prompts de adherencia al idioma para inculcar el comportamiento deseado. Los datos de entrenamiento incluyeron una mezcla de pistas correctas, pistas distractoras (idiomas incorrectos), pistas mixtas y escenarios sin pistas para asegurar la robustez.
   • Cadena de Pensamiento (CoT): Un paso de razonamiento donde se obliga al modelo a identificar y declarar explícitamente el idioma hablado antes de transcribir. Esto estrecha el espacio de muestreo para la tarea de transcripción.

3. Configuración Experimental:

   • Datasets: Datasets monolingües (consultas de usuarios reales) y datasets de cambio de código sintetizados (inglés emparejado con francés, hindi o coreano).
   • Baseline: Gemini Flash Lite 2.0, un LLM profundo basado en transformadores.
   • Escenarios de Evaluación: Se probaron cuatro condiciones de prompt: sin pista (no-hint), correcta (oráculo ideal), distractora (idioma incorrecto) y mixta (correcta + distractora).
   • Métricas: LAVR y Tasa de Error de Palabra (WER).

Resultos Clave
El análisis comparativo a través de inglés, francés, hindi y coreano (tanto monolingüe como de cambio de código) arrojó los siguientes hallazgos:

• Impacto de las Pistas de Idioma: La presencia de al menos una pista de idioma correcta (condiciones "correcta" o "mixta") superó significativamente a las condiciones de "sin pista" y "distractora" en todos los métodos y métricas. Esto subraya la importancia crítica de una estimación de idioma ascendente precisa.
• Comparación de Estrategias:
  • Cuando se proporcionaron pistas de idioma idénticas, las tres estrategias (ZS, SFT y CoT) demostraron niveles de rendimiento ampliamente comparables.
  • El Prompting Zero-Shot resultó ser tan efectivo como los enfoques de SFT y CoT, que son computacionalmente más intensivos.
  • Degradación de SFT y CoT: Los modelos SFT y CoT exhibieron un WER elevado bajo la condición de "sin pista" en comparación con el baseline. Los autores atribuyen esto al olvido catastrófico, ya que el baseline fue entrenado intensamente con datos de "sin pista", mientras que los modelos ajustados vieron una proporción reducida (10%) de tales datos durante el entrenamiento.
• Resiliencia ante Distractores: Incluir un idioma distractor junto con una pista correcta (condición "mixta") tuvo un impacto negativo insignificante, desempeñándose significativamente mejor que no tener ninguna pista. Por el contrario, proporcionar solo una pista distractora generalmente resultó en un desempeño inferior al escenario de "sin pista".

Significancia y Reivindicaciones
El artículo afirma proporcionar la primera evaluación sistemática de la adherencia al idioma en LLMs multimodales para ASR, introduciendo una métrica estandarizada (LAVR) para cuantificar estas violaciones.

La contribución principal es la demostración de que el prompting zero-shot es tan efectivo como el ajuste fino o el razonamiento de Cadena de Pensamiento para mantener la adherencia al idioma, siempre que se disponga de señales de idioma precisas. Los autores concluyen que el factor más impactante para optimizar el rendimiento del sistema no es la complejidad de la estrategia de mitigación, sino la precisión de la pista de idioma en sí misma. En consecuencia, el artículo aboga por la implementación de mecanismos ascendentes (como modelos dedicados de Identificación de Idioma o análisis de metadatos) para predecir los idiomas hablados con alta confianza, en lugar de confiar únicamente en cambios arquitectónicos del lado del modelo para corregir señales faltantes o erróneas.