Resumen Técnico: Reducción de la Sensibilidad a Prompts en el Reconocimiento Automático de Voz Basado en LLM mediante Proyección Aprendible

1. Declaración del Problema

Aunque el Reconocimiento Automático de Voz (ASR) basado en Modelos de Lenguaje Grandes (LLM) ha surgido como una arquitectura prometedora —conectando modelos fundacionales de voz con LLMs a través de un proyector de voz a LLM—, las implementaciones actuales dependen en gran medida de prompts fijos y definidos manualmente tanto para el entrenamiento como para la inferencia.

El artículo identifica una vulnerabilidad crítica y poco explorada en este diseño: la sensibilidad a los prompts. Los autores demuestran que:

• La elección del prompt impacta significativamente el rendimiento del ASR (medido en Tasa de Error de Palabra, WER).
• Ningún prompt único rinde de manera óptima en todos los conjuntos de datos o escenarios.
• Variaciones menores en la redacción o en la colocación de los embebidos de voz dentro del prompt pueden conducir a diferencias drásticas en la calidad de la transcripción.
• En algunos casos, prompts específicos rinden peor que no usar ningún prompt (un prompt "vacío"), introduciendo inestabilidad y limitando la robustez de los sistemas prácticos de ASR.

2. Metodología

2.1. Arquitectura Base

El estudio utiliza la arquitectura SLAM-ASR como base. Este modelo consta de:

• Codificador de Voz: WavLM-large (entrenado con 94 mil horas de datos no etiquetados).
• Proyector de Voz: Un módulo ligero ($sp(\cdot)$) que mapea características de audio submuestreadas al espacio de entrada del LLM.
• LLM: Vicuna-7B (ajustado finamente a partir de Llama).
• Estrategia de Entrenamiento: El codificador de voz y el LLM están congelados; solo se entrena el proyector de voz.

2.2. Solución Propuesta: El Proyector de Prompt

Para abordar la sensibilidad a los prompts sin modificar el LLM subyacente ni el codificador de voz, los autores proponen un módulo Proyector de Prompt, denotado como $pp(\cdot)$.

• Concepto: Inspirado en el éxito del proyector de voz, el proyector de prompt aprende una función de proyección común para transformar embebidos de prompts fijos y definidos manualmente en una región más efectiva del espacio de entrada del LLM.
• Arquitectura: Comparte la misma arquitectura que el proyector de voz (una red lineal de dos capas con activación ReLU) pero opera sobre embebidos de tokens del LLM en lugar de características de voz.
• Protocolo de Entrenamiento:
  1. Entrenar el modelo base "vanilla" (codificador/LLM congelados, proyector de voz aprendido).
  2. Congelar todos los componentes del modelo base entrenado.
  3. Entrenar solo el nuevo proyector de prompt ($pp(\cdot)$) sobre el modelo congelado.
  • Nota: Los autores probaron explícitamente descongelar los modelos subyacentes, pero encontraron que esto conducía a un entrenamiento inestable y a un rendimiento degradado.

2.3. Configuración Experimental

• Conjuntos de Datos: Se utilizaron cuatro conjuntos de datos diversos:
  • LibriSpeech (LS-C/LS-O): Audiolibros en inglés leídos.
  • CallHome (CH): Conversaciones telefónicas espontáneas.
  • AMI: Grabaciones de reuniones multimodales.
  • ContactCenter (CC): Conversaciones propietarias específicas del dominio (salud/finanzas).
• Variaciones de Prompt: Se evaluaron diez plantillas de prompts distintas, que van desde el prompt "base" estándar hasta variaciones en la redacción y la colocación de embebidos, además de un prompt "vacío" (que contiene solo embebidos de voz).
• Líneas Base: Las comparaciones incluyeron modelos vanilla con diferentes prompts, modelos con ajuste fino LoRA y sistemas ASR basados en LLM recientes de última generación.

3. Resultados Clave

3.1. Impacto de los Prompts Manuales

La evaluación del modelo vanilla a través de diez prompts reveló una alta variabilidad:

• Varianza de Rendimiento: Diferentes prompts produjeron WERs significativamente distintos incluso bajo condiciones idénticas de modelo y datos. Por ejemplo, en el conjunto de datos ContactCenter, el WER osciló entre 11.81% y 13.00% dependiendo únicamente del prompt.
• Predeterminados Subóptimos: El prompt "base" estándar a menudo rindió menos que otros prompts creados manualmente y, en algunos casos (por ejemplo, CallHome), rindió peor que el prompt "vacío".
• Dependencia del Conjunto de Datos: Un prompt que destacó en un conjunto de datos (por ejemplo, CallHome) a menudo rindió mal en otro (por ejemplo, AMI), confirmando que ningún prompt único es universalmente óptimo.

3.2. Efectividad del Proyector de Prompt

La adición del proyector de prompt ($pp(\cdot)$) produjo mejoras consistentes:

• Robustez: El proyector redujo significativamente la varianza de rendimiento. Mitigó el impacto negativo de prompts subóptimos, asegurando que incluso el prompt manual "peor", cuando se aumentó con $pp(\cdot)$, superara al mejor prompt manual utilizado sin el proyector.
• Ganancias de Rendimiento: En los cuatro conjuntos de datos, la extensión $pp(\cdot)$ redujo consistentemente el WER en comparación con la línea base vanilla.
  • Ejemplo: En LibriSpeech-Clean, el mejor prompt manual logró un WER del 2.72%, mientras que el prompt "base" logró un 3.09%. Con $pp(\cdot)$, el prompt "base" mejoró a 2.34% y el mejor prompt mejoró a 2.28%.
• Significancia Estadística: Pruebas estadísticas emparejadas confirmaron que las mejoras fueron estadísticamente significativas ($p < 0.05$) en todos los conjuntos de datos.
• Comparación con la Última Generación (SOTA): El método propuesto, particularmente cuando se combina con ajuste fino LoRA, logró resultados competitivos o superiores en comparación con sistemas recientes de última generación (por ejemplo, Qwen-Audio, SALMONN) en benchmarks específicos.

4. Significado y Contribuciones

El artículo afirma las siguientes contribuciones y significados:

1. Primera Análisis Sistemático: Proporciona el primer estudio integral de la sensibilidad a los prompts en el ASR basado en LLM, revelando que la elección del prompt es un factor crítico, a menudo pasado por alto, en el rendimiento del sistema.
2. Arquitectura Novel: Introduce el Proyector de Prompt, una extensión simple y agnóstica al modelo que aprende a alinear los embebidos de prompts con el espacio de entrada del LLM sin requerir cambios en el LLM subyacente ni en el codificador de voz.
3. Robustez sin Complejidad: El enfoque mejora la robustez y reduce la varianza de rendimiento sin introducir parámetros o tokens complejos de ingeniería de prompts. Funciona como una extensión "plug-and-play" para arquitecturas existentes.
4. Insight Diagnóstico: Los hallazgos sugieren que la investigación futura debería incluir una línea base de "prompt vacío" como herramienta diagnóstica para detectar prompts manuales de bajo rendimiento tempranamente en el desarrollo.

5. Limitaciones y Trabajo Futuro

Los autores mantienen una postura modesta con respecto al alcance de su trabajo:

• Exploración Inicial: Esto se presenta como un primer paso hacia la comprensión de la robustez de los prompts.
• Brecha de Comparación: El artículo no compara directamente el Proyector de Prompt con métodos de aprendizaje de prompts suaves (soft-prompt learning), que aprenden tokens específicos de la tarea, señalando que una comparación justa requeriría un ajuste extenso de hiperparámetros a través de múltiples prompts y conjuntos de datos, lo cual está más allá del alcance actual.
• Generalización: Persisten preguntas abiertas sobre si un solo proyector puede generalizar a través de diferentes tareas, idiomas o arquitecturas de LLM.
• Alcance: El trabajo actual se centra estrictamente en la transcripción; la aplicabilidad a otras tareas posteriores es un tema para futuras investigaciones.