Resumen Técnico: La política de transcripción como una variable latente

1. Planteamiento del problema

Los sistemas actuales de Reconocimiento Automático del Habla (ASR) a gran escala tratan la política de transcripción —la decisión de producir texto literal (incluyendo disfluencias, muletillas, repeticiones y sonidos paralingüísticos) frente a texto pretendido (contenido limpio y fluido)— como una variable latente no controlada. Esta ambigüedad surge porque los modelos suelen entrenarse con datos anotados de forma heterogénea sin señales de control explícitas.

Los autores identifican tres consecuencias primarias de esta ambigüedad:

1. Inestabilidad en la decodificación: En el habla disfluente, la búsqueda de haz (beam search) produce transcripciones significativamente diferentes para el mismo audio (divergencia de haz a nivel de caracteres mediana de ~15%) porque el modelo carece de una señal para seleccionar entre estrategias de transcripción competidoras.
2. Confusión en la evaluación: El Error de Palabra (Word Error Rate, WER) estándar confunde errores de contenido con diferencias de estilo. Los autores demuestran que hasta el 60% del WER reportado en evaluaciones conversacionales (ej. AMI) refleja un desajuste de estilo en lugar de un fallo real de reconocimiento.
3. Temporalidad mal definida: Si un modelo decide de manera inconsistente si emitir una repetición de palabra o una muletilla, la distribución de la atención cruzada (cross-attention) para esa región temporal carece de un objetivo estable, lo que hace que los timestamps a nivel de palabra sean conceptualmente indefinidos y prácticamente imprecisos.

2. Metodología

Los autores proponen que el desafío central es el control de la capacidad más que la adquisición de la misma, argumentando que los modelos preentrenados ya codifican ambos estilos pero requieren una activación explícita. Introducen tres mecanismos complementarios para activar estas capacidades latentes de manera inequívoca utilizando la arquitectura Whisper-medium de OpenAI como base.

A. Control de estilo explícito mediante etiquetas de modo

Los autores introducen tokens de prefijo del decodificador discretos (etiquetas de modo) para parametrizar la política de transcripción como una elección binaria entre modos literal e pretendido.

• Diseño: Extienden el vocabulario con tokens específicos: [verbatim 1..3] para el control de disfluencia, [sound 1,2] para eventos paralingüísticos, e [intended 1..5] para una salida limpia.
• Partición consciente de la cobertura: Para manejar la calidad de anotación heterogénea (ej. corpus con etiquetas de disfluencia pero sin etiquetas de sonido), las etiquetas se particionan. Durante el entrenamiento, las muestras reciben solo las etiquetas que coinciden con su cobertura de anotación. Esto evita que el modelo aprenda gradientes contradictorios (penalizándolo por omitir etiquetas que nunca fueron anotadas).
• Estrategia de entrenamiento: El mismo audio se entrena bajo ambas políticas, distinguidas únicamente por los prefijos de etiqueta. Esto enseña al codificador a representar todo el contenido disponible (palabras, disfluencias, sonidos) mientras que las etiquetas dictan la política de emisión.

B. Atención cruzada supervisada para la temporalidad a nivel de palabra

Una vez que la secuencia de tokens de salida se estabiliza mediante las etiquetas de modo, los autores aplican atención cruzada supervisada para mejorar la precisión temporal.

• Objetivo: En lugar de depender de una alineación emergente y no supervisada, supervisan directamente las cabezas de atención cruzada seleccionadas con objetivos de límites de palabra derivados de la alineación forzada.
• Función de pérdida: Minimizan la distancia de coseno media entre la distribución de atención promedio de las cabezas seleccionadas y un vector objetivo binario que representa el intervalo de tiempo de la palabra.
• Inferencia: Para manejar la fusión de espacios en blanco del tokenizador, desacoplan la detección de pausas de la atención utilizando un modelo de pausa basado en energía y aplican escalado de temperatura (afilamiento) a las distribaciones de atención antes de la alineación de Viterbi.

C. Verbatimize: Recuperación de disfluencia condicionada por el texto

Los autores introducen una nueva tarea llamada Verbatimize, que permite la creación escalable de transcripciones literales a partir de transcripciones pretendidas.

• Mecanismo: Dado un archivo de audio y una transcripción pretendida (como prompt), el modelo reconstruye una versión literal canónica. Copia exactamente el contenido del prompt mientras inserta disfluencias acústicamente fundamentadas (muletillas, repeticcciones, cortes, sonidos) en sus ubicaciones temporales.
• Entrenamiento: Esto implica una técnica de "perturbación de mayúsculas" donde las palabras de contenido en el prompt se pasan a mayúsculas aleatoriamente para forzar al modelo a atender al prompt para la ortografía exacta, mientras depende del audio para la localización de la disfluencia.

3. Resultados clave

Capacidad latente y transferencia translingüe

• Activación Zero-Shot: Entrenar solo los embeddings de las etiquetas de modo (congelando el codificador y decodificador de 764M de parámetros) elevó el F1 de eventos de disfluencia en alemán del 10% al 79% en modo zero-shot, a pesar de no tener datos de entrenamiento de verbatim en alemán.
• Ajuste fino completo (Full Fine-Tuning): El ajuste fino completo solo para inglés (FT0) logró un F1 de eventos de disfluencia del 93.8% en alemán y del 90.7% en inglés.
• Control de política: Eliminar las etiquetas de modo del modelo ajustado redujo el F1 de alemán al 60.1%, demostrando que las señales explícitas de política son críticas para la transferencia translingüe y la estabilidad.
• Calidad pretendida: Las etiquetas de modo lograron suprimir la filtración de disfluencias en la salida pretendida (la tasa de inserción bajó de ~15% a ~3-4%) sin comprometer la precisión del reconocimiento (las tasas de sustitución y deleción se mantuvieron estables).

Temporalidad a nivel de palabra

• Rendimiento: El método de atención cruzada supervisada logró un Error Absoluto Medio (MAE) de 36 ms en habla leída (TIMIT) y de 102 ms en habla disfluente (FluencyBank).
• Comparación: Esto supera a las líneas base de alineación forzada (ej. MFA degrada a 142 ms en habla disfluente; WhisperX alcanza los 200 ms). El método también se generaliza al alemán (MAE de 55 ms) con cero supervisión de tiempo en alemán.

Verbatimize

• Recuperación de palabras raras: En una evaluación de palabras raras, Verbatimize mejoró la Recuperación de Palabras Raras (RWR) del 6.8% (transcripción solo acústica) al 96.1%, con una Tasa de Pérdida de Contenido (CLR) de solo 1.3%. Esto confirma que el modelo puede copiar fielmente el contenido del prompt mientras añade disfluencias.

4. Significado y Reivindicaciones

El artículo afirma que el estilo de transcripción en el ASR moderno es una variable latente no controlada que causa inestabilidad medible y errores de evaluación. La importancia de este trabajo radica en:

1. Demostrar la capacidad latente: Mostrar que los modelos a gran escala ya poseen la capacidad de transcribir texto literal o pretendido, requiriendo solo una interfaz explícita (etiquetas de modo) para activarlo, en lugar de aprender estas habilidades desde cero.
2. Resolver la ambigüedad de la evaluación: Proporcionar un marco para desenredar los errores de contenido de los desajustes de estilo, permitiendo una evaluación más justa de la ASR conversacional.
3. Enriquecimiento de datos escalable: Introducir "Verbatimize" como un método para generar transcripciones literales canónicas de alta calidad a partir de abundantes transcripciones pretendidas, abordando la escasez de corpus anotados de disfluencia, particularmente para idiomas distintos al inglés.
4. Enfoque unificado: Ofrecer un único modelo que puede cambiar entre modos literal y pretendido, proporcionar una temporalidad precisa a nivel de palabra en habla disfluente y realizar generación condicionada por el texto, superando a las líneas base especializadas en todas las categorías.

Los autores concluyen que el salto del 10% al 94% en el rendimiento zero-shot respalda la visión de que la transcripción específica de un modo requiere mayormente activación en lugar de adquisición.