Efficient Punctuation Restoration via Weighted Lookahead Scoring Method for Streaming ASR Systems

Resumen Técnico: Restauración de Puntuación Eficiente mediante Calificación de Búsqueda Anticipada Ponderada para ASR en Streaming

Planteamiento del Problema
Los sistemas de Reconocimiento Automático del Habla (ASR) frecuentemente producen secuencias de palabras sin puntuación, lo que dificulta la legibilidad y complica tareas posteriores como la división de oraciones y la traducción. Los Modelos de Lenguaje Extensos (LLMs) pueden restaurar la puntuación mediante la generación basada en prompts, pero este enfoque es inadecuado para entornos de ASR en streaming. Los métodos basados en generación reescriben el transcrito, lo que provoca una desalineación con la secuencia de palabras original y genera desajustes de etiquetas en cascada bajo una evaluación por límites. Además, la generación autorregresiva incurre en una alta latencia y longitudes de decodificación impredecibles, violando las estrictas restricciones de latencia de las aplicaciones de streaming en tiempo real. Los modelos offline existentes dependen del contexto bidireccional de la oración completa, el cual no está disponible en escenarios de streaming donde las decisiones deben tomarse en línea con un contexto futuro limitado.

Metodología: Calificación de Búsqueda Anticipada Ponderada (Weighted Lookahead Scoring)
Los autores proponen un marco de trabajo no autorregresivo basado en la calificación, diseñado específicamente para las restricciones de streaming. En lugar de generar una nueva oración, el método preserva el transcrito de entrada y toma una decisión en cada límite de palabra sobre si insertar un signo de puntuación (Coma, Punto, Signo de Interrogación) o ningún signo de puntuación (∅).

El mecanismo central involucra una búsqueda anticipada de K-subtokens acotada:

1. Prueba de Hipótesis: En cada límite $i$, el sistema evalúa un conjunto de acciones candidatas $a \in \{COMMA, PERIOD, QMARK, \emptyset\}$.
2. Función de Calificación: El LLM (específicamente Llama-3.2-1B) actúa como un motor de calificación a nivel de token en lugar de un generador. La puntuación $S_i(a)$ para una acción candidata se calcula utilizando una combinación ponderada de dos términos:
   • Prior Local: $\log P(a | w_{1:i})$, que representa la preferencia por un signo de puntuación basada en el prefijo.
   • Evidencia de Búsqueda Anticipada: $\log P(w_{i+1:i+K} | w_{1:i}, a)$, que mide la consistencia del sufijo futuro acotado dada la inserción de la acción $a$.
   • La fórmula es: $S_i(a) = \alpha \log P(a | w_{1:i}) + (1-\alpha) \log P(w_{i+1:i+K} | w_{1:i}, a)$.
3. Regla de Decisión: El sistema selecciona la mejor candidata no vacía $a^*_i$ y compara su puntuación contra la línea base de no inserción ($\emptyset$). La puntuación se inserta solo si el margen $\Delta_i = S_i(a^*_i) - S_i(\emptyset)$ supera un umbral $\tau$ calibrado mediante validación.
4. Calibración: El peso $\alpha$ y el umbral $\tau$ se ajustan en un conjunto de validación pero permanecen fijos durante la inferencia, lo que no requiere actualizaciones de parámetros en tiempo de ejecución.

Contribuciones Clave

1. Marco No Autorregresivo: El artículo introduce un enfoque basado en la calificación que evita la generación de texto libre, preservando así la secuencia de palabras original y asegurando una alineación estricta de los límites.
2. Compatibilidad con Streaming: Al utilizar un presupuesto de búsqueda anticipada acotada ($K$) y calificar un conjunto fijo de acciones, el método proporciona un presupuesto de latencia predecible, evitando la longitud de decodificación variable de la generación autorregresiva.
3. Desempeño con Modelos Compactos: El estudio demuestra que un modelo de lenguaje compacto de 1 billón de parámetros (Llama-3.2-1B), utilizado puramente como calificador sin ajuste fino, logra un sólido desempeño. El método también admite el ajuste fino mediante LoRA para obtener mayores beneficios.
4. Validación Empírica: El enfoque es evaluado en el conjunto de datos IWSLT 2017 English, mostrando robustez contra la deriva de formato y los fallos de alineación comunes en las líneas base basadas en prompts.

Resultados Experimentales
El método fue evaluado en el conjunto de prueba de IWSLT 2017 English utilizando una métrica Macro F1 de 4 clases (incluyendo la clase "Ninguno").

• Sin Ajuste Fino (No-Fine-Tuning): Usando el Llama-3.2-1B preentrenado con una búsqueda anticipada de $K=2$, el método logró un Macro F1 de 0.893. Esto superó significativamente a la línea base de Llama-3.2-1B-Instruct basada en prompts (0.566) y a la línea base de ELECTRA-small ajustada (0.913) bajo la misma restricción de $K=2$.
• Con Ajuste Fino (Fine-Tuned): Tras ajustar el modelo Llama con LoRA, el Macro F1 mejoró a 0.937 (con $K=2$), superando a la línea base de ELECTRA ajustada (0.913).
• Ablación sobre la Búsqueda Anticipada ($K$): Los experimentos mostraron que la búsqueda anticipada es crítica. Sin búsqueda anticipada ($K=0$), el desempeño cayó significativamente (Macro F1 0.646). El desempeño alcanzó su punto máximo en $K=2$ (0.937), con rendimientos decrecientes para $K > 2$.
• Análisis de Errores: Las matrices de confusión revelaron que la búsqueda anticipada acotada redujo sustancialmente los falsos positivos (por ejemplo, insertar comas donde no existían) y los falsos negativos (omitir comas reales) en comparación con la configuración de $K=0$.

Significancia y Reivindicaciones
El artículo sostiene que la calificación de LLM solo de inferencia ofrece una alternativa robusta y efectiva para la restauración de puntuación en configuraciones de streaming. Al desacoplar el proceso de decisión de la reescritura del transcrito, el método asegura que la evaluación por límites sea bien definida y directamente comparable entre sistemas. Los autores enfatizan que este enfoque proporciona un presupuesto de latencia predecible, lo que lo hace práctico para tuberías de subtitulado en tiempo real donde la estabilidad en tiempo de ejecución y la fiabilidad de la alineación son tan críticas como la precisión bruta.

Los autores señalan modestamente que su evaluación se limita actualmente al conjunto de datos IWSLT 2017 English y que aún no incluye transcritos de ASR con ruido ni mediciones de latencia/memoria a nivel de sistema, los cuales identifican como direcciones para trabajos futuros.