Resumen Técnico: FormalASR

1. Planteamiento del Problema

Los sistemas de Reconocimiento Automático del Habla (ASR) están tradicionalmente optimizados para la transcripción literal, reproduciendo fielmente la forma superficial hablada. Aunque son efectivos para métricas de evaluación como la Tasa de Error de Caracteres (CER), esta salida a menudo incluye disfluencias (por ejemplo, "eh", "um"), comienzos falsos, repeticiones y estructuras de oraciones informales. Estas características hacen que la salida sea inadecuada para aplicaciones posteriores orientadas a la escritura, como la generación de actas de reuniones, la dictación de documentos o editores controlados por voz, las cuales requieren texto formal y bien estructurado.

Las soluciones actuales suelen implicar una tubería de dos etapas: un modelo ASR genera una transcripción literal, seguida de un Modelo de Lenguaje Grande (LLM) separado que reescribe el texto en un estilo formal. Sin embargo, este enfoque introduce una latencia significativa, duplica la huella de memoria y complica el despliegue en el dispositivo debido a la necesidad de ejecutar dos modelos simultáneamente. Por el contrario, los grandes modelos multimodales capaces de transcripción formal en un solo paso a menudo dependen de APIs en la nube, lo que incurre en costos y plantea preocupaciones de privacidad que impiden el despliegue en el borde.

2. Metodología

Los autores proponen FormalASR, un enfoque de extremo a extremo que mapea directamente el audio chino hablado a texto escrito formal utilizando un único modelo compacto, eliminando la necesidad de LLMs auxiliares en el momento de la inferencia.

2.1. Construcción del Conjunto de Datos

Para habilitar el entrenamiento supervisado para esta tarea, los autores construyeron dos conjuntos de datos a gran escala reescribiendo corpus literales existentes:

• WenetSpeech-Formal: Derivado del corpus WenetSpeech, contiene 969.201 muestras de entrenamiento.
• Speechio-Formal: Derivado del punto de referencia Speechio, contiene 43.178 muestras de prueba en 27 subconjuntos específicos de dominio (conferencias, entrevistas, reuniones, etc.).

Tubería de Construcción:

1. Entrada: Audio original y transcripciones literales.
2. Reescritura con LLM: Se solicitó al modelo DeepSeek-V3.2 que reescribiera las transcripciones literales en chino escrito formal. Este proceso implicó eliminar palabras de relleno, reestructurar oraciones para seguir convenciones escritas, normalizar la puntuación y corregir errores de reconocimiento, preservando al mismo tiempo el contenido semántico.
3. Filtrado de Calidad: El filtrado automático descartó reescrituras de baja calidad basándose en la similitud de incrustaciones (consistencia semántica), la distancia de edición (asegurando una formalización significativa sin alucinaciones) y la presencia de artefactos obvios.

2.2. Arquitectura del Modelo y Entrenamiento

Los autores ajustaron finamente Qwen3-ASR (un modelo de audio-lenguaje con un codificador estilo Whisper y un decodificador autoregresivo Qwen) en dos escalas: 0.6B y 1.7B parámetros.

• Objetivo de Entrenamiento: Ajuste fino supervisado (SFT) estándar utilizando estimación de máxima verosimilitud. El modelo aprende a realizar simultáneamente la alineación de audio a texto, la eliminación de disfluencias y la transferencia de estilo dentro de un único proceso de generación condicional.
• Inferencia: La decodificación se realiza directamente sobre la entrada de audio para producir texto formal, manteniendo la complejidad del sistema idéntica a los despliegues estándar de ASR de un solo modelo.

3. Contribuciones Clave

1. Conjuntos de Datos: La publicación de código abierto de WenetSpeech-Formal y Speechio-Formal, los primeros conjuntos de datos a gran escala de chino hablado a formal construidos mediante reescritura basada en LLM y filtrado de calidad. Estos permiten el entrenamiento de extremo a extremo sin modelos auxiliares en la inferencia.
2. Modelos: El lanzamiento de FormalASR-0.6B y FormalASR-1.7B, modelos compactos de audio-lenguaje ajustados finamente para la transcripción directa de hablado a formal.
3. Rendimiento: Demostración de que los modelos compactos pueden lograr mejoras significativas en la calidad de la formalización sobre las líneas base literales, manteniéndose adecuados para el despliegue en el dispositivo.

4. Resultados Experimentales

Los experimentos se realizaron tanto en puntos de referencia dentro del dominio (conjunto de prueba WenetSpeech-Formal) como en puntos de referencia cruzados entre dominios (conjunto de prueba Speechio-Formal).

4.1. Métricas de Precisión

FormalASR superó consistentemente a las líneas base literales (Qwen3-ASR y Whisper large-v3) en todas las métricas:

• Tasa de Error de Caracteres (CER): FormalASR logró hasta una reducción relativa del CER del 37.4% sobre las líneas base literales en el punto de referencia cruzado Speechio-Formal (por ejemplo, el modelo de 1.7B redujo el CER de 0.2393 a 0.1499).
• ROUGE-L y BERTScore: Ambas métricas mejoraron, confirmando que el modelo preserva el contenido semántico mientras elimina las disfluencias. Por ejemplo, en WenetSpeech-Formal, el modelo de 1.7B mejoró ROUGE-L de 0.8571 a 0.8896 y BERTScore de 0.9268 a 0.9439.
• Efecto de Escala: El modelo de 1.7B superó consistentemente al modelo de 0.6B, lo que sugiere que los decodificadores más grandes proporcionan una mayor capacidad para la formalización lingüística.

4.2. Eficiencia de Inferencia

• Reducción de Tokens: Al eliminar palabras de relleno y disfluencias, FormalASR produce secuencias de salida más cortas. En promedio, FormalASR-1.7B redujo los tokens de salida en un 22.8% en WenetSpeech-Formal y en un 14.3% en Speechio-Formal en comparación con la línea base literal.
• Latencia: La reducción en la longitud de la secuencia condujo a una menor latencia de decodificación. La ventaja de latencia creció de forma superlineal con la longitud de la oración; para enunciados largos (40–49 tokens), FormalASR-1.7B redujo la latencia en aproximadamente 388 ms en comparación con la línea base literal.

4.3. Cuantización y Viabilidad en el Dispositivo

Los autores evaluaron la cuantización GGUF para validar el potencial en el dispositivo:

• 8 bits (Q8 0): Compresión casi sin pérdida. El tamaño del modelo se redujo en un ~47% (por ejemplo, el modelo de 1.7B de 3.80 GB a 2.03 GB) con una degradación de calidad negligible (aumento del CER de solo 0.0001).
• 4 bits (Q4 K): Compresión fuerte (~72% de reducción de tamaño) con compromisos moderados de calidad. Cabe destacar que el modelo de 1.7B de 4 bits de 1.08 GB aún superó al modelo de 0.6B de 1.46 GB en precisión completa, lo que indica que la capacidad del modelo, y no la precisión numérica, es el determinante principal de la calidad de la formalización.

5. Significado y Afirmaciones

El artículo afirma que FormalASR es el primer trabajo que ajusta finamente un modelo compacto de audio-lenguaje de extremo a extremo para la transcripción de chino hablado a formal. Su significado principal radica en demostrar que los modelos ASR modernos poseen la capacidad latente para la formalización lingüística; simplemente requieren una supervisión adecuada para activar esta capacidad sin aumentar el tamaño del modelo ni la complejidad en el momento de la inferencia.

Al lograr una formalización de alta calidad en un solo paso de avance, FormalASR aborda la brecha crítica entre la salida ASR literal y el texto formal requerido por las aplicaciones posteriores. Ofrece una solución ligera y en el dispositivo que evita la latencia, los costos de memoria y las preocupaciones de privacidad asociadas con tuberías de dos etapas o modelos multimodales basados en la nube. Los autores concluyen que su enfoque permite un despliegue práctico para la transcripción en tiempo real en entornos sensibles a la privacidad o con recursos limitados.