RECOVER: Robust Entity Correction via agentic Orchestration of hypothesis Variants for Evidence-based Recovery

A continuación presento un resumen técnico detallado del artículo "RECOVER: Robust Entity Correction via agentic Orchestration of hypothesis Variants for Evidence-based Recovery" en español.

1. El Problema

Los sistemas modernos de Reconocimiento Automático de Voz (ASR), como Whisper o wav2vec 2.0, logran tasas de error de palabra (WER) impresionantes en benchmarks generales. Sin embargo, su rendimiento se degrada significativamente en frases de entidades (nombres propios, marcas, terminología específica de dominio) que son raras o están ausentes en los datos de entrenamiento.

En dominios críticos como finanzas, medicina y control de tráfico aéreo (ATC), estos errores son costosos y a menudo se manifiestan como "casi errores" (near-misses) o sustituciones (ej. cytiva → cytiba, linezolid → linear zolid).

• Limitación actual: Los métodos de corrección post-ASR basados en Grandes Modelos de Lenguaje (LLM) suelen fallar si la entidad está completamente eliminada o muy corrupta en la hipótesis principal (1-best), ya que el LLM carece de la señal necesaria para recuperar el término. Además, las técnicas de "contextual biasing" en tiempo de decodificación a menudo requieren acceso interno al decodificador, lo cual no está disponible en sistemas ASR de producción que se usan como cajas negras.

2. Metodología: RECOVER

El authors proponen RECOVER, un marco de corrección basado en agentes que actúa como un "agente que usa herramientas". El sistema no solo corrige texto, sino que orquesta múltiples fuentes de evidencia para recuperar entidades.

El flujo de trabajo se divide en tres etapas principales:

A. Generación de Múltiples Hipótesis

En lugar de depender de una sola transcripción, el sistema genera N hipótesis (en los experimentos, N=5) a partir del mismo audio utilizando un modelo ASR (Whisper-small) con muestreo por temperatura ($T \in \{0.0, 0.2, 0.4, 0.6, 0.8\}$).

• Objetivo: Estas variaciones contienen errores complementarios; una entidad que falta o está corrupta en una hipótesis puede aparecer correctamente en otra.

B. Recuperación Dinámica de Candidatos de Entidades

Dado que las listas de entidades pueden ser grandes (hasta 6,198 frases), no es eficiente enviarlas todas al LLM. El sistema recupera dinámicamente los Top-K candidatos (K=200) más relevantes para cada segmento de audio utilizando una función de puntuación de tres señales:

1. Coincidencia exacta: Número de palabras de la entidad que aparecen como tokens exactos en las hipótesis.
2. Similitud difusa (Fuzzy): Similitud de Levenshtein normalizada (máxima) entre palabras de la entidad y tokens de las hipótesis (dentro de ±3 caracteres).
3. Coincidencia fonética: Si la clave fonética de la entidad comparte un prefijo de 5 caracteres con cualquier token de las hipótesis.

C. Orquestación Agente con Tres Herramientas

El agente coordina tres herramientas especializadas:

1. Fusión de Hipótesis (Fuse Hypotheses): Combina las N hipótesis en un solo texto base. Soporta cuatro estrategias:
   • 1-Best: Usa la hipótesis greedy original.
   • Entity-Aware Select: Elige la hipótesis con más coincidencias exactas de entidades.
   • ROVER Ensemble: Alinea hipótesis y realiza una fusión por votación mayoritaria de tokens.
   • LLM-Select: Delega la selección de la mejor variante base al LLM.
2. Propuesta de Correcciones (Propose Corrections): Un LLM (GPT-4o) recibe la hipótesis fusionada y la lista Top-K de entidades. Debe proponer ediciones de tipo "buscar y reemplazar" estrictamente limitadas a las entidades de la lista, evitando reescrituras gramaticales o de puntuación.
3. Verificación y Aplicación (Verify & Apply): Un módulo determinista valida cada propuesta antes de aplicarla mediante "guardarraíles":
   • El reemplazo debe existir en la lista de entidades.
   • Se descartan cambios solo de mayúsculas.
   • Se recalculan los desplazamientos de caracteres si son incorrectos.
   • Se verifica la similitud de Levenshtein para evitar sustituciones no relacionadas.
   • Se aplican las ediciones de izquierda a derecha, evitando solapamientos.

3. Contribuciones Clave

• Diversidad de Múltiples Hipótesis: Demuestran que generar múltiples hipótesis de un solo modelo ASR crea errores complementarios explotables para la corrección de entidades.
• Arquitectura Agente: Descomposición del pipeline en tres herramientas orquestadas (Fusión, Propuesta, Verificación), separando la lógica de corrección de la validación.
• Estrategias de Corrección: Comparación de cuatro enfoques de fusión (1-Best, Entity-Aware, ROVER, LLM-Select) dentro de un mismo pipeline.
• Edición LLM Restringida: El LLM actúa como editor estricto, limitado a una lista de entidades y validado por reglas deterministas para evitar alucinaciones.

4. Resultados

El sistema fue evaluado en cinco conjuntos de datos diversos: Finanzas (Earnings-21), Control de Tráfico Aéreo (ATCO2), Medicina (Eka-Medical), Voz General (Common Voice) y Diálogo (ContextASR-Bench).

• Reducción de Error: RECOVER logra una reducción relativa del 8% al 46% en la tasa de error de palabras de entidades (E-WER).
• Mejora en Recall: El recall de entidades aumenta hasta en 22 puntos porcentuales, confirmando que la principal debilidad del ASR base es la eliminación y sustitución de entidades.
• Mejor Estrategia: La estrategia LLM-Select (donde el LLM elige la mejor hipótesis base) ofrece el mejor rendimiento global, manteniendo o mejorando el WER general, mientras que métodos de fusión como ROVER pueden introducir ruido de inserción en dominios ruidosos (como ATC), degradando el WER general.
• Precisión vs. Recall: Aunque la precisión de las entidades puede disminuir ligeramente en algunos casos, las ganancias en recall superan ampliamente estas pérdidas, resultando en mejoras netas en la puntuación F1.
• Robustez: Incluso con una sola hipótesis (1-Best), la edición restringida por LLM reduce significativamente el error, demostrando la eficacia del mecanismo de corrección post-ASR.

5. Significado e Impacto

El trabajo de RECOVER es significativo porque:

1. Enfoque de Caja Negra: Proporciona una solución robusta para corregir errores de entidades en sistemas ASR de producción sin necesidad de acceso interno al decodificador o reentrenamiento del modelo ASR.
2. Seguridad mediante Guardarraíles: Introduce un marco donde la flexibilidad del LLM se combina con validaciones deterministas, mitigando el riesgo de alucinaciones y correcciones excesivas.
3. Evidencia Multi-hipótesis: Establece que la diversidad de hipótesis generada por muestreo de temperatura es una fuente de evidencia crítica para recuperar entidades que de otro modo se perderían.
4. Aplicabilidad Industrial: Al funcionar como un paso post-procesamiento agnóstico al modelo ASR, es fácilmente integrable en pipelines existentes en sectores críticos donde la precisión de nombres propios y términos técnicos es vital.

En conclusión, RECOVER demuestra que la combinación de la diversidad de hipótesis del ASR, la recuperación dinámica de candidatos y la edición restringida por LLM orquestada por agentes es un método superior para la recuperación robusta de entidades en la transcripción de voz.