Resumen Técnico: Corrección Interactiva de Oradores en Reuniones con Retroalimentación Humana

Enunciado del Problema

Los sistemas de Reconocimiento Automático del Habla (ASR) y de diarización de oradores suelen operar en modo "de lazo abierto", careciendo de mecanismos para la intervención del usuario en tiempo real. Aunque los sistemas más avanzados han progresado, siguen teniendo dificultades con fondos ruidosos, habla superpuesta y vocabulario de cola larga. Crucialmente, los errores de atribución de oradores (quién dijo qué) pueden socavar gravemente la fiabilidad de la transcripción. Los flujos de trabajo de corrección existentes son predominantemente posteriores, requiriendo una costosa anotación manual una vez concluida la reunión. Existe la necesidad de un enfoque práctico y ligero que permita a los oradores corregir errores de atribución durante la conversación sin interrumpir el flujo natural ni obligarles a revisar cantidades abrumadoras de texto.

Metodología

Los autores proponen un sistema de corrección interactiva en reuniones asistido por un Modelo de Lenguaje Grande (LLM), diseñado para operar bajo tres restricciones prácticas: (1) los usuarios no deben verse abrumados por transcripciones completas; (2) la retroalimentación debe ser ligera (por ejemplo, correcciones verbales simples); y (3) el ASR y la diarización subyacentes deben ser en streaming (tomando decisiones inmediatas sin contexto futuro).

El flujo de trabajo consta de los siguientes componentes:

1. Transcripción y Segmentación en Streaming: El sistema procesa el audio en vivo utilizando un ASR en streaming (Google Speech-to-Text) y un modelo de incrustación de oradores (ECAPA-TDNN) para generar una transcripción con atribución de oradores.
2. Refinamiento de División-Cuando-Fusionado (SWM): Para abordar el problema por el cual los segmentos del ASR en streaming a menudo fusionan el habla de múltiples oradores, el sistema emplea un paso de postprocesamiento. SWM particiona recursivamente los segmentos en subsegmentos más pequeños y consistentes con el orador, utilizando evidencia de orador a nivel de palabra y una estrategia de votación con ventana deslizante. Esto aumenta la "pureza" de la asignación de oradores dentro de las unidades.
3. Resumen por LLM: En lugar de mostrar la transcripción completa, un LLM genera resúmenes concisos de las $L$ últimas intervenciones. Estos resúmenes destacan las contribuciones principales de cada orador, permitiendo a los usuarios identificar rápidamente errores de atribución sin leer todo el registro.
4. Retroalimentación y Corrección del Usuario: Los usuarios proporcionan una breve retroalimentación correctiva (por ejemplo: "Oye Cobi, no fue Sara quien mencionó el sobreajuste; fue Rosa").
5. Corrección y Remediación por LLM: Un LLM procesa la retroalimentación para:
   • Delimitar la Corrección: Identificar el tramo de texto específico dentro de un segmento que requiere reasignación, en lugar de corregir todo el segmento.
   • Reasignar Oradores: Actualizar la transcripción con la etiqueta de orador correcta para el tramo identificado.
   • Inscripción en Línea: Extraer una nueva incrustación de orador del tramo corregido (si cumple con los criterios de duración, por ejemplo, 5–20 segundos) y añadirlo al conjunto de inscripción de oradores. Esto mejora dinámicamente la asignación futura de oradores adaptándose a la voz del orador en el entorno acústico actual.

Estrategia de Evaluación

Debido a la dificultad de realizar estudios con usuarios en vivo a gran escala, los autores desarrollaron una simulación de retroalimentación de usuarios impulsada por LLM. En este pipeline:

• Un LLM compara el resumen generado por el sistema contra la transcripción de referencia (ground-truth) para identificar errores de atribución.
• Si se encuentra un error, el LLM genera un mensaje de corrección en lenguaje natural imitando a un usuario (comenzando con la palabra de activación "Hey Cobi").
• Un paso de verificación asegura que la corrección propuesta sea razonable antes de ser introducida en el sistema.
• Esta simulación se validó en 8 reuniones del conjunto de entrenamiento AMI, logrando una precisión de corrección del 78,9 %.

Resultados Clave

Los experimentos se realizaron en el conjunto de pruebas AMI Headset-mix (16 reuniones). El flujo de trabajo propuesto se comparó con una línea base en streaming (Google ASR + ECAPA) y una estrategia de "inscripción previa" oráculo.

• Mejoras de Rendimiento: El flujo de trabajo completo propuesto redujo la Tasa de Error de Diarización (DER) en un 31,99 % y el Error de Orador (SErr) en un 52,68 % en relación con la línea base sin corregir.
• Análisis de Componentes:
  • SWM solo redujo la DER del 36,32 % al 31,60 %.
  • Inscripción en Línea sola redujo la DER al 26,82 %.
  • Enfoque Combinado: La combinación de SWM e Inscripción en Línea arrojó los mejores resultados (24,70 % de DER), demostrando que los componentes son complementarios.
• Comparación con la Inscripción Previa: La estrategia de inscripción interactiva en línea superó a una estrategia donde los oradores proporcionaban múltiples muestras de inscripción al inicio de la reunión. Esto sugiere que corregir errores dinámicamente basándose en errores de atribución reales es más efectivo que confiar únicamente en muestras iniciales, probablemente porque captura las condiciones acústicas (por ejemplo, cambios de ruido) encontradas más adelante en la reunión.
• Resumen vs. Transcripción Completa: Utilizar resúmenes generados por LLM para la corrección fue más efectivo y eficiente que mostrar la conversación completa, proporcionando contexto suficiente mientras se minimiza la carga cognitiva del usuario.

Significado y Afirmaciones

El artículo afirma demostrar que la retroalimentación precisa y adaptativa puede mejorar sustancialmente la transcripción con atribución de oradores en entornos en tiempo real. La importancia del trabajo radica en:

1. Innovación en el Flujo de Trabajo: Proponer un bucle de corrección práctico en reuniones que equilibra la comodidad del usuario (retroalimentación ligera) con la precisión del sistema (actualizaciones detalladas).
2. Adaptación Dinámica: Mostrar que la inscripción en línea, activada por correcciones de usuarios, es un mecanismo poderoso para superar los cambios de dominio y mejorar la precisión futura de la diarización sin una configuración inicial engorrosa.
3. Evaluación Escalable: Introducir un método de simulación impulsado por LLM que permite una evaluación reproducible y a gran escala de flujos de trabajo de corrección interactiva en conjuntos de datos estándar como AMI.

Los autores reconocen limitaciones, señalando que la evaluación se basa en retroalimentación de usuarios simulada y no en vivo, y que el sistema actual se centra específicamente en la atribución de oradores en lugar de errores léxicos del ASR. Sugieren que trabajos futuros podrían extender este marco interactivo para manejar correcciones a nivel de palabra y errores de límites.