LLM-Based Multi-Reference Evaluation for Efficient and Robust Assessment of Phrase Break Annotations

Resumen Técnico: Evaluación de Referencia Múltiple Basada en LLM para Anotaciones de Ruptura de Frase

Declaración del Problema

La evaluación fiable de las anotaciones de ruptura de frase es crítica para los sistemas de Text-to-Speech (TTS), ya que los límites prosódicos influyen directamente en la claridad y la naturalidad del habla. Sin embargo, los marcos de evaluación existentes sufren dos limitaciones primarias:

1. Evaluación de Referencia Única: Este enfoque convencional asume una correspondencia uno a uno entre una emisión y una anotación "gold" única. Dado que el fraseo prosódico es inherentemente uno a muchos (existen múltiples fraseos válidos para una sola oración), este método corre el riesgo de rechazar incorrectamente anotaciones alternativas válidas que difieren de la referencia específica. Además, carece de escalabilidad, ya que la búsqueda de la referencia debe expandirse manualmente para cada nueva emisión.
2. Juicio Humano: Aunque es lo suficientemente flexible como para reconocer múltiples fraseos válidos, la evaluación humana es laboriosa, no escalable y requiere una experiencia lingüística significativa, lo que la hace poco práctica para el desarrollo de sistemas iterativos o a gran escala.

Intentos previos de utilizar Modelos de Lenguaje Grande (LLM) como jueces han mostrado una efectividad limitada para esta tarea específica, fallando a menudo en capturar variaciones prosódicas sutiles.

Metodología: Evaluación de Referencia Múltiple Basada en LLM (LMRE)

Los autores proponen LMRE, un marco diseñado para modelar la naturaleza de uno a muchos del fraseo prosódico. A diferencia de los enfoques de "caja negra" de LLM-como-juez, LMRE construye una búsqueda de referencia múltiple reutilizable y determinista para permitir una evaluación reproducible.

Componentes Principales:

• Construcción de Búsqueda de Referencia Múltiple: En lugar de un estándar de oro único, LMRE utiliza un LLM para generar un conjunto de $k$ anotaciones de referencia plausibles ($R(W) = \{B^{(1)}_r, \dots, B^{(k)}_r\}$) para una emisión dada $W$.
• Diversificación mediante Few-Shot Prompting: El LLM es inducido con un grupo de pocos ejemplos (few-shot pool) $P_{FS}$ de anotaciones existentes. Para asegurar la diversidad, el sistema remuestrea los ejemplos de few-shot para cada consulta y realiza múltiples iteraciones ($N_{iter}$).
• Filtrado Determinista: Para mitigar el ruido y las salidas espurias, el sistema retiene solo aquellas anotaciones generadas más de $N_{iter}/10$ veces a través de las iteraciones.
• Lógica de Evaluación: Una anotación de hipótesis $B_h$ es aceptada si su puntuación de similitud (usando Exact Match o F1) con al menos una referencia en el conjunto generado supera un umbral $\theta$.
• Implementación: El sistema emplea el procesamiento por lotes (batch prompting) (tamaño de lote 32) para reducir la latencia y el costo, utilizando una temperatura de 0.0 para la reproducibilidad.

Configuración Experimental

Los autores validaron LMRE en un testbed coreano curado que comprende 1,356 anotaciones de ruptura de frase.

• Diversidad de Datos: El conjunto de datos cubre cinco estrategias de anotación (basada en reglas, impulsada por comas, impulsada por audio, impulsada por texto por expertos y sintética) y once configuraciones.
• Longitudes de Emisión: Los datos están estratificados en categorías de cortas (<7 palabras), medianas (7–10 palabras) y largas (≥11 palabras).
• Líneas Base: Se realizaron comparaciones contra la Evaluación de Referencia Única (usando dos referencias de expertos humanos) y el Juicio Humano (de cuatro jueces independientes).
• Configuraciones de LLM: Los experimentos utilizaron GPT-4.1, Claude Sonnet y un enfoque combinado, variando el tamaño del grupo de pocos ejemplos ($|P_{FS}|$) y el número de iteraciones ($N_{iter}$).

Resultados Clave

1. Alineación con el Juicio Humano: LMRE demuestra una alineación significativamente más fuerte con los juicios humanos que la evaluación de referencia única.
   • Comportamiento de Aceptación: La evaluación de referencia única sub-acepta sistemáticamente anotaciones válidas, mostrando una brecha promedio del 26.59% respecto al juicio humano en el grupo de puntuación "Aceptable". LMRE (configuración Combinada) redujo esta brecha al 7.04%, y al 1.75% para anotaciones de alta calidad (puntuación 5).
   • Correlación: LMRE logró mayores correlaciones de Pearson ($r$) y Spearman ($\rho$) con las puntuaciones humanas. En la mejor configuración (Combinada, $N_{iter}=40$, $|P_{FS}|=128$), la correlación con las puntuaciones humanas alcanzó $r=0.68$ y $\rho=0.70$, comparado con $r=0.56$ y $\rho=0.53$ para la evaluación de referencia única.
2. Sensibilidad de la Métrica: La métrica F1 mostró consistentemente una mejor alineación con el juicio humano que Exact Match (EM) en todos los métodos. Esto se atribuye a la capacidad de F1 para recompensar solapamientos parciales, acomodando las variaciones sutiles inherentes al fraseo prosódico.
3. Escalabilidad y Generalización: LMRE mantuvo un fuerte rendimiento incluso con grupos de pocos ejemplos pequeños ($|P_{FS}|=128$) y generalizó bien a emisiones no vistas sin esfuerzo adicional de etiquetado humano. La brecha de rendimiento entre diferentes grupos de pocos ejemplos se redujo a medida que aumentaban el tamaño del grupo y el número de iteraciones, indicando robustez ante la variabilidad inter-anotador.
4. Dependencia de la Longitud: La mejora relativa de LMRE sobre la evaluación de referencia única fue más pronunciada para las emisiones largas bajo la métrica EM, lo que respalda la intuición de que las oraciones más largas permiten una mayor variabilidad de fraseo.

Significado y Contribuciones

El artículo afirma que LMRE ofrece un marco escalable y fiable para la evaluación prosódica en sistemas de TTS al abordar eficazmente el compromiso entre escalabilidad y soporte de referencia múltiple. Las contribuciones específicas son:

• Propuesta de Marco: Introducción de LMRE, que supera la suposición de uno a uno de los métodos convencionales mediante el modelado de la naturaleza de uno a muchos del fraseo prosódico a través de referencias generadas por LLM.
• Testbed Exhaustivo: Construcción de un diverso testbed coreano de ,1356 anotaciones que abarcan cinco estrategias y once configuraciones para validar el método bajo condiciones de calidad heterogéneas.
• Validación Empírica: Demostración de que LMRE logra una alineación sustancialmente mejorada con los juicios humanos en comparación con la evaluación de referencia única, manteniéndose totalmente automático.

Los autores concluyen que LMRE destaca el potencial de los LLM para la evaluación en el dominio del habla, proporcionando una solución que es tanto eficiente (automatizada) como robusta (capaz de manejar múltiples fraseos válidos).