Beyond Transcripts: Iterative Peer-Editing with Audio Unlocks High-Quality Human Summaries of Conversational Speech

Resumen Técnico: Más allá de las Transcripciones: La Edición Iterativa entre Pares con Audio Desbloquea Resúmenes Humanos de Alta Calidad de Habla Conversacional

Declaración del Problema
El campo de la resumición de habla conversacional carece de puntos de referencia establecidos para entornos informales y no estructurados, dependiendo en gran medida de conjuntos de datos de reuniones formales como AMI e ICSI. Si bien los Modelos de Lenguaje Grandes (LLM) ofrecen capacidades de generación potentes, integrar sus salidas en puntos de referencia corre el riesgo de propagar errores sistémicos, alucinaciones y variabilidad dependiente de los prompts. En consecuencia, la anotación humana sigue siendo el estándar de oro para crear una verdad fundamental robusta. Sin embargo, el uso de anotadores humanos introduce compensaciones específicas:

1. Modalidad de Entrada: Los anotadores que trabajan directamente con audio (en lugar de transcripciones) enfrentan cargas cognitivas más altas debido a la naturaleza temporal del habla, lo que potencialmente resulta en resúmenes menos informativos o excesivamente comprimidos.
2. Comparación de Calidad: Los resúmenes escritos por humanos a menudo se perciben como menos fluidos y coherentes que las salidas generadas por LLM, lo que plantea preocupaciones de que los puntos de referencia humanos puedan ser de menor calidad general.

Este estudio investiga si flujos de trabajo específicos de anotación humana pueden mitigar estas compensaciones, probando específicamente si la edición iterativa entre pares puede permitir que los resúmenes basados en audio igualen la informatividad de los resúmenes basados en transcripciones y las salidas de LLM.

Metodología
Los investigadores diseñaron un estudio sistemático que involucró 13 conversaciones telefónicas de los conjuntos de datos Switchboard Dialogue Act (SWBDA) y CallHome. Para garantizar la integridad de los datos, las conversaciones se estandarizaron a cinco minutos y se utilizaron transcripciones manuales para evitar la contaminación por reconocimiento automático de voz (ASR).

• Anotadores: Se emplearon 18 ciudadanos estadounidenses nativos de habla inglesa (estudiantes y profesionales).
• Flujos de Trabajo de Anotación: Se probaron diez flujos de trabajo distintos, variando la modalidad de entrada (audio, transcripción o ambas) y las estrategias de edición (autoedición, edición entre pares y edición iterativa entre pares).
  • Línea base: Resúmenes solo de audio (A) y solo de transcripción (T).
  • Edición Única: Autoedición con modalidad alternativa (ATself, TAself) y edición entre pares con modalidades únicas o duales (A2peer, T2peer, ATApeer, TTApeer).
  • Edición Iterativa entre Pares: Cuatro rondas de edición entre pares donde un nuevo anotador edita el resumen utilizando únicamente la modalidad original (A2–5peer, T2–5peer).
• Puntos de Referencia de LLM: Cuatro modelos generaron resúmenes de comparación: GPT-4o, Gemini-2.5-flash, Llama-3.2-1B-Instruct (basado en texto) y GPT-4o-Audio-preview (basado en audio).
• Métricas de Evaluación:
  • Calidad: G-Eval (fluidez, coherencia, consistencia, relevancia).
  • Informatividad: CREAM (Evaluación Automática Basada en Comparación Libre de Referencia con Puntuación ELO), que extrae hechos clave de resúmenes concatenados y mide la proporción de hechos respaldados por resúmenes individuales.
  • Léxico/Semántica: ROUGE, BertScore, BartScore, superposición léxica y ratios de compresión.

Contribuciones Clave

1. Validación de Compensaciones de Modalidad: El estudio confirma que los resúmenes basados en audio sin editar son significativamente más cortos, menos informativos y menos abstractos que los resúmenes basados en transcripciones. Exhiben una mayor superposición léxica con la fuente pero puntuaciones CREAM más bajas.
2. Edición Iterativa entre Pares como Solución: Los autores identifican la edición iterativa entre pares como la metodología más efectiva para cerrar la brecha entre modalidades. Específicamente, la edición iterativa entre pares de resúmenes basados en audio (utilizando solo audio como referencia) produce resúmenes tan informativos como sus contrapartes basadas en transcripciones.
3. Paridad Humana vs. LLM: El estudio demuestra que los resúmenes escritos por humanos, cuando se someten a edición iterativa entre pares, alcanzan niveles de informatividad comparables a los LLM de mejor rendimiento (específicamente Gemini y GPT-4o). En muchos casos, los resúmenes humanos editados iterativamente son estadísticamente indistinguibles en informatividad de las salidas automatizadas de primer nivel.

Resultados

• Audio vs. Transcripción: Los resúmenes iniciales de audio (Fila 2 en la Tabla 1) tuvieron una puntuación CREAM de 0.19 en comparación con 0.38 para los resúmenes de transcripción (Fila 1). También fueron más comprimidos (ratio de 0.27 frente a 0.55).
• Impacto de la Edición: La autoedición (ATself) no mejoró significativamente la informatividad sobre la línea base. Sin embargo, una sola ronda de edición entre pares en audio (A2peer) aumentó la puntuación CREAM a 0.41, cerrando efectivamente la brecha con los resúmenes editados entre pares basados en transcripción (T2peer en 0.44).
• Estabilización: Después de la primera ronda de edición iterativa entre pares, rondas adicionales (A3–5peer) no produjeron ganancias significativas en informatividad, lo que sugiere que el contenido informativo se estabiliza rápidamente.
• Comparación con LLM: Si bien los LLM generalmente superaron a los resúmenes humanos sin editar, los resúmenes humanos editados iterativamente entre pares (A3–5peer y T2–5peer) no fueron significativamente menos informativos que ninguno de los cuatro puntos de referencia de LLM. Cabe destacar que el modelo Llama produjo los resúmenes menos informativos, mientras que Gemini produjo los más informativos.
• Abstractividad: La edición entre pares con audio aumentó significativamente la abstractividad de los resúmenes (menor superposición léxica con la transcripción) en comparación con la autoedición o la edición de modalidad dual.

Significado y Afirmaciones
El artículo afirma que sus hallazgos validan la edición iterativa entre pares entre anotadores humanos como un flujo de trabajo viable para crear puntos de referencia de habla de alta calidad e informados por la prosodia. Esto es significativo porque permite la recolección de conjuntos de datos robustos en dominios donde las transcripciones de alta calidad no están disponibles o son demasiado costosas de producir manualmente (por ejemplo, donde los sistemas ASR funcionan mal).

Los autores afirman que este flujo de trabajo permite a los anotadores humanos producir resúmenes que:

1. Son tan informativos como los resúmenes basados en transcripciones.
2. Son tan informativos como los resúmenes de LLM de última generación.
3. Son capaces de incorporar señales prosódicas sin sacrificar la densidad informativa.

El estudio concluye que, aunque los anotadores humanos inicialmente luchan con la carga cognitiva de la resumición solo de audio, un proceso estructurado de revisión por pares iterativa mitiga efectivamente estas limitaciones, ofreciendo una alternativa rigurosa a la generación automatizada de puntos de referencia. Los autores señalan limitaciones relacionadas con el pequeño tamaño del corpus (13 conversaciones) y la falta de una métrica específica para cuantificar la inclusión de información prosódica, identificando estas como áreas para trabajo futuro.