Lost in Speech: Benchmarking, Evaluation, and Parsing of Spoken Code-Switching Beyond Standard UD Assumptions

Resumen Técnico: Lost in Speech

Planteamiento del Problema
El cambio de código hablado (CSW, por sus siglas en inglés) presenta un desafío fundamental para el análisis sintáctico que es distinto de los desafíos observados en el texto escrito. Aunque los analizadores y los Modelos de Lenguaje Extensos (LLMs) funcionan bien en datos escritos, fallan frecuentemente en el CSW hablado debido a características conversacionales intrínsecas como las disfluencias, repeticiones, elipsis, cláusulas fragmentarias y estructuras impulsadas por el discurso. Estos fenómenos violan rutinariamente los supuestos subyacentes a los marcos de anotación canónicos como Universal Dependencies (UD), específicamente en lo que respecta a la completitud de la cláusula y la selección de la cabeza canónica.

Además, las prácticas de evaluación existentes exacerban el problema. Las métricas estándar, como el Labeled Attachment Score (LAS) y el Unlabeled Attachment Score (UAS), imponen una coincidencia estricta contra un único árbol de referencia (gold tree). Este enfoque confunde errores estructurales genuinos con variaciones lingüísticamente plausibles aceptables en el discurso hablado. En consecuencia, los analizadores son penalizados por producir análisis que son defendibles dentro del contexto del lenguaje hablado, lo que conduce a una subestimación de su rendimiento y a una interpretación errónea de los modos de fallo. Los autores argumentan que escalar la capacidad del modelo o los datos por sí solo es insuficiente, ya que muchos desafíos surgen del desajuste entre las convenciones de anotación del lenguaje escrito y la naturaleza incremental y ambigua del habla.

Metodología
El artículo adopta un enfoque orientado a sistemas, separando el manejo de los fenómenos del lenguaje hablado del análisis sintáctico central. La metodología se basa en cuatro componentes clave:

1. Taxonomía de Fenómenos de CSW Hablado: A través de un análisis basado en datos del Corpus Miami (inglés-español), los autores desarrollaron una taxonomía fundamentada lingüísticamente de nueve categorías que socavan los supuestos de análisis canónico. Estas incluyen:

   • Repetición: Palabras o frases recurrentes utilizadas para mantener el turno de palabra (floor-holding).
   • Elementos de Discurso: Tokens pragmáticos (p. ej., interjecciones) distintos del material estructural.
   • Elipsis: Estructuras incompletas que no son reparadas posteriormente.
   • Contracciones: Tokens que codifican múltiples unidades sintácticas (p. ej., "wasn't", "del").
   • Compuestos/MWEs: Expresiones de varias palabras que funcionan como unidades únicas.
   • Ruptura de Pensamiento (Break of Thought): Frases abandonadas que son reemplazadas por continuaciones revisadas.
     ales.
   • Palabras de Relleno (Filler Words): Tokens específicos utilizados para mantener el turno (p. ej., "umm").
   • Jerga/Malas Palabras (Slang/Curses): Elementos dependientes del contexto con roles sintácticos poco claros.
   • Enclisis: Verbos con pronombres clíticos adjuntos (común en español).

2. SpokeBench: Un benchmark de estándar de oro diseñado para evaluar el análisis sintáctico bajo condiciones de lenguaje hablado. A diferencia de los recursos existentes, SpokeBench contiene anotaciones de UD para 126 oraciones del Corpus Miami que han sido anotadas por expertos y han pasado por resolución de disputas y equilibrio de categorías. Se dirige específicamente a la complejidad estructural y a los fenómenos del habla, utilizando un protocolo de aceptabilidad graduada para distinguir entre errores sustantivos y variación aceptable.

3. Métrica FLEX-UD: Una nueva métrica de evaluación diseñada para ser consciente de la ambigüedad. A diferencia de las métricas estándar que imponen un único árbol de referencia, FLEX-UD emplea tolerancias graduadas para comparar las salidas del sistema contra los estándares de oro. Distingue entre:

   • Errores Catastróficos: Violaciones que socavan la validez estructural global (p. ej., MWEs faltantes, referencias de cabeza inválidas), que incurren en penalizaciones altas.
   • Errores Menores: Desviaciones lingüísticamente plausibles (p. ej., sustituciones de POS tolerables, relaciones de dependencia cercanas), que incurren en penalizaciones bajas.
     Esto permite que FLEX-UD recompense análisis lingüísticamente defendibles que las métricas estándar rechazarían.

4. DECAP (DECoupled Agentic Parser): Un marco de análisis modular que aísla el manejo del lenguaje hablado del análisis sintáctico central. DECAP utiliza una secuencia fija de agentes especializados:

   • Manejador de Fenómenos Hablados (SPH): Identifica y localiza disfluencias (repeticiones, rellenos, etc.) y propone ediciones de tokenización sin asignar relaciones sintácticas.
   • Resolutor Específico de Lenguaje (LSR): Aplica una normalización conservadora y consciente del lenguaje (p. ej., expandiendo contracciones, validando MWEs) y proporciona lemas.
   • Asignador de Estructura UD Central: Construye el análisis de dependencia sobre la representación normalizada, imponiendo restricciones como una única raíz y preservando las disfluencias como elementos estructurales en lugar de forzar reconstrucciones mal formadas.
   • Verificador y Clasificador (V/R): Asegura la buena formación estructural global (acíclicidad, cabezas válidas) y genera puntuaciones de confianza y registros de penalización.
     El marco está basado en instrucciones, aprovechando los LLMs para seguir directrices lingüísticas sin requerir un ajuste fino (fine-tuning) sobre datos hablados.

Contribuciones Clave

• Taxonomía: Un relato estructurado de los fenómenos de CSW hablado que complican el análisis, derivado del análisis empírico del Corpus Miami.
• SpokeBench: El primer benchmark de oro para el análisis de CSW hablado que equilibra la cobertura de fenómenos del habla con la complejidad estructural.
• FLEX-UD: Una métrica de evaluación consciente de la ambigüedad que penaliza más severamente los errores estructurales catastróficos que la variación aceptable, revelando mejoras cualitativas enmascaradas por las métricas estándar.
• DECAP: Un marco de análisis agéntico desacoplado que mejora la robustez y la interpretabilidad al aislar el manejo de fenómenos del habla del análisis sintáctico central, logrando mejoras significativas de rendimiento sin reentrenamiento.

Resultados
Los experimentos realizados en SpokeBench utilizando datos de cambio de código inglés-español compararon DECAP frente a analizadores bilingües tradicionales y el pipeline BiLingua basado en LLM.

• Métricas Estándar: Bajo las métricas tradicionales de LAS y UAS, todos los sistemas mostraron una degradación sustancial en fenómenos del habla (repetición, elipsis, discurso) en comparación con oraciones canónicas. DECAP superó a los baselines, mejorando el LAS general de 0.31 (BiLingua) a 0.48, pero las métricas estándar comprimieron estas ganancias.
• Evaluación FLEX-UD: FLEX-UD reveló una separación más clara entre los sistemas. DECAP alcanzó la puntuación general más alta (76.2), superando significativamente a BiLingua (70.7) y a los analizadores tradicionales (30.4). La métrica destacó que el éxito de DECAP fue impulsado no solo por una mayor precisión de cabeza/etiqueta, sino por una reducción sustancial de los errores estructurales catastróficos.
• Análisis Lingüístico: El estudio encontró que mientras que el rendimiento de UPOS-LAS se correlaciona con la disponibilidad léxica superficial (la repetición funciona mejor), el rendimiento de LAS es impulsado por la ambigüedad estructural y la recuperabilidad (la elipsis y la repetición funcionan peor). El bilingüismo actúa como un multiplicador de complejidad, intensificando estas ambigüedades.

Significancia y Reivindicaciones
El artículo sostiene que el progreso en el análisis de CSW hablado requiere repensar tanto las arquitecturas de análisis como las prácticas de evaluación, en lugar de simplemente escalar la capacidad del modelo. Los autores argumentan que la "brecha de modalidad" entre el lenguaje escrito y el hablado requiere abstracciones de lenguaje conscientes del habla. Al introducir SpokeBench, FLEX-UD y DECAP, este trabajo proporciona una base para evaluar y analizar el CSW hablado que reconoce la incertidumbre estructural como una propiedad inherente de los datos. Los autores enfatizan que su enfoque permite la extensibilidad a nuevos idiomas y fenómenos sin reentrenamiento, ofreciendo un camino escalable para manejar las estructuras no canónicas del habla conversacional.

Limitaciones
Los autores señalan que SpokeBench es intencionalmente pequeño y curado para priorizar la profundidad y la complejidad lingüística sobre la cobertura amplia de hablantes o dialectos. Los experimentos están limitados al cambio de código inglés-español, aunque los fenómenos identificados son comunes en otros entornos bilingües. Finalmente, DECAP depende de LLMs basados en instrucciones en lugar de representaciones aprendidas, lo que lo hace dependiente de la calidad de las instrucciones (prompts) y de las capacidades del modelo subyacente.