TalkTag: Fine-Grained Morphosyntactic Error Annotation for Transcribed Speech

Resumen Técnico de "TalkTag: Fine-Grained Morphosyntactic Error Annotation for Transcribed Speech"

Planteamiento del Problema
La anotación de errores morfosintácticos de grano fino es un componente crítico de la lingüística clínica y la psicolingüística del desarrollo, proporcionando evidencia para el desarrollo del lenguaje, el deterioro y la variación en poblaciones como niños con trastornos del desarrollo del lenguaje, síndrome de Down y trastorno del espectspecro autista. Sin embargo, esta tarea es actualmente laboriosa, depende del conocimiento experto y es difícil de escalar. A diferencia del etiquetado morfosintáctico estándar, la anotación de errores requiere identificar divergencias estructuradas entre las producciones erróneas y los objetivos pretendidos, lo que a menudo requiere la reconstrucción de la morfología ausente de la cadena superficial. Si bien los Modelos de Lenguaje de Gran Escala (LLM) ofrecen un potencial para la evaluación holística de los enunciados, el campo carece de herramientas automatizadas capaces de generar anotaciones de error en línea al estilo CHAT, particularmente en entornos de bajos recursos donde los datos clínicos anotados son escasos y de acceso restringido.

Metodología
Los autores presentan TalkTag, una herramienta ligera basada en LLM diseñada para automatizar la anotación de errores al estilo CHAT en transcripciones de lenguaje hablado. El sistema se construyó bajo condiciones de extrema escasez de datos utilizando datos narrativos infantiles del corpus Edmonton Narrative Norms Instrument (ENNI).

• Arquitectura del Modelo: El sistema utiliza un modelo Meta-Llama-3.1-8B-Instruct ajustado por instrucciones, cargado en su forma cuantizada de 4 bits para mayor eficiencia. Ha sido ajustado mediante LoRA (Low-Rank Adaptation) con un rango de 32 y $\alpha=64$, manteniendo congelados los pesos base.
• Estrategia de Entrenamiento: Para abordar la escasez de datos del mundo real anotados (4,585 enunciados, la mayoría de los cuales no presentan errores), los autores emplearon aumento de datos sintéticos. Se generaron ejemplos sintéticos curados que cubren las configuraciones de las directrices de CHAT, los cuales fueron revisados manualmente para asegurar un soporte mínimo de ~100 instancias por etiqueta. Los datos de entrenamiento también incluyeron enunciados limpios para enseñar al modelo cuándo dejar el texto sin cambios.
• Anotación como Generación Estructurada: En lugar de tratar las etiquetas de error de CHAT como un inventario plano de cadenas opacas, los autores tratan el esquema de anotación como un lenguaje simbólico estructurado. El tokenizador fue extendido con componentes reutilizables (marcadores entre corchetes, indicadores de dominio, fragmentos de subtipos) para fomentar que el modelo componga etiquetas licenciadas a partir de partes significativas, en lugar de recuperarlas de un conjunto cerrado.
• Diseño de la Evaluación: El sistema fue evaluado mediante un enfoque de tres niveles:
  1. Puntuación Automática: Coincidencia exacta (exact match), precisión micro, exhaustividad (recall) y F1 sobre los datos de prueba retenidos.
  2. Adjudicación Post-hoc Ciega: Revisores humanos evaluaron los casos de desacuerdo sin conocer la fuente (modelo vs. referencia de oro) para distinguir fallos genuinos del modelo de la ambigüedad en la anotación de referencia.
  3. Revisión Humana en Datos No Vistos: Una auditoría manual de la salida del modelo en una gran parte del corpus ENNI no utilizado en el entrenamiento o la validación.

Contribuciones Clave

1. Herramienta TalkTag: Una herramienta escalable basada en Python para la anotación de errores morfosintácticos de grano fino que cumple con las directrices de CHAT, dirigida específicamente a la codificación de errores a nivel de palabra (por ejemplo, [* m:0ed] para la ausencia de tiempo pasado, [* s:r:gc:pro] para errores de categoría de pronombre).
2. Viabilidad en Bajos Recursos: Una demostración de que el análisis lingüístico de grano fino es factible en entornos de bajos recursos combinando el aumento de datos sintéticos con el ajuste de parámetros eficientes de un LLM ligero.
3. Marco de Generación Estructurada: Una formulación novedosa de la codificación de errores de CHAT como una tarea de generación estructurada con restricciones, donde el modelo aprende a componer etiquetas a partir de bloques de construcción lingüísticos en lugar de memorizar etiquetas fijas.

Resultos

• Rendimiento Automático: En la división de prueba principal, TalkTag logró un 93.6% de coincidencia exacta y un 80.4% de micro-F1. Al restringirse al subconjunto de enunciados que contienen al menos una etiqueta de error (87 enunciados), el micro-F1 fue del 82.7% (Precisión: 91.4%, Exhaustividad: 75.5%).
• Adjudicación Post-hoc: Tras la revisión humana ciega de los casos de desacuerdo, la tasa de salida aceptable para los enunciados con errores aumentó al 82.8%, lo que indica que muchos de los aparentes errores se debieron a la ambigüedad lingüística o a la falta de especificación en la anotación de referencia, más que a un fallo del modelo.
• Evaluación Humana en Datos No Vistos: En 3,145 enunciados revisados de datos ENNI no vistos, el 93.4% de las salidas a nivel de enunciado fueron juzgadas como aceptables. A nivel de etiqueta, el 83.7% de los casos revisados que contenían etiquetas fueron correctos. Las predicciones más frecuentes y precisas involucraron errores de concordancia, formas de pasado sobre-regularizadas y sustituciones de pronombres.
• Patrones de Error: El modelo demostró alta precisión pero menor exhaustividad, particularmente para errores que requieren un contexto discursivo más amplio. Un modo de fallo notable involucró formas verbales no inflectadas tras sujetos de tercera persona del singular, donde el modelo a menudo prefería análisis basados en la concordancia sobre interpretaciones de ausencia de tiempo pasado, especialmente con verbos de cambio cero (por ejemplo, hurt, put).

Significancia y Reivindicaciones
El artículo afirma que TalkTag proporciona un sistema de apoyo prácticamente viable para la anotación de errores morfosintácticos, ofreciendo una alternativa escalable a la anotación totalmente manual. Los autores posicionan explícitamente la herramienta no como un reemplazo del juicio experto, sino como un auxiliar de pre-anotación que presenta candidatos a error plausibles para la revisión humana. Este enfoque busca reducir la intensidad de trabajo y el costo de la anotación manteniendo una alta calidad.

La significancia del trabajo reside en su capacidad para manejar las complejidades específicas de los datos de lenguaje clínico y del desarrollo —como las disfluencias, los enunciados incompletos y la necesidad de reconstrucción del objetivo— dentro de un marco de bajos recursos. Los resultados sugieren que, si bien el sistema aún no cubre toda la gama de fenómenos de error de CHAT, aborda con éxito los tipos de error más clínicamente relevantes y frecuentes (concordancia, tiempo, pronombres), apoyando así la investigación en trastornos del desarrollo del lenguaje y la adquisición del lenguaje típico. Los autores enfatizan que el prototipo actual es un primer paso hacia la anotación de grano fino, y que se requiere trabajo futuro para expandir la cobertura a otros corpus y poblaciones clínicas.