A Scalable Tool for Measuring Manner and Result Verbs in Developmental Language Research

Resumen Técnico: Una Herramienta Escalable para Medir Verbos de Modo y Resultado

Enunciado del Problema
La distinción entre verbos de modo (que codifican cómo se realiza una acción, por ejemplo, correr, garabatear) y verbos de resultado (que codifican un resultado o cambio de estado, por ejemplo, limpiar, romper) es teóricamente significativa en la investigación del desarrollo del lenguaje. Ayuda a explicar las variaciones en el aprendizaje temprano de verbos y los resultados en niños con retrasos del lenguaje. Sin embargo, estudiar esta distinción a gran escala se ve actualmente obstaculizado por la falta de recursos anotados a gran escala. Si bien la anotación gramatical (por ejemplo, el etiquetado de la categoría gramatical) está madura, la categorización semántica fina de verbos en contexto sigue siendo un desafío para los modelos computacionales, lo que limita la capacidad de analizar la semántica verbal en grandes corpus de desarrollo.

Metodología
Para abordar la escasez de datos de entrenamiento de referencia, los autores proponen un pipeline computacional que aprovecha los Modelos de Lenguaje Grandes (LLM) para generar anotaciones, las cuales luego se utilizan para entrenar un clasificador supervisado.

1. Marco Lingüístico: El enfoque se basa en diagnósticos lingüísticos establecidos para verbos de modo y resultado, que incluyen:
   • Diagnósticos Sintácticos: Omisión de objeto (los verbos de modo a menudo aparecen sin objetos; los verbos de resultado generalmente los requieren) y alternancia causativa/incoativa (los verbos de resultado permiten esto; los verbos de modo generalmente no).
   • Diagnósticos Semánticos: Telicidad (si una acción tiene un punto final natural) y la naturaleza del cambio (escalar vs. no escalar).
2. Pipeline de Anotación Basado en LLM:
   • Fuente de Datos: Las oraciones se extrajeron del Manually Annotated Sub-Corpus (MASC) y del corpus paralelo InterCorp, abarcando 4.492 oraciones y 2.554 ocurrencias únicas de verbos.
   • Ingeniería de Prompts: Se diseñaron dos prompts distintos para GPT-4o para clasificar verbos no estativos:
     • Prompt 1 se centró en propiedades semánticas (cambios escalares vs. no escalares inherentes a la raíz del verbo).
     • Prompt 2 se centró en la estructura de la oración (omisión de objeto y patrones de alternancia).
   • Etiquetado de Secuencias: En lugar de una clasificación binaria, la tarea se planteó como etiquetado de secuencias (similar al etiquetado de categoría gramatical). Los LLM etiquetaron tokens en oraciones, distinguiendo entre categorías de resultado, modo, estativo y otras. Esto permitió el aislamiento de verbos no estativos, evitando la mala clasificación de verbos auxiliares o modales.
3. Entrenamiento del Modelo:
   • Se ajustó finamente un modelo RoBERTa-base (125M de parámetros) sobre las anotaciones generadas por LLM.
   • La arquitectura incluye un tokenizador Byte Pair Encoding, la base RoBERTa para incrustaciones contextuales, agrupación media para la selección de características y una cabeza de clasificación con suavizado de etiquetas.
   • El modelo se entrenó para predecir etiquetas a nivel de token para 15 etiquetas de categoría gramatical estándar más dos nuevas etiquetas semánticas: resultado y modo.

Contribuciones Clave

• Marco Escalable: Los autores presentan el primer marco computacional para identificar verbos de modo y resultado en contexto de oración, expandiendo la cobertura de 151 clases de VerbNet previamente anotadas a 436 clases.
• Pipeline de Anotación: Introducen un método para generar datos de entrenamiento utilizando prompts de LLM informados lingüísticamente en ausencia de recursos de referencia a gran escala.
• Clasificador Validado: Demuestran que un clasificador basado en RoBERTa entrenado con estas anotaciones generadas por LLM puede distinguir de manera confiable verbos de modo y resultado.
• Liberación de Recursos: El código y el nuevo conjunto de datos anotado (que abarca 436 clases de VerbNet) se ponen a disposición del público para apoyar la investigación futura.

Resultados
El modelo se evaluó en tres conjuntos de datos de referencia retenidos:

1. Un conjunto de datos de raíz verbal de lingüistas (83 verbos de trabajos previos de semántica léxica).
2. Un conjunto de datos de raíz verbal psicolingüístico (77 verbos de Horvath et al., 2022).
3. Un conjunto de datos anotado por expertos (creado recientemente por un lingüista experto para cubrir 346 clases de VerbNet).

• Rendimiento: El modelo entrenado con prompts semánticos (Modelo 1) superó consistentemente al modelo entrenado con prompts sintácticos (Modelo 2).
• Precisión: En los tres conjuntos de datos, el mejor modelo logró una precisión promedio de hasta 89,6%.
  • En el conjunto de datos de lingüistas, el Modelo 1 logró una precisión del 94%.
  • En el conjunto de datos psicolingüístico, el Modelo 1 logró una precisión del 90%.
  • En el conjunto de datos anotado por expertos, el Modelo 1 logró una precisión del 86%.
• Observaciones: Los autores señalan que las propiedades semánticas de la raíz del verbo parecen ser más críticas para esta tarea que la estructura de la oración por sí sola. Las discrepancias en el conjunto de datos psicolingüístico (por ejemplo, una menor recuperación para verbos de resultado) se atribuyeron a posibles casos limítrofes o diferencias en los criterios de anotación entre la investigación del desarrollo y las definiciones lingüísticas estrictas.

Significado y Afirmaciones
Los autores posicionan este trabajo como una herramienta de medición escalable en lugar de un instrumento de diagnóstico clínico.

• Utilidad de Investigación: La herramienta permite a los investigadores medir propiedades semánticas más finas de los vocabularios verbales en grandes corpus de desarrollo (por ejemplo, CHILDES), aclarando potencialmente qué aspectos del lenguaje temprano están asociados con resultados posteriores como el Trastorno del Desarrollo del Lenguaje (TDL).
• Modestia y Limitaciones: El artículo reconoce explícitamente las limitaciones, incluida la dependencia de LLM que pueden introducir inconsistencias estadísticas, la exclusión de verbos polisémicos y casos mixtos de modo/resultado (por ejemplo, guillotinar, ahogar), y la falta de fiabilidad interevaluador debido a la escasez de anotadores expertos.
• Direcciones Futuras: Los autores afirman que se requiere una mayor validación para casos limítrofes y aplicaciones de desarrollo posteriores antes de que la herramienta pueda utilizarse para la toma de decisiones diagnósticas. Consideran el sistema actual como un paso hacia análisis más ricos basados en corpus del aprendizaje temprano de verbos, apoyando la hipótesis de que la composición semántica de la entrada puede ser más informativa que las medidas léxicas amplias.