Differences in Typological Alignment in Language Models' Treatment of Differential Argument Marking

Resumen Técnico: Diferencias en la Alineación Tipológica en el Tratamiento de la Marcación Diferencial de Argumentos por Modelos de Lenguaje

Enunciado del Problema
Investigaciones recientes indican que los modelos de lenguaje (LM) entrenados con corpus sintéticos pueden exhibir preferencias tipológicas que se asemejan a regularidades interlingüísticas, particularmente en dominios estructurales como el orden de las palabras. Sin embargo, sigue sin estar claro si estas tendencias se extienden a sistemas donde la corrección gramatical depende de factores semánticos en lugar de configuraciones puramente estructurales. Este artículo investiga esta brecha utilizando la Marcación Diferencial de Argumentos (DAM), un fenómeno lingüístico en el que los argumentos reciben marca morfológica basada en propiedades semánticas como la animacidad, la definitud y la pronominalidad. Específicamente, los autores preguntan si los LM entrenados con objetivos estándar de predicción del siguiente token desarrollan sesgos tipológicos en la DAM que se alineen con las lenguas humanas, y, de ser así, si estos sesgos provienen de las mismas fuentes subyacentes que las tendencias tipológicas humanas.

Metodología
Los autores emplean un paradigma de corpus sintético controlado utilizando modelos GPT-2-small entrenados desde cero.

• Construcción del Corpus: Comenzando con un subconjunto del corpus OpenSubtitles (inglés), los autores extraen aproximadamente 21 millones de cláusulas SVO. Anotan los argumentos para propiedades semánticas (animacidad, definitud, pronominalidad) utilizando clasificadores basados en BERT.
• Inyección de Reglas: Construyen 18 corpus sintéticos distintos inyectando reglas de DAM en el texto en inglés. Estas reglas se parametrizan a lo largo de cuatro dimensiones:
  1. Disparador Semántico: Animacidad, Definitud o Pronominalidad.
  2. Complejidad de la Dependencia: Local (la marcación depende de la propiedad de un solo argumento) vs. Global (la marcación depende de la prominencia relativa del sujeto y el objeto).
  3. Dirección de la Marcación: Natural (la marcación se dirige a argumentos semánticamente atípicos/menos frecuentes) vs. Inversa (la marcación se dirige a argumentos típicos).
  4. Objetivo del Argumento: Dirigido al objeto (marcar al paciente) vs. Dirigido al sujeto (marcar al agente).
• Evaluación: Los modelos se evalúan en el dominio de la regla utilizando pares mínimos. Para cada condición, se generan 1,000 pares de oraciones retenidos donde una oración sigue la regla de DAM inyectada y la otra la viola. El rendimiento se mide por la proporción de veces que el modelo asigna una menor verosimilitud negativa (NLL) a la oración gramatical.
• Análisis Auxiliares: El estudio incluye pruebas de precisión en la colocación de marcadores, sondeo semántico (para asegurar que la información semántica no se pierde) y tareas de diagnóstico BLiMP (para asegurar que la inyección de DAM no degrade el aprendizaje gramatical general).

Resultados Clave
Los experimentos revelan una disociación entre dos dimensiones tipológicas principales de la DAM:

1. Dirección de la Marcación (Fuerte Alineación): Los modelos reproducen de manera fiable la preferencia tipológica humana por la marcación natural. A través de todos los disparadores semánticos y tipos de dependencia, los modelos aprenden reglas naturales (donde la marcación overt se dirige a argumentos atípicos) significativamente mejor que las reglas inversas.

   • Precisión media óptima para reglas Naturales: ~85%.
   • Precisión media óptima para reglas Inversas: ~68%.
   • Esta ventaja persiste incluso cuando se controla la frecuencia de entrada, lo que sugiere que está impulsada por dinámicas de aprendibilidad en lugar de mera exposición.

2. Preferencia de Argumento (Débil/Nula Alineación): Los modelos no reproducen la fuerte preferencia tipológica humana por sistemas dirigidos al objeto. Si bien las reglas dirigidas al objeto mostraron una ligera ventaja promedio sobre las reglas dirigidas al sujeto (~79% vs. ~74%), esta diferencia es sustancialmente menor que el efecto de marcación y estadísticamente menos significativa.

   • Las reglas locales se aprendieron con mayor éxito que las reglas globales (~77% vs. ~59%), reflejando un sesgo hacia la localidad de la información.
   • La brecha de rendimiento entre las variantes naturales e inversas fue menor para las reglas dirigidas al objeto que para las dirigidas al sujeto, lo que sugiere que los modelos codifican las propiedades semánticas del sujeto de manera más robusta.

3. Hallazgos Auxiliares:

   • Colocación del Marcador: Los modelos alcanzaron una precisión cercana al techo en la colocación correcta de marcadores, lo que indica que los fallos en el dominio de la regla no se deben a una incapacidad para localizar el marcador en la cadena.
   • Sondeo Semántico: Sondeos lineales confirmaron que los modelos retienen información semántica (animacidad, definitud, pronominalidad) tanto para sujetos como para objetos, descartando la degradación semántica como causa de las diferencias de rendimiento.
   • BLiMP: La inyección de DAM no deterioró significativamente la capacidad de los modelos para aprender otros fenómenos gramaticales.

Significado y Afirmaciones
El artículo argumenta que la disociación observada proporciona evidencia sobre las fuentes distintas de las asimetrías tipológicas:

• Marcación como Aprendibilidad: La fuerte alineación con la marcación natural sugiere que esta tendencia tipológica puede emerger de regularidades distribucionales y aprendibilidad formal. Los sistemas de marcación natural reducen la incertidumbre de predicción (sorpresa) al proporcionar señales locales explícitas para configuraciones menos frecuentes, alineándose con los sesgos inductivos de los modelos autoregresivos optimizados para la predicción del siguiente token.
• Preferencia de Argumento como Impulsada por el Discurso: La falta de una fuerte preferencia por el objeto en los modelos sugiere que esta asimetría tipológica depende de factores no capturados por el entrenamiento estándar de siguiente token, como la estructura del discurso, la prominencia temática y las presiones comunicativas (por ejemplo, la tendencia de los objetos a asumir roles discursivos atípicos como la topicalidad).
• Conclusión: Las tendencias tipológicas distintas reflejan presiones subyacentes diferentes. Algunas, como la dirección de la marcación, son accesibles para los LM a través del aprendizaje estadístico local, mientras que otras, como la preferencia de argumento, probablemente requieren presiones interaccionales o diacrónicas que los objetivos de entrenamiento estándar no simulan.

Limitaciones
Los autores señalan varias restricciones: el uso de una única arquitectura pequeña (GPT-2-small), la dependencia del inglés (una lengua SVO donde la marcación de caso es menos crítica que en lenguas de orden de palabras flexible) y la operacionalización simplificada de los disparadores de DAM (tratándolos como características binarias independientes en lugar de propiedades sensibles al discurso que interactúan). Además, la frecuencia de instancias marcadas frente a no marcadas no se controló experimentalmente de manera completa, aunque los autores argumentan que la frecuencia por sí sola no explica las asimetrías observadas.