A Hierarchical and Attentional Analysis of Argument Structure Constructions in BERT Using Naturalistic Corpora

Resumen Técnico: Un análisis jerárquico y atencional de las construcciones de estructura argumental en BERT utilizando corpus naturalistas

Planteamiento del problema
La cuestión central abordada por este estudio es si los grandes modelos de lenguaje (LLMs), específicamente el modelo Bidirectional Encoder Representations from Transformers (BERT), desarrollan representaciones internas de conocimiento gramatical abstracto que reflejen las teorías lingüísticas humanas, particularmente la Gramática de Construcción. Si bien investigaciones previas han demostrado que modelos como BERT pueden capturar dependencias sintácticas, gran parte de este trabajo se basa en oraciones generadas sintéticamente o mediante plantillas, las cuales pueden carecer de la variabilidad y la validez ecológica del lenguaje natural. Además, los estudios existentes suelen agregar datos de diversos géneros, lo que puede confundir el conocimiento construccional con variaciones estilísticas. Existe una brecha específica en la comprensión de cómo BERT procesa cuatro construcciones fundamentales de Estructura Argumental (ASC, por sus siglas en inglés)—Resultativa, Causa de Movimiento, Ditransitiva y de Modo (Way)—dentro de un contexto controlado y naturalista, y cómo estas representaciones evolucionan dináamente a través de las capas de procesamiento del modelo.

Metodología
Para abordar estas limitaciones, los autores emplearon un marco analítico multidimensional utilizando un conjunto de datos estrictamente controlado.

• Construcción del Corpus: El estudio extrajo 800 oraciones (200 por cada tipo de construcción) exclusivamente del género de ficción del British National Corpus (BNC) y del Corpus of Contemporary American English (COCA). Este control de género buscaba aislar la sintaxis y la semántica construccional de la variación estilística.
• Procesamiento de Datos: Las oraciones fueron anotadas para roles sintácticos centrales (Sujeto, Verbo, Objeto Directo, Objeto Indirecto, Preposición y la palabra clave "way") utilizando SpaCy. Estos roles se mapearon a los tokens de subpalabras de BERT, donde el primer token de subpalabra sirvió como el vector representativo.
• Análisis del Modelo: Se utilizó el modelo preentrenado bert-base-uncased sin realizar un ajuste fino (fine-tuning). El estudio extrajo matrices de pesos de atención y embeddings contextualizados de las 12 capas del codificador Transformer.
• Técnicas Analíticas:
  1. Reducción de Dimensionalidad: Se aplicaron el Escalamiento Multidimensional (MDS) y el Embedding de Vecinos Cercanos Estocástico basado en t (t-SNE) para visualizar la agrupación geométrica de los tipos de construcción.
  2. Métricas de Separación de Clústeres: Se calculó el Valor de Discriminación Generalizado (GDV) para cuantificar la separación de los clústeres de construcción a través de las capas.
  3. Probing Lineal: Se entrenaron clasificadores de Máquinas de Vectores de Soporte (SVM) lineales sobre los embeddings de los tokens (CLS, Sujeto, Verbo, Objeto) para probar la accesibilidad lineal de la información de la categoría de la construcción.
  4. Análisis de Atención: Se computó la Relación de Discriminación de Fisher (FDR) sobre los pesos de atención para identificar qué tokens sintácticos y cabezales de atención proporcionan la información más diagnóstica para distinguir entre construcciones.

Resultados Clave
El análisis reveló un proceso jerárquico y dinámico de representación construccional dentro de BERT:

• Evolución por Capas:
  • Capas Tempranas (1-2): Las representaciones aparecieron como una "sopa indiferenciada" con una extensa superposición entre los tipos de construcción, dominadas por características léxicas superficiales y sintácticas locales.
  • Capas Medias (3-6): La información específica de la construcción emergió, formando clústeres máximamente separables. El análisis de GDV identificó la Capa 4 como el punto de optimalidad en la separabilidad lineal. La construcción de "Modo" (Way) formó consistentemente el clúster más compacto e aislado, resaltando su estatus único como un par forma-significado altamente esquemático.
  • Capas Tardías (7-12): Los clústeres se mantuvieron distintos pero experimentaron un refinamiento sutil, lo que sugiere un cambio hacia la integración de información para predicciones de tareas específicas posteriores.
• Accesibilidad Lineal: Para la Capa 2, la información de la categoría de la construcción ya era decodificable linealmente a partir de los embeddings de todos los principales tokens sintácticos (Sujeto, Verbo, Objeto, CLS), con una precisión de clasificación superior al 90% y manteniéndose estable a través de las capas finales.
• Especialización Atencional: Se observó una disociación significativa entre la accesibilidad lineal y el enfoque atencional. Mientras que la información construccional estaba presente en todos los embeddings de los tokens, el mecanismo de atención se especializó en diagnosticar las construcciones principalmente a través de la relación Verbo-Objeto (VERB-OBJ). El token del Objeto exhibió los puntajes de FDR más altos, seguido por el Verbo, mientras que los tokens del Sujeto y CLS mostraron un poder discriminativo mínimo en los patrones de atención.
• Subestructura: Las visualizaciones de t-SNE revelaron subestructuras internas dentro de los clústeres de construcción (por ejemplo, dentro de la construcción Ditransitiva), lo que sugiere que el modelo captura variaciones granulares basadas en el uso más allá de los esquemas abstractos.

Contribuciones Clave

1. Validez Ecológica: El estudio proporciona evidencia basada en un corpus naturalista de un solo género, mitigando los factores de confusión de los datos sintéticos y la variación estilística entre géneros.
2. Mapeo Jerárquico: Delimita una trayectoria clara de cómo emergen los esquemas gramaticales abstractos, alcanzan su pico de separabilidad y se mantienen dentro de la arquitectura Transformer, identificando las capas medias como el locus de la abstracción construccional.
3. Perspectiva Mecanicista: La investigación descubre una disociación donde la identidad construccional está codificada globalmente en los embeddings pero es diagnosticada localmente por el mecanismo de atención a través del núcleo predicado-argumento (Verbo-Objeto).
4. Validación de la Gramática de Construcción: Los hallazgos ofrecen evidencia computacional para las teorías de la Gramática de Construcción, demostrando que los modelos entrenados únicamente en la predicción del siguiente token organizan espontáneamente sus representaciones internas para reflejar las categorías ASC definidas teóricamente, incluyendo el estatus distintivo de la construcción de "Modo" (Way).

Significancia
El artículo sostiene que sus hallazgos establecen un puente metodológico entre la lingüística computacional y la ciencia cognitiva. Al demostrar que BERT codifica sistemáticamente las abstracciones construccionales de manera estructurada y jerárquica, el estudio sugiere que estos modelos pueden servir como bancos de pruebas computacionales para conceptos lingüísticos teóricos. Los resultados respaldan la "hipótesis del pipeline" de las representaciones contextualizadas, donde las abstracciones sintácticas y semánticas cristalizan en las capas medias antes de que se resuelvan los detalles pragmáticos. Además, el estudio postula que la capacidad de los LLM para aprender estos patrones a partir de datos naturales por sí solos fortalece el argumento sobre la realidad psicológica de las construcciones como unidades fundamentales de la cognición lingüística. El trabajo concluye que los LLM modernos no son meras cajas negras, sino que desarrollan representaciones internas que resuenan con teorías de larga data sobre cómo los humanos almacenan y procesan el conocimiento lingüístico.