'Layer su Layer': Identifying and Disambiguating the Italian NPN Construction in BERT's family

Resumen Técnico: 'Layer su Layer': Identificación y Desambiguación de la Construcción NPN Italiana en la Familia BERT

1. Problema de Investigación

El artículo aborda la necesidad de evaluar la competencia lingüística de los Modelos de Lenguaje Preentrenados (PLMs) más allá de su rendimiento predictivo, examinando qué información lingüística codifican y cómo se estructura internamente. Específicamente, el estudio se centra en la familia de construcciones NPN (Sustantivo-Preposición-Sustantivo) en italiano (ej. layer su layer 'capa sobre capa'), un fenómeno que desafía las categorías gramaticales tradicionales y se sitúa en el continuo léxico-sintaxis.

El problema central es determinar si los embeddings contextuales de modelos como BERT capturan no solo regularidades distribucionales superficiales, sino también asociaciones estructuradas de forma y significado definidas por la Gramática de Construcciones (CxG). Además, se busca validar si este conocimiento es transferible entre idiomas (inglés vs. italiano) y si los modelos pueden distinguir entre construcciones semi-esquemáticas que compiten semánticamente y comparten lexemas.

2. Metodología

El estudio adopta un marco de probing (sondeo) basado en la Gramática de Construcciones, extendiendo trabajos previos sobre el inglés (Scivetti y Schneider, 2025) al italiano.

• Datos:

  • Se utilizó un conjunto de datos derivado de CORIS, conteniendo 1.281 instancias de construcciones NPN italianas (preposiciones a y su) y 989 distractores.
  • Las construcciones se etiquetaron semánticamente en tres categorías principales: sucesión/iteración/distributividad, mayor pluralidad/acumulación, y yuxtaposición/contacto.
  • Los distractores incluyen patrones isomórficos superficiales (ej. N su N en nombres propios) y construcciones estructuralmente distintas (ej. PNPN, verbales).
  • Se implementó una división de datos estricta: los pares lema-etiqueta no se comparten entre entrenamiento y prueba, aunque los lemas pueden aparecer en diferentes etiquetas, evitando así el memorizado léxico.

• Modelos:

  • Se evaluaron cuatro modelos de la familia BERT:
    1. BERT-base-italian-cased (monolingüe).
    2. mBERT (multilingüe).
    3. UmBERTo (RoBERTa monolingüe italiano).
    4. XLM-RoBERTa (multilingüe).
  • Todos los modelos se usaron en modo inferencia sin fine-tuning.

• Tareas Experimentales:

  1. Identificación de Construcción: Clasificación binaria (Construcción NPN vs. Distractor). Se probaron tres configuraciones de distractores: SIMPLE (todos los tipos), OTHER (solo distractores estructuralmente distintos) y PSEUDO (solo patrones isomórficos superficiales).
  2. Desambiguación Semántica: Clasificación multiclase de los significados de las construcciones NPN.
  3. Generalización Semántica: Prueba de capacidad para generalizar a preposiciones no vistas en el entrenamiento (per, dopo) que comparten el mismo valor semántico.

• Procedimiento de Probing:

  • Se extrajeron embeddings contextuales capa por capa.
  • Se analizaron dos loci de interés: la preposición real (PREP) y su sustituto token [UNK] (para aislar la información léxica de la estructural).
  • Se entrenaron clasificadores de regresión logística lineales débiles en cada capa.
  • Se establecieron líneas base estáticas (FastText) y controles aleatorios.

3. Contribuciones Clave

• Extensión Translingüística: Es el primer estudio que aplica el marco de probing de construcciones NPN al italiano, validando la hipótesis de que el conocimiento constructivo es testable a través de diferentes idiomas y redes de construcciones hermanas.
• Diseño Experimental Refinado:
  • Introducción de la variable [UNK] para distinguir entre información léxica de la preposición y información estructural contextual.
  • Definición de configuraciones de distractores más complejas (PSEUDO y OTHER) para evaluar si el modelo aprende verdaderas asociaciones forma-significado o solo pistas sintácticas superficiales.
  • Prueba de generalización a preposiciones no vistas, demostrando la capacidad del modelo para abstraer el significado constructivo más allá de la realización léxica específica.
• Análisis de Capas: Mapeo sistemático de cómo la información constructiva emerge a través de las capas de los modelos BERT, contrastando modelos monolingües y multilingües.

4. Resultados

• Identificación de Construcciones:

  • Los clasificadores alcanzaron un alto rendimiento en distinguir NPN de distractores, superando consistentemente a las líneas base estáticas (FastText) en las capas medias y tardías.
  • El rendimiento fue similar tanto para PREP como para [UNK], lo que sugiere que la discriminación no depende crucialmente del significado léxico de la preposición, sino de la información aportada por los sustantivos circundantes y el contexto oracional.
  • La configuración de distractores influyó significativamente: los modelos aprendieron a distinguir construcciones de patrones isomórficos superficiales, pero mostraron sesgos cuando los distractores eran estructuralmente distintos (ej. confusión con la preposición su en ciertos contextos).

• Desambiguación Semántica:

  • Los modelos superaron las líneas base estáticas, especialmente en las capas superiores.
  • La distinción de mayor pluralidad/acumulación fue muy precisa, facilitada por restricciones morfológicas superficiales (número singular/plural del sustantivo).
  • Hubo confusión entre yuxtaposición/contacto y sucesión/iteración cuando ambas usaban la preposición a, indicando que la frontera entre estos significados es gradual y dependiente del contexto.

• Generalización Semántica:

  • El modelo demostró una robusta capacidad de generalización a preposiciones no vistas (per, dopo) en las capas tardías.
  • Mientras que las capas bajas de PREP dependían de información léxica específica, las capas altas integraron información contextual suficiente para mapear nuevas instancias preposicionales a categorías semánticas aprendidas (sucesión/distribución).

• Comparación de Modelos:

  • Los modelos monolingües (UmBERTo, BERT-ita) superaron a los multilingües (mBERT, XLM-R) en la tarea de desambiguación semántica del italiano, sugiriendo que la especialización lingüística es crucial para capturar matices constructivos específicos.

5. Significado e Implicaciones

• Validación de la Gramática de Construcciones: Los resultados proporcionan evidencia empírica de que los PLMs codifican regularidades constructivas abstractas que van más allá de la frecuencia colocalacional, apoyando la visión de la CxG sobre el lenguaje como una red de asociaciones forma-significado.
• Abstracción Jerárquica: El estudio confirma que la información lingüística en BERT sigue un camino de abstracción: las capas bajas capturan información léxica y morfológica superficial, mientras que las capas superiores codifican regularidades constructivas abstractas que permiten la generalización.
• Importancia del Diseño de Tareas: Se destaca que los resultados de probing son altamente sensibles a la definición de distractores y pares mínimos. Una definición inadecuada puede llevar a conclusiones erróneas sobre lo que el modelo realmente "sabe".
• Limitaciones y Futuro: El estudio se limita a la familia NPN y modelos codificadores. Se sugiere que futuras investigaciones deben incluir modelos decodificadores y experimentos conductuales con humanos para validar si estas abstracciones computacionales son cognitivamente plausibles.

En conclusión, el artículo demuestra que los modelos BERT no solo reconocen patrones superficiales, sino que desarrollan representaciones internas que reflejan la estructura y el significado de las construcciones lingüísticas complejas, validando así la utilidad de los enfoques de Gramática de Construcciones para la interpretabilidad de modelos de lenguaje.