A graph-based analysis of semantic types and coercion in contextualized word embeddings

Resumen Técnico: Un Análisis Basado en Grafos de Tipos Semánticos y Coerción en Representaciones de Palabras Contextualizadas

Enunciado del Problema
La incompatibilidad de tipo semántico entre un sustantivo y su contexto es central en el fenómeno lingüístico de la coerción, donde el tipo semántico léxico de un sustantivo entra en conflicto con el tipo requerido por el contexto circundante (por ejemplo, "terminar la pizza", donde pizza es un alimento pero terminar selecciona típicamente una actividad). Aunque marcos teóricos como el Léxico Generativo y la Lógica Composicional de Tipos han propuesto mecanismos para resolver estas incompatibilidades, el trabajo computacional que operacionaliza directamente estas teorías sigue siendo escaso. Los estudios existentes sobre modelos de lenguaje preentrenados (PLM) se centran en gran medida en tareas de predicción de palabras para detectar eventos encubiertos en la coerción, arrojando a menudo resultados inconsistentes. Este artículo investiga una pregunta diferente: ¿Cómo se refleja la información sobre los tipos semánticos en las representaciones de palabras contextualizadas de instancias de sustantivos, distinguiendo específicamente entre predicación típica (coincidencia) y coerción (incompatibilidad)?

Metodología
Los autores proponen un análisis basado en grafos de representaciones de palabras contextualizadas para examinar la distribución de tipos semánticos en el vecindario de instancias de sustantivos.

1. Construcción del Conjunto de Datos:

   • Tipos Semánticos: Se seleccionaron diez tipos semánticos: animal, artefacto, actividad, alimento, humano, información, ubicación, estado de ánimo, proceso, estado. Estos forman una jerarquía conceptual compatible con los super-sentidos de WordNet.
   • Instancias: Se extrajeron 20 oraciones por sustantivo de BookCorpus para 5–10 sustantivos frecuentes por tipo.
   • Anotación: Las oraciones se anotaron para Tipo Léxico (lt) (el tipo inherente del sustantivo) y Tipo Contextual (ct) (el tipo requerido por el contexto, inferido enmascarando el sustantivo).
   • Categorías: Las oraciones se clasificaron en cuatro tipos:
     • COINCIDENCIA: $lt = ct$ (por ejemplo, "comer una pizza").
     • COERCIÓN: $lt \neq ct$ debido a la selección del predicado (por ejemplo, "el estadio rugía").
     • OTRA_INCOMPATIBILIDAD: $lt \neq ct$ debido a metáfora o metonimia.
     • SIN_RESTRICCIÓN: $ct = \emptyset$ (el contexto no impone un tipo específico).

2. Representaciones y Construcción de Grafos:

   • Modelos: Se utilizaron dos modelos: BERT estándar (base, sin mayúsculas) y BERT potenciado por sentido (ajustado finamente en SemCor con etiquetas de super-sentidos de WordNet).
   • Enmascaramiento: Para aislar la información contextual de la información léxica, las palabras objetivo se reemplazaron con tokens [MASK].
   • Grafos: Se construyeron cuatro grafos dirigidos ($G_b, G_s, G_{mb}, G_{ms}$) basados en la similitud coseno entre representaciones (promedio de las últimas 4 capas). Las aristas conectan los $k=10$ vecinos más cercanos de diferentes palabras objetivo para evitar superposición léxica.

3. Métricas Propuestas:

   • Probabilidad de Tipo de Vecino (PTV): Mide la proporción de vecinos de un nodo que pertenecen a un tipo semántico específico.
     • PTML (Léxico): $PTV(lt, v)$
     • PTMC (Contextual): $PTV(ct, v)$
   • Entropía de Tipo de Vecino (ETV): Mide la diversidad de tipos semánticos entre los vecinos. Una entropía baja indica que los vecinos comparten el mismo tipo; una entropía alta indica tipos diversos.

Resultados Clave

• Calidad de las Representaciones: Los grafos construidos con representaciones potenciadas por sentido ($G_s, G_{ms}$) reflejan la información de tipo semántico significativamente mejor que los grafos de BERT estándar. Por ejemplo, en oraciones de COINCIDENCIA, el PTML promedio para los tipos artefacto y humano aumentó sustancialmente en $G_s$ en comparación con $G_b$.
• Reflejo Léxico vs. Contextual:
  • Los grafos sin enmascarar ($G_b, G_s$) reflejan principalmente tipos léxicos. En oraciones de COERCIÓN, los vecinos siguen compartiendo predominantemente el tipo léxico del sustantivo en lugar del tipo contextual, lo que sugiere que las representaciones retienen el tipo inherente del sustantivo incluso en contextos de incompatibilidad.
  • Los grafos enmascarados ($G_{mb}, G_{ms}$) muestran una mayor sensibilidad a los tipos contextuales, aunque la señal permanece parcial (PTMC < 0.5).
• Distinguir Tipos de Oraciones mediante Entropía (ETV):
  • Las oraciones de COINCIDENCIA exhiben una ETV baja (los vecinos comparten el mismo tipo).
  • Las oraciones SIN_RESTRICCIÓN exhiben la ETV más alta (los vecinos son altamente diversos).
  • Las oraciones de COERCIÓN muestran un comportamiento intermedio. En los grafos enmascarados ($G_{mb}, G_{ms}$), las oraciones de COERCIÓN tienen una ETV significativamente menor que las oraciones SIN_RESTRICCIÓN, pero mayor que las de COINCIDENCIA. Esto sugiere que, aunque las instancias de coerción no cambian completamente al tipo contextual, exhiben más diversidad de tipos que las instancias de coincidencia estándar.
• Jerarquía de Tipos: El análisis de PTV en $G_s$ reveló proximidades taxonómicas (por ejemplo, proceso, estado y estado de ánimo formando un clúster; información cerca de estado de ánimo), permitiendo la inducción de una nueva jerarquía de tipos semánticos.

Significado y Afirmaciones
El artículo afirma ser el primer estudio que se centra en las relaciones de tipos semánticos y la coerción a nivel de representación de las representaciones contextualizadas, en lugar de depender exclusivamente de tareas de predicción de palabras.

• Contribución Metodológica: Las métricas basadas en grafos propuestas (PTV y ETV) distinguen eficazmente entre oraciones de coincidencia, coerción y sin restricción.
• Perspectiva Teórica: Los resultados sugieren que en la coerción, el tipo léxico no es completamente sobrescrito por el contexto; más bien, la estructura del grafo refleja un equilibrio donde el tipo léxico permanece dominante en las representaciones sin enmascarar, mientras que las representaciones enmascaradas capturan parcialmente el cambio contextual.
• Potencial Futuro: Los autores sugieren modestamente que, con conjuntos de datos más grandes, su método podría inducir automáticamente jerarquías de tipos semánticos y detectar consistentemente oraciones de incompatibilidad. También señalan el potencial para explorar más a fondo la distinción entre coerción y otros mecanismos de incompatibilidad (metáfora/metonimia) dados suficientes datos.

El estudio concluye que las representaciones potenciadas por sentido proporcionan una representación más rica de los tipos semánticos, y el análisis basado en grafos propuesto ofrece una herramienta viable para investigar cómo interactúan la información léxica y contextual dentro de los PLM.