💬 NLP

A graph-based analysis of semantic types and coercion in contextualized word embeddings

Este artigo propõe uma análise baseada em grafos utilizando as métricas de Probabilidade de Tipo de Vizinho e Entropia em embeddings do BERT e enriquecidos por sentido para demonstrar que informações de tipo semântico e fenômenos de coerção são melhor capturados em modelos enriquecidos por sentido, permitindo a distinção entre pares substantivo-contexto correspondentes e não correspondentes.

Autores originais: Long Chen, Deniz Ekin Yavas

Publicado 2026-05-25

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Long Chen, Deniz Ekin Yavas

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca gigante e invisível onde cada livro representa uma única palavra usada em uma frase. Nesta biblioteca, os livros são agrupados juntos nas prateleiras com base em quão semelhantes eles se sentem uns aos outros. Este artigo é como uma expedição de mapeamento para dentro dessa biblioteca, a fim de ver o quão bem as prateleiras estão organizadas.

Os pesquisadores queriam responder a uma pergunta específica: Essas "prateleiras" digitais (chamadas de representações de palavras ou word embeddings) sabem a diferença entre o que uma palavra é e o que uma palavra está fazendo em uma frase específica?

Aqui está uma divisão de sua jornada usando analogias simples:

1. O Problema: O Paradoxo da "Pizza"

Pense na palavra "pizza".

O que ela é (Tipo Lexical): É comida. Pertence à seção "Comida" da biblioteca.
O que ela está fazendo (Tipo Contextual):
- Na frase "Estou comendo uma pizza deliciosa", a pizza está agindo como comida. Isso é uma Correspondência.
- Na frase "Terminei a pizza", a palavra "terminei" geralmente espera uma atividade (como uma corrida ou um filme), não uma fatia de queijo. Aqui, a pizza está sendo forçada a agir como uma atividade. Isso é chamado de Coerção. É como pedir a um peixe para subir em uma árvore; o peixe ainda é um peixe, mas o contexto está tratando-o como um alpinista.

Os pesquisadores queriam ver se a "biblioteca" do computador conseguia distinguir entre uma frase de pizza normal e uma frase de pizza "coercida" apenas olhando para quais outros livros estavam sentados na mesma prateleira.

2. O Experimento: Construindo Dois Mapas

Para testar isso, eles selecionaram 10 categorias diferentes de palavras (como animal, comida, humano, localização) e encontraram 20 frases para cada uma. Em seguida, construíram dois "mapas" (grafos) diferentes dessas frases:

Mapa A (O Mapa Padrão): Construído usando um modelo de IA padrão chamado BERT. Este modelo é como um bibliotecário geral que sabe muito sobre palavras, mas pode se distrair com a frequência com que as palavras aparecem juntas (por exemplo, "estudante" e "escola" aparecem juntos muito, mesmo que não sejam do mesmo tipo de coisa).
Mapa B (O Mapa Aprimorado): Construído usando um modelo Aprimorado por Sentido. Este é como um bibliotecário que tem um dicionário especial (WordNet) que explicitamente lhes diz o "cargo" ou a "categoria" de cada palavra.

Eles também criaram um truque: cobriram a palavra principal na frase com uma "máscara" (como um espaço em branco) para ver se o mapa conseguia descobrir o papel da palavra apenas a partir do contexto circundante, ignorando o que a palavra realmente é.

3. As Ferramentas: Medindo o Bairro

Uma vez que os mapas foram construídos, eles usaram duas réguas para medir as prateleiras:

Régua 1: A "Correspondência de Vizinhos" (NTP): Se você escolher uma palavra, quantos de seus vizinhos na prateleira são da mesma categoria?
- Exemplo: Se você escolher "cachorro", a maioria de seus vizinhos também diz "gato" ou "cavalo" (Animal)? Ou eles dizem "coleira" ou "parque" (Localização)?
Régua 2: O "Medidor de Caos" (NTE): Quão bagunçada está a prateleira?
- Baixo Caos: A prateleira está cheia apenas de "Animais".
- Alto Caos: A prateleira tem "Animais", "Carros", "Nuvens" e "Sapatos" todos misturados juntos.

4. O Que Eles Encontraram

Os resultados foram como descobrir que um bibliotecário era muito melhor em organizar a biblioteca do que o outro.

O Mapa Aprimorado (Aprimorado por Sentido) foi o melhor organizador.
Quando olharam para as frases de "Correspondência" (onde a palavra se encaixa perfeitamente), o Mapa Aprimorado colocou palavras do mesmo tipo uma ao lado da outra. Por exemplo, "estudantes" estavam cercados por outros "humanos", não por "salas de aula". O mapa padrão (BERT) ficou confuso com a frequência com que as palavras apareciam juntas, misturando os tipos.
O Mistério da "Coerção":
Quando olharam para as frases de "Coerção" (onde a palavra é forçada a um novo papel, como o "estádio" rugindo como um "humano"):
- No Mapa Aprimorado, a palavra "estádio" ainda sentava-se principalmente com outras "localizações". Ela não pulou magicamente para a prateleira de "humanos". Isso sugere que o computador ainda sabe o que a palavra é, mesmo quando a frase a trata de forma diferente.
- No entanto, quando usaram a versão Mascarada (escondendo a palavra), o mapa começou a mostrar o papel contextual. Os vizinhos tornaram-se mais diversos, mostrando que o sistema conseguia sentir a "atividade" que o contexto exigia, mesmo que não fosse perfeito.
As Frases "Ilimitadas":
Para frases onde o contexto não se importava com o que a palavra era (por exemplo, "Você precisa de um [linguista]" poderia ser substituído por quase qualquer coisa), o "Medidor de Caos" (NTE) subiu muito. As prateleiras eram uma bagunça de tipos diferentes, o que é exatamente o que se esperaria se o contexto não restringisse a palavra.

5. A Conclusão

O artigo conclui que:

Bibliotecários Especializados Vencem: O modelo "Aprimorado por Sentido" organiza as palavras por seu tipo semântico real muito melhor do que o modelo padrão.
O Contexto Deixa um Rastro: Mesmo quando uma palavra é "coercida" para um novo papel, o gráfico mostra uma mistura. A palavra mantém sua identidade original (ela permanece na prateleira de "Localização"), mas o contexto adiciona uma camada de diversidade aos seus vizinhos.
Detectando o Estranho: Medindo o quão "misturados" estão os vizinhos (Entropia), você pode dizer se uma frase é uma correspondência normal, uma coerção estranha ou uma frase vaga.

Em resumo, os pesquisadores construíram um mapa de relações de palavras e provaram que, com as ferramentas certas, podemos ver exatamente como os computadores entendem a diferença entre o que uma palavra é e o que uma frase quer que ela seja.

Resumo Técnico: Uma Análise Baseada em Grafos de Tipos Semânticos e Coerção em Incorporações de Palavras Contextualizadas

Declaração do Problema
A incompatibilidade de tipo semântico entre um substantivo e seu contexto é central ao fenômeno linguístico da coerção, onde o tipo semântico lexical de um substantivo entra em conflito com o tipo exigido pelo contexto circundante (por exemplo, "terminar a pizza", onde pizza é um alimento, mas terminar seleciona tipicamente uma atividade). Embora quadros teóricos como o Léxico Generativo e a Lógica Composicional de Tipos tenham proposto mecanismos para resolver essas incompatibilidades, o trabalho computacional que operacionaliza diretamente essas teorias permanece escasso. Estudos existentes sobre modelos de linguagem pré-treinados (PLMs) focam majoritariamente em tarefas de previsão de palavras para detectar eventos velados na coerção, frequentemente produzindo resultados inconsistentes. Este artigo investiga uma questão diferente: Como a informação relativa aos tipos semânticos é refletida nas incorporações de palavras contextualizadas de instâncias de substantivos, distinguindo especificamente entre predicção típica (correspondência) e coerção (incompatibilidade)?

Metodologia
Os autores propõem uma análise baseada em grafos das incorporações de palavras contextualizadas para examinar a distribuição de tipos semânticos na vizinhança de instâncias de substantivos.

Construção do Conjunto de Dados:
- Tipos Semânticos: Dez tipos semânticos foram selecionados: animal, artefato, atividade, alimento, humano, informação, localização, humor, processo, estado. Estes formam uma hierarquia conceitual compatível com os supersenses do WordNet.
- Instâncias: 20 frases por substantivo foram extraídas do BookCorpus para 5–10 substantivos frequentes por tipo.
- Anotação: As frases foram anotadas quanto ao Tipo Lexical (lt) (o tipo inerente do substantivo) e ao Tipo Contextual (ct) (o tipo exigido pelo contexto, inferido ao mascarar o substantivo).
- Categorias: As frases foram classificadas em quatro tipos:
  - CORRESPONDÊNCIA: $lt = ct$ (por exemplo, "comer uma pizza").
  - COERÇÃO: $lt \neq ct$ devido à seleção do predicado (por exemplo, "o estádio estava rugindo").
  - OUTRA_INCOMPATIBILIDADE: $lt \neq ct$ devido a metáfora ou metonímia.
  - RESTRITO: $ct = \emptyset$ (o contexto não impõe um tipo específico).
Incorporações e Construção de Grafos:
- Modelos: Dois modelos foram utilizados: BERT padrão (base, sem maiúsculas/minúsculas) e BERT aprimorado por sentido (ajustado finamente no SemCor com rótulos de supersense do WordNet).
- Mascaramento: Para isolar a informação contextual da informação lexical, as palavras-alvo foram substituídas por tokens [MASK].
- Grafos: Quatro grafos direcionados foram construídos ( $G_b, G_s, G_{mb}, G_{ms}$ ) com base na similaridade cosseno entre as incorporações (últimas 4 camadas em média). As arestas conectam os $k=10$ vizinhos mais próximos de palavras-alvo diferentes para evitar sobreposição lexical.
Métricas Propostas:
- Probabilidade de Tipo de Vizinho (NTP): Mede a proporção de vizinhos de um nó pertencentes a um tipo semântico específico.
  - NTMRL (Lexical): $NTP(lt, v)$
  - NTMRC (Contextual): $NTP(ct, v)$
- Entropia de Tipo de Vizinho (NTE): Mede a diversidade de tipos semânticos entre os vizinhos. Baixa entropia indica que os vizinhos compartilham o mesmo tipo; alta entropia indica tipos diversos.

Principais Resultados

Qualidade da Incorporação: Grafos construídos com incorporações aprimoradas por sentido ( $G_s, G_{ms}$ ) refletem a informação de tipo semântico significativamente melhor do que os grafos do BERT padrão. Por exemplo, em frases de CORRESPONDÊNCIA, a média do NTMRL para os tipos artefato e humano aumentou substancialmente em $G_s$ comparado a $G_b$ .
Reflexão Lexical vs. Contextual:
- Grafos não mascarados ( $G_b, G_s$ ) refletem principalmente tipos lexicais. Em frases de COERÇÃO, os vizinhos ainda compartilham predominantemente o tipo lexical do substantivo em vez do tipo contextual, sugerindo que as incorporações mantêm o tipo inerente do substantivo mesmo em contextos de incompatibilidade.
- Grafos mascarados ( $G_{mb}, G_{ms}$ ) mostram maior sensibilidade aos tipos contextuais, embora o sinal permaneça parcial (NTMRC < 0,5).
Distinção de Tipos de Frases via Entropia (NTE):
- Frases de CORRESPONDÊNCIA exibem baixa NTE (vizinhos compartilham o mesmo tipo).
- Frases RESTRITAS exibem a NTE mais alta (vizinhos são altamente diversos).
- Frases de COERÇÃO mostram comportamento intermediário. Em grafos mascarados ( $G_{mb}, G_{ms}$ ), frases de COERÇÃO têm NTE significativamente menor do que frases RESTRITAS, mas maior do que frases de CORRESPONDÊNCIA. Isso sugere que, embora instâncias de coerção não mudem completamente para o tipo contextual, elas exibem mais diversidade de tipos do que instâncias de correspondência padrão.
Hierarquia de Tipos: A análise de NTP em $G_s$ revelou proximidades taxonômicas (por exemplo, processo, estado e humor formando um cluster; informação próxima a humor), permitindo a indução de uma nova hierarquia de tipos semânticos.

Significado e Alegações
O artigo alega ser o primeiro estudo a focar em relações de tipos semânticos e coerção no nível de representação das incorporações contextualizadas, em vez de depender exclusivamente de tarefas de previsão de palavras.

Contribuição Metodológica: As métricas baseadas em grafos propostas (NTP e NTE) distinguem efetivamente entre frases de correspondência, coerção e restritas.
Insight Teórico: Os resultados sugerem que, na coerção, o tipo lexical não é completamente sobrescrito pelo contexto; em vez disso, a estrutura do grafo reflete um equilíbrio onde o tipo lexical permanece dominante em incorporações não mascaradas, enquanto incorporações mascaradas capturam parcialmente a mudança contextual.
Potencial Futuro: Os autores sugerem modestamente que, com conjuntos de dados maiores, seu método poderia induzir automaticamente hierarquias de tipos semânticos e detectar consistentemente frases de incompatibilidade. Eles também notam o potencial para explorar ainda mais a distinção entre coerção e outros mecanismos de incompatibilidade (metáfora/metonímia) dado dados suficientes.

O estudo conclui que incorporações aprimoradas por sentido fornecem uma representação mais rica de tipos semânticos, e a análise baseada em grafos proposta oferece uma ferramenta viável para investigar como a informação lexical e contextual interagem dentro de PLMs.