💬 NLP

Losing My Composure: Predicting Compositionality Over Time

Este artigo introduz um novo conjunto de dados e uma tarefa para prever as tendências diacrônicas da composicionalidade de substantivos compostos em alemão e inglês, revelando apenas uma ligeira diminuição na transparência ao longo do tempo e demonstrando que modelos semânticos treinados em fatias de dados estreitas e temporalmente específicas superam aqueles treinados em janelas históricas amplas na captura dessas mudanças graduais.

Autores originais: Chris Jenkins, Emma Raimundo Schulz, Filip Miletić, Sabine Schulte im Walde

Publicado 2026-07-14

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Chris Jenkins, Emma Raimundo Schulz, Filip Miletić, Sabine Schulte im Walde

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine a linguagem como uma cidade gigante e movimentada, onde as palavras são como edifícios. Alguns edifícios são cabanas simples feitas de um único tijolo; outros são arranha-céus complexos construídos unindo dois edifícios menores, como uma "casa de café" ou um "trem de carga". Por muito tempo, os linguistas tiveram um palpite sobre esses arranha-céus: eles pensavam que, à medida que a cidade envelhecesse, esses edifícios perderiam lentamente sua "planta baixa". Eles acreditavam que, ao longo de séculos, uma "casa de café" deixaria de parecer uma casa para café e passaria a se tornar uma unidade estranha e misteriosa que você apenas tem que memorizar, perdendo a conexão com as palavras "café" e "casa".

Este artigo é como uma equipe de detetives viajantes do tempo que decidiu testar esse palpite. Eles não apenas olharam para dois instantâneos da cidade (um do passado, um de hoje); em vez disso, construíram uma câmera de alta velocidade que tirou fotos a cada década, durante centenas de anos. Eles focaram em 23 palavras compostas alemãs e 26 inglesas, como "amigo do peito" ou "Kaffeehaus", e pediram a voluntários humanos que avaliassem, em uma escala de 0 a 5, o quanto o significado da palavra inteira ainda correspondia aos significados de suas partes em cada década específica.

A Grande Surpresa: A Planta Mantém-se no Lugar
Os detetives descobriram que o velho palpite estava, em sua maioria, errado. Eles não encontraram uma tendência massiva e generalizada pela cidade onde esses edifícios de palavras estariam desmoronando em mistério. Na verdade, as mudanças foram tão minúsculas que eram quase invisíveis. Se você medisse a "transparência" dessas palavras ao longo do tempo, a mudança média era um pulo negativo microscópico (cerca de -0,016 para o inglês e -0,001 para o alemão). É como verificar a altura de um arranha-céu a cada dez anos e descobrir que ele não cresceu nem encolheu nem mesmo um grão de areia. O artigo sugere que, ao contrário do que se acredita popularmente, essas palavras compostas geralmente mantêm seus "planos de construção" intactos; elas não se tornam necessariamente menos lógicas ou mais idiomáticas apenas porque o tempo passa.

As Câmeras Viajantes do Tempo
Para fazer essas medições, a equipe construiu cerca de 100 "câmeras" diferentes (modelos computacionais) para simular como uma palavra é compreendida em diferentes eras. Eles testaram dois tipos principais de câmeras:

As Câmeras "Conscientes do Contexto" (como o BERT moderno): Estas são lentes sofisticadas e de alta tecnologia que olham para as palavras ao redor de um alvo para entender seu significado, tal como você entende a palavra "banco" de forma diferente se ela estiver perto de "rio" ou de "dinheiro".
As Câmeras "Estáticas" (como o Word2Vec): Estas são lentes mais simples que dão a uma palavra uma única definição fixa baseada em sua história, como uma entrada de dicionário que nunca muda.

Eles também testaram quanto "dado histórico" alimentar essas câmeras. Alguns foram alimentados com um bloco massivo de 50 anos de história (uma janela "completa"), enquanto outros foram alimentados com apenas uma década por vez, ou uma janela deslizante que crescia uma década de cada vez.

Os Resultados: Menos é Mais
É aqui que a trama se intensifica. A equipe descobriu que as câmeras "chiques" e conscientes do contexto não necessariamente venceram a corrida. Na verdade, as câções mais simples e estáticas tiveram um desempenho tão bom quanto, ou até melhor, ao prever como a composição mudou ao longo do tempo.

Mais importante, o artigo argumenta que o tamanho da história que você alimenta a câmera importa muito. Quando treinaram os modelos em um bloco massivo de 50 anos de texto (o cronograma "completo"), os modelos ficaram confusos e perderam as mudanças sutis, década a década. No entanto, quando os treinaram em fatias estreitas de uma única década (o cronograma de "décadas"), os modelos alinharam-se muito melhor com as avaliações humanas. É como se tentar entender o humor de uma cidade lendo um arquivo de jornais de 50 anos fosse menos eficaz do que ler o jornal diário exatamente do dia em que você está interessado. O artigo sugere que, para rastrear essas mudanças pequenas e graduais, você precisa dar zoom na década específica, não misturá-la com o passado.

O Veredito
Então, qual é a palavra final? O artigo não afirma ter resolvido o mistério da linguagem para sempre. Em vez disso, sugere que a ideia de que os compostos inevitavelmente se tornam "menos composicionais" ao longo do tempo é provavelmente um exagero. As mudanças existem, mas são pequenas e desordenadas, não uma linha reta para baixo.

O estudo também nos alerta que, embora modelos de IA sofisticados sejam legais, eles nem sempre são a melhor ferramenta para o trabalho de detetive histórico. Às vezes, um modelo mais simples treinado em uma fatia de tempo muito específica (apenas uma década) é mais preciso do que um modelo supercomplexo treinado com dados de meio século. Os autores mediram esses resultados usando pontuações estatísticas (como valores de R² em torno de 0,36 para os melhores modelos de inglês), o que mostra uma correspondência decente, mas não perfeita, entre as suposições do computador e as avaliações humanas.

No fim, o artigo é um lembrete de que a linguagem é uma jornada, mas para esses edifícios de palavras específicos, a jornada não foi um colapso dramático em direção à confusão. Eles permaneceram, em sua maioria, fiéis aos seus projetos originais, década após década, provando que, às vezes, a maneira mais simples de olhar para o passado é olhar para ele um ano de cada vez.

Resumo Técnico: Perdendo minha Composticionalidade: Prevendo a Composticionalidade ao Longo do Tempo

Declaração do Problema

Este estudo investiga a mudança semântica de compostos nominais em alemão e inglês, focando especificamente na evolução do seu grau de composticionalidade (a transparência da relação entre o significado de um composto e os seus constituintes) ao longo do tempo. Os autores desafiam a hipótese predominante na literatura de mudança semântica lexical de que os compostos nominais tendem a tornar-se menos composticionais (mais idiomáticos) com o tempo, evoluindo de combinações transparentes para unidades opacas.

O trabalho existente em Detecção de Mudança Semântica Lexical (LSCD) baseia-se amplamente em um paradigma de "dois períodos" (comparando dois períodos de tempo distintos), o que pode obscurecer mudanças graduais. Além disso, estudos diacrônicos anteriores sobre composticionalidade foram limitados pela falta de dados de verdade fundamental (ground-truth) abrangendo múltiplos passos temporais. O artigo postula que mudanças semânticas interessantes não ocorrem necessariamente em uma única linha divisória temporal, mas desenrolam-se gradualmente. Consequentemente, os autores introduzem a tarefa de Predição de Tendência de Composticionalidade (CTP), que visa modelar e prever classificações de composticionalidade através de fatias temporais finas (décadas), em vez de agregar dados sobre grandes períodos indiferenciados.

Metodologia

Dados e Anotação

O estudo utiliza dois corpora diacrônicos:

Alemão: O Deutsches Textarchiv (DTA), cobrindo 1680–1920.
Inglês: O Corpus of Historical American English (COHA), cobrindo 1810–2000.

Os autores selecionaram 23 compostos nominais em alemão e 26 em inglês com base na estabilidade de frequência e na presença de "pontos de inflexão" (décadas onde a frequência relativa muda significamente). Para cada alvo, eles amostraram exemplos em contexto de até cinco décadas ao redor desses pontos de inflexão.

Anotação: Anotadores humanos classificaram a composticionalidade de cada instância de composto em uma escala de 0–5 para cada constituinte (modificador e núcleo).
Controle de Qualidade: A concordância entre anotadores foi medida usando o alfa de Krippendorff, com filtragem post-hoc para remover anotadores de baixa concordância. O conjunto de dados resultante fornece classificações por década e permite o cálculo de tendências de composticionalidade ( $\Delta$ ).

Configuração Experimental

Os autores treinaram aproximadamente 100 modelos para cada tipo de representação, cobrindo diferentes fatias de 1 a 5 décadas dos corpora. Eles avaliaram três variáveis experimentais principais:

Tipo de Representação:
- Contextual: BERT moderno (treinado do zero em dados históricos) e 2nd-order Random Indexing.
- Estática: Word2Vec (CBOW e Skip-gram) e listas de associação de Informação Mútua Pontual (PMI).
Cronograma de Janela Temporal:
- Total (Full): Um único modelo treinado em uma janela de 5 décadas.
- Décadas (Decades): Modelos separados treinados em décadas únicas.
- Deslizante-Total (Sliding-Full): Janelas incrementalmente expandidas (ex: [1940], [1940–1950], [1940–1960]).
Medidas de Similaridade:
- PRT (Protótipo): Distância de cosseno entre vetores médios.
- APD (Diferença Média de Pares): Distância de cosseno média entre todos os pares.
- JSD (Divergência de Jensen-Shannon): Aplicada a representações agrupadas (apenas para modelos contextuais).

Métricas de Avaliação

Os modelos foram avaliados contra as anotações humanas usando duas métricas primárias:

Alinhamento ( $R^2$ ): Regressão linear entre as pontuações de composticionalidade por década previstas e as classificações anotadas.
Predição de Tendência (Rho de Spearman): Correlação entre o ranking de compostos pelo grau de mudança previsto pelo modelo e o ranking anotado de mudança ( $\Delta$ ).

Principais Resultados

Observações Empíricas sobre Tendências de Composticionalidade (RQ1)

Ao contrário da hipótese de que os compostos geralmente tornam-se menos composticionais ao longo do tempo, os dados anotados revelam nenhuma tendência generalizada decisiva.

Alemão: O $\Delta$ médio foi $-0,0012$.
Inglês: O $\Delta$ médio foi $-0,0161$.
As mudanças observadas foram extremamente pequenas, muitas vezes menores que a variância entre décadas consecutivas. Embora compostos específicos (como Donnerwetter em alemão) tenham mostrado mudanças em direção à não-composticionalidade, os dados agregados não sustentam uma regra universal de deriva semântica para a opacidade.

Desempenho Computacional (RQ2)

Os experimentos abordaram se modelos contextuais com dados temporais finos superam modelos estáticos com dados de granularidade grosseira.

Granularidade Temporal: Modelos treinados em janelas temporais mais estreitas (especificamente os cronogramas de décadas e deslizante-total) superaram consistentemente aqueles treinados na janela de 5 décadas total. Isso sugere que agregar dados ao longo de longos períodos dilui os sinais semânticos específicos necessários para uma previsão precisa da composticionalidade.
Complexidade de Representação: Representações estáticas (Word2Vec, PMI) foram competitivas e, em alguns casos, superaram as representações contextuais complexas (BERT moderno).
- Em inglês, o Modern BERT com cronogramas de décadas alcançou os maiores escores de $R^2$ (0,363).
- Em alemão, o 2nd-order Random Indexing e o Skip-gram tiveram o melhor desempenho.
- O ganho de desempenho do BERT não justificou o custo computacional de treiná-lo do zero em dados históricos.
Medidas de Similaridade: Medidas de agregação (PRT e APD) geralmente superaram as medidas baseadas em agrupamento (JSD). A abordagem de agrupamento, particularmente com embeddings de BERT, produziu os piores resultados.

Contribuições

Conjunto de Dados e Tarefa: A introdução de um novo conjunto de dados de classificação de composticionalidade em contexto através de múltiplas décadas para alemão e inglês, permitindo a tarefa de Predição de Tendência de Composticionalidade (CTP).
Achados Empíricos: Uma refutação da hipótese de "deriva universal para a não-composticionalidade" baseada em anotação diacrônica, mostrando que as tendências são negligenciáveis e altamente específicas de cada composto.
Insights de Modelagem: Evidência de que, para tarefas semânticas sensíveis ao tempo, janelas de treinamento temporais finas são mais críticas do que a complexidade do modelo. O estudo demonstra que representações estáticas mais simples treinadas em fatias temporais estreitas podem ser tão eficazes quanto, ou melhores que, modelos contextuais complexos treinados em dados agregados.

Significância e Alegações

O artigo afirma que a tarefa CTP codifica com sucesso dependências temporais, provando que avaliar termos alvo dentro de suas próprias janelas temporais específicas ("em sua própria jornada através das eras") produz um melhor alinhamento com as mudanças semânticas históricas do que a modelagem ampla e agregada.

Os autores concluem modestamente que, embora seus métodos possam detectar mudanças semânticas em compostos específicos, a tarefa é inerentemente difícil devido à instabilidade dos significados dos constituintes ao longo do tempo. Eles alertam contra a interpretação excessiva de listas de associação sem leitura atenta, observando que vieses modernos podem influenciar a interpretação de dados históricos. Em última análise, o estudo sugere que, para modelar mudanças semânticas em cenários de poucos dados e históricos, representações mais simples com alta resolução temporal são preferíveis a modelos complexos e agregados.