💬 NLP

Pretraining Language Models for Diachronic Linguistic Change Discovery

Este artigo apresenta um pipeline de pré-treinamento eficiente que segmenta dados temporais para criar modelos de linguagem especializados, demonstrando que essa abordagem é mais rápida e precisa do que o ajuste fino para descobrir mudanças linguísticas diacrônicas, como alterações lexicais, gramaticais e de sentido de palavras.

Autores originais: Elisabeth Fittschen, Sabrina Li, Tom Lippincott, Leshem Choshen, Craig Messner

Publicado 2026-03-31

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Elisabeth Fittschen, Sabrina Li, Tom Lippincott, Leshem Choshen, Craig Messner

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um historiador tentando entender como a linguagem mudou ao longo dos séculos. Você quer saber exatamente como as pessoas falavam em 1800, sem que a sua análise seja "contaminada" pelo que sabemos hoje em 2024.

O problema é que as Inteligências Artificiais (IA) modernas, chamadas de Grandes Modelos de Linguagem (LLMs), são como bibliotecas gigantes e bagunçadas. Elas leram tudo: desde contos de fadas do século 18 até tweets de ontem. Quando você pede para elas analisarem o passado, elas muitas vezes "vazam" informações do futuro. É como se um historiador do século 19, ao tentar descrever um cavalo, começasse a falar sobre carros, porque ele leu um livro moderno.

Este paper propõe uma solução criativa e eficiente: em vez de tentar "limpar" a biblioteca gigante, construímos bibliotecas pequenas e específicas para cada época.

Aqui está a explicação do que os autores fizeram, usando analogias do dia a dia:

1. O Problema: A "Biblioteca Universal" vs. O "Diário de Bordo"

Os modelos de IA comuns (como o ChatGPT) são treinados com tudo o que existe. Eles são ótimos em falar fluentemente, mas péssimos em respeitar barreiras de tempo. Se você perguntar a eles como era a palavra "carro" em 1800, eles podem dar uma resposta baseada em 2024, porque sabem o que é um carro hoje.

Os autores dizem: "Não vamos tentar consertar a biblioteca gigante. Vamos criar 5 bibliotecas pequenas, cada uma contendo apenas livros de um período específico (1750-1820, 1820-1850, etc.)."

2. A Solução: O "Treinamento do Zero" (Scratch)

Em vez de pegar um modelo gigante e tentar "ajustá-lo" (o que é como tentar ensinar um adulto a esquecer o que ele sabe), eles treinaram modelos do zero (do "scratch") usando apenas dados de um período de 70 anos.

A Analogia da Escola: Imagine que você quer estudar a história da música.
- Abordagem Antiga (Fine-tuning): Você pega um professor universitário que sabe tudo sobre música (do rock ao jazz moderno) e tenta ensiná-lo a esquecer o que ele sabe para focar apenas no Barroco. É difícil e ele ainda vai puxar exemplos modernos sem querer.
- Abordagem Nova (Scratch): Você cria 5 turmas de escola. A Turma 1 só lê partituras de 1750 a 1820. A Turma 2 só lê de 1820 a 1850. Cada turma desenvolve um "sotaque" e um conhecimento puramente daquela época.

3. A Descoberta: Menos Fluência, Mais Precisão Histórica

Os modelos treinados do zero (as "turmas pequenas") não são tão fluentes quanto os modelos gigantes. Eles podem cometer mais erros gramaticais ou parecer um pouco "toscos".

A Analogia do Sotaque: Um modelo gigante tem um sotaque "neutro" e perfeito, mas mistura sotaques de todo o mundo. Um modelo pequeno tem um sotaque regional muito forte. Se você quer entender como as pessoas falavam em 1800, você prefere o sotaque regional forte, mesmo que a pessoa gagueje um pouco, do que o sotaque perfeito que mistura palavras modernas.

Os autores provaram que esses modelos "toscos" são muito melhores para detectar mudanças reais na linguagem, porque eles não "sabem" o que ainda não existia.

4. A Ferramenta Mágica: O "Detetive de Palavras"

Para testar isso, eles criaram um jogo de "preencher lacunas" (como o jogo Stop ou Adivinhe a palavra).

Exemplo: Eles mostraram uma frase de 1800 e pediram para a IA completar a palavra.
O Teste: Se a IA de 1800 completasse a frase com uma palavra que só surgiu em 1950 (como "carro" no sentido de automóvel), ela teria "vazado" informação do futuro.
O Resultado: Os modelos treinados do zero não vazaram. Eles ficaram confusos com palavras modernas, o que é exatamente o que um historiador quer! Eles respeitaram a linha do tempo.

5. O Grande Ganho: Descobrir Novas Histórias

A parte mais legal é que, ao ter esses modelos "puros" de cada época, os pesquisadores puderam descobrir coisas novas.

Eles viram como a palavra "estação" mudou de significado. Em 1800, significava um local de parada ou acampamento. Em 1850, com a chegada dos trens, o significado mudou drasticamente.
Eles analisaram a palavra "cólera". Descobriram que, antes de ser definida como uma doença bacteriana específica, o termo era usado para descrever várias doenças estomacais, inclusive em porcos. Os modelos conseguiram rastrear essa evolução conceitual passo a passo, algo que os modelos gigantes, com sua "memória" misturada, não conseguiam fazer com tanta clareza.

Resumo em uma frase

Em vez de tentar ensinar um gênio moderno a fingir que é do século 18 (o que sempre dá errado), os autores criaram "crianças" inteligentes que cresceram apenas lendo livros daquela época, permitindo que a gente veja a evolução da linguagem com uma clareza cristalina, sem interferências do futuro.

Por que isso importa?
Isso é uma revolução para humanidades. Permite que historiadores, linguistas e literatos usem IA para descobrir padrões históricos reais, sem o risco de a máquina "alucinar" com informações de 2024. É uma forma de usar a tecnologia de ponta para respeitar e entender o passado com mais honestidade.

1. O Problema

O artigo aborda uma contradição fundamental entre as metodologias das humanidades digitais (especificamente linguística histórica e estudos literários) e a tecnologia atual de Grandes Modelos de Linguagem (LLMs).

A Contradição: Disciplinas humanísticas frequentemente dependem de fronteiras temporais e genéricas rigorosas (ex: analisar mudanças linguísticas específicas de um período de 1750 a 1820). No entanto, os LLMs modernos são pré-treinados em corpora massivos e heterogêneos que misturam dados de séculos diferentes.
O Risco: Ao usar LLMs padrão (ou mesmo modelos fine-tuned neles), há um risco de "contaminação anacrônica". O modelo pode acessar conhecimento de períodos futuros (pós-1940) ao analisar textos do século XVIII, distorcendo a descoberta de mudanças linguísticas reais e violando a integridade epistemológica necessária para essas pesquisas.
A Limitação Atual: Técnicas existentes, como prompting ou fine-tuning de modelos grandes, não garantem que o modelo tenha "esquecido" informações futuras ou que sua representação interna respeite estritamente as divisões históricas.

2. Metodologia

Os autores propõem uma abordagem de pré-treinamento a partir do zero (scratch) em vez de fine-tuning de modelos existentes, utilizando técnicas de eficiência desenvolvidas pela comunidade BabyLM.

Dados e Divisão Temporal:
- Utilizaram o corpus do Project Gutenberg (1750–1940).
- Desenvolveram um pipeline para atribuir datas de publicação precisas aos documentos, combinando metadados do WikiData, catálogos do Project Gutenberg e inferência de LLMs.
- O corpus foi dividido em 5 fatias diacrônicas consecutivas: 1750-1820, 1820-1850, 1850-1880, 1880-1910 e 1910-1940.
- Cada fatia contém aproximadamente 10 milhões de tokens para treino.
Abordagens de Treinamento Comparadas:
1. Modelos Scratch: Treinados do zero usando a receita BabyLlama-2 (um modelo pequeno de ~345M parâmetros com estratégia de distillation). Cinco modelos foram treinados, um para cada fatia temporal.
2. Modelos Fine-tuned: Modelos baseados no Llama3-8B adaptados usando DoRA (Weight-Decomposed Low-Rank Adaptation) nas mesmas fatias de dados.
3. Controles: Modelos base não adaptados (unadapted) e uma versão pequena fine-tuned do BabyLlama-2 pré-treinado.
Avaliação:
- Fluência: Medida por Perplexity em dados do mesmo período.
- Especificidade Histórica: Medida por Cross-time Perplexity (perplexidade em dados de outros períodos) e um novo conjunto de avaliação Cloze baseado no Oxford English Dictionary (OED).
- Vazamento de Informação (Leakage): Uma métrica nova que calcula a capacidade de um modelo de um período $t$ prever sentidos de palavras que só surgiram após $t$ .

3. Contribuições Chave

Validação do Pré-treinamento Eficiente: Demonstram que pré-treinar modelos pequenos e eficientes em corpora restritos é superior ao fine-tuning de modelos grandes para tarefas que exigem isolamento temporal estrito.
Métrica de Vazamento Temporal: Introduzem a métrica de Leakage e Recall Normalized Leakage para quantificar matematicamente quanto conhecimento anacrônico um modelo possui.
Pipeline Reprodutível: Oferecem uma implementação completa que permite a descoberta de hipóteses sobre mudança lexical, mudança gramatical e introdução/obsolescência de sentidos de palavras.
Análise Diacrônica de "Sentido": Mostram como os modelos podem capturar a "solidificação conceitual" de termos (ex: a evolução da palavra "cholera" de uma doença genérica para uma específica) que modelos fine-tuned ignoram devido ao vazamento de dados futuros.

4. Resultados Principais

Eficiência Computacional: Os modelos scratch treinaram quase duas vezes mais rápido que os modelos fine-tuned com DoRA, mantendo desempenho adequado para muitas tarefas.
Especificidade vs. Fluência:
- Os modelos fine-tuned apresentaram maior fluência geral (menor perplexidade) mas falharam em respeitar as fronteiras históricas, exibindo alto leakage (conhecimento de períodos futuros).
- Os modelos scratch foram menos fluentes em geral, mas mostraram uma especificidade histórica superior. Eles apresentaram baixa perplexidade apenas no seu período de treino e aumentaram a perplexidade monotonicamente ao testar textos de períodos anteriores ou posteriores, indicando que não "vazaram" informações.
Desempenho em BLiMP: Embora os modelos scratch tenham pontuações ligeiramente menores no benchmark linguístico BLiMP comparado aos modelos grandes, eles alcançaram competência próxima ao BabyLlama-2 não adaptado, provando que são modelos linguísticos válidos.
Descoberta de Hipóteses:
- Exemplo "Station": O modelo scratch de 1820-1850 mostrou uma queda abrupta na perplexidade para o sentido de "estação de trem" nesse período, alinhando-se com a adoção histórica da tecnologia ferroviária, algo que modelos fine-tuned não conseguiram isolar tão claramente.
- Exemplo "Cholera": Os modelos scratch capturaram a transição semântica da palavra "cholera" (de doenças intestinais gerais para a doença específica causada pelo Vibrio cholerae), enquanto os modelos fine-tuned trataram o termo como estático ao longo de todo o período.

5. Significado e Conclusão

O artigo conclui que, para disciplinas que exigem demarcação epistemológica rigorosa (como a linguística histórica), a troca de alguma fluência geral por precisão histórica e isolamento de dados é um trade-off vantajoso.

A abordagem proposta permite que pesquisadores:

Evitem anacronismos na análise de textos históricos.
Descubram hipóteses sobre a evolução do significado das palavras de baixo para cima (bottom-up) baseadas na perplexidade dos modelos.
Caracterizem a evolução de conceitos de cima para baixo (top-down) usando tarefas cloze.

Este trabalho sugere que, em vez de tentar forçar modelos gerais a se comportarem como especialistas históricos, é mais eficaz e eficiente construir modelos especializados do zero para cada período de interesse, garantindo a pureza dos dados e a validade das descobertas sobre mudança linguística.