Resumo Técnico: Pré-treinamento de Modelos de Linguagem em Textos Históricos

Declaração do Problema

Os modelos de fundação modernos, embora impressionantes em tarefas gerais de linguagem natural, sofrem de vieses significativos quando aplicados a contextos históricos. Eles exibem um viés de antecipação (lookahead bias), onde modelos treinados em corpora modernos inadvertidamente "conhecem" os desfechos de eventos históricos, confundindo a memória retrospectiva com a verdadeira previsão. Além disso, suas distribuições linguísticas são enviesadas para padrões estilísticos e lexicais modernos, tornando-os ferramentas deficientes para o estudo de contextos históricos.

As abordagens existentes para mitigar isso enfrentam três desafios primários:

1. Escassez e Qualidade de Dados: Diferente dos corpora de escala web moderna (ex: Common Crawl), os dados históricos são limitados, frequentemente derivados de fontes transcritas por OCR que contêm ruído e metadados modernos.
2. Vazamento Temporal (Temporal Leakage): Mesmo com cortes de pré-treinamento, ocorre vazamento através de anotações modernas, artefatos de OCR e, crucialmente, durante a fase de pós-treinamento (ajuste de instrução), onde dados sintéticos gerados por LLMs modernos reintroduzem informações anacrônicas.
3. Desalinhamento de Avaliação: Benchmarks padrão frequentemente falham em distinguir entre a incapacidade de raciocínio de um modelo e seu desconhecimento de linguagens ou contextos modernos, além de falharem em testar rigorosamente a consistência temporal.

Metodologia

Os autores introduzem o TYPEWRITERLM, um Transformer de decodificador único de 7,24B de parâmetros (baseado na arquitetura Llama 3) treinado exclusivamente em textos em inglês anteriores a 1913. A metodologia é estruturada em torno de um pipeline de controle de vazamento:

1. Construção do Corpus: TYPEWRITERCORPUS

• Escala e Escopo: Um corpus de 54 bilhões de tokens cobrindo o período de 1700–1913.
• Fontes: Primariamente livros institucionais digitalizados (97,7% dos tokens) da Harvard e da British Library, suplementados por conjuntos de dados curados incluindo o discurso parlamentar (Hansard), artigos científicos (Royal Society), processos jurídicos (Old Bailey) e textos literários.
• Limpeza: Um pipeline rigoroso remove artefatos de OCR (ex: erros de hifenização, quebras de coluna), metadados modernos (carimbos de propriedade, URLs, entidades HTML) e anotações editoriais para minimizar a contaminação temporal.

2. Pré-treinamento

• Tokenizador: Um tokenizador BPE (Byte-Pair Encoding) customizado (vocabulário de 32k) treinado no corpus histórico para evitar a contaminação por vocabulário moderno.
• Arquitetura: 7,24B de parâmetros, atenção de consulta agrupada (grouped-query attention), RMSNorm, embeddings de posição rotativos e uma janela de contexto de 8.192 tokens.
• Treinamento: Treinado por 2,59 épocas em aproximadamente 140B de tokens usando AdamW com precisão mista bfloat16.

3. Ajuste de Instrução Histórica: Estrutura Lexicalmente Fundamentada

Para evitar a reintrodução de informações modernas durante o ajuste fino, os autores propõem o ajuste de instrução lexicalmente fundamentado.

• Restrição: Cada token na resposta de um modelo deve ser derivável do texto histórico de origem ou de uma pequena lista de permissão de palavras funcionais. Isso preserva a consistência temporal nos padrões lexicais, estilísticos e semânticos.
• Datasets:
  • HISTORY-LIMA: 1.000 exemplos de alta qualidade de turno único (mais 1.030 variantes de múltiplos turnos) onde as respostas são extratos literais ou lexicalmente restritos de textos anteriores a 1913.
  • HISTORY-SELFINSTRUCT: Um dataset escalonado de aproximadamente 288k pares gerados invertendo o pipeline padrão: o modelo base gera instruções condicionadas a respostas históricas de base lexical fixa.
• Verificação: Um verificador rigoroso de pós-geração descarta qualquer resposta que contenha tokens não conformes, utilizando normalização morfológica e correção de OCR apenas se a forma recuperada permanecer derivável da fonte.

4. Avaliação: HISTORY-EVENT

Os autores introduzem o HISTORY-EVENT, um benchmark de 2.344 eventos históricos (1700–2025) para avaliar o embasamento temporal e o vazamento.

• Surpresa (Surprisingness): Mede a perplexidade do modelo (Bits-per-Byte) ao ser apresentado com descrições de eventos e datas. Um modelo histórico bem-sucedido deve mostrar alta "surpresa" (alta perplexidade) para eventos pós-corte.
• Recall e Vazamento: Testa se os modelos conseguem recordar eventos pré-corte (corretude) ou se conhecem inadvertidamente eventos pós-corte (vazamento).

Principais Resultados

Capacidade Geral

• Desempenho Competitivo: O TYPEWRITERLM (7,24B) supera modelos históricos menores (ex: Mr. Chatterbox, TimeCapsuleLLM) em benchmarks padrão como ARC-Challenge e HellaSwag.
• Seguimento de Instrução: Apesar das estritas restrições lexicais, as variantes ajustadas por instrução alcançam taxas de vitória competitivas contra o GPT-1900 em prompts filtrados do AlpacaEval e performam comparavelmente a outros modelos históricos no IFEval.
• Raciocínio: O modelo demonstra capacidades de raciocínio não triviais no ARC-Challenge, comparáveis ao GPT2-XL, apesar de seu rigoroso corte histórico.

Consistência Temporal e Vazamento

• Padrões de Surpresa: Ao contrário das bases modernas (Llama-3.1-8B) que mostram perplexidade constante ao longo do tempo, o TYPEWRITERLM exibe um aumento agudo na perplexidade para eventos pós-1913, indicando que o corte de conhecimento é refletido na distribuição aprendida.
• Detecção de Vazamento: Embora o modelo respeite amplamente seu corte, a avaliação revela um vazamento menor (0,0%–0,6% dos eventos pós-corte recordados) tanto no TYPEWRITERLM quanto em outros grandes modelos históricos, sugerindo que a eliminação completa do viés de antecipação permanece difícil.
• Sensibilidade do Benchmark: Experimentos reescrevendo benchmarks modernos (HellaSwag) para estilos de prosa dos anos 1800 mostram que o desempenho cai significativamente para modelos modernos quando o estilo da linguagem muda, enquanto modelos históricos são mais robustos a mudanças de estilo, mas sensíveis a incompatibilidades de tópico.

Significância e Contribuições

O artigo reivindica três contribuições primárias para o campo do PLN e das humanidades digitais:

1. Viabilidade de Pré-treinamento com Dados Restritos: Os autores demonstram que é possível treinar modelos de linguagem historicamente fundamentados e competitivos (escala 7B) usando dados históricos limitados e limpos, desafiando a noção de que corpora massivos e diversos da web são estritamente necessários para modelos capazes.
2. Mitigação de Vazamento de Ponta a Ponta: O trabalho introduz um pipeline abrangente que controla o vazamento em cada estágio: limpeza rigorosa para o pré-treinamento, ajuste de instrução lexicalmente fundamentado para evitar anacronismos no pós-treinamento, e um conjunto de avaliação dedicado (HISTORY-EVENT) para verificar a integridade temporal.
3. Recursos Abertos: Os autores disponibilizam o TYPEWRITERLM (tanto a base quanto a ajustada por instrução), o TYPEWRITERCORPUS e os datasets associados (HISTORY-LIMA, HISTORY-SELFINSTRUCT, HISTORY-EVENT) para apoiar a pesquisa transparente em modelagem de linguagem histórica.

O artigo posiciona esses modelos como ferramentas essenciais para estudar mudanças de distribuição temporal, a interação entre raciocínio e memorização, e mudança linguística diacrônica, ao mesmo tempo em que reconhece que trabalhos futuros são necessários para abordar a eficiência de dados e os riscos sociais de modelos que refletem visões de mundo históricas.