Resumo Técnico: Quão Surpreendente é o Italiano Histórico para Modelos de Linguagem?

Declaração do Problema

Modelos de linguagem de grande escala (LLMs) estão cada vez mais integrados em fluxos de trabalho de bibliotecas digitais para tarefas como pós-correção de OCR, indexação e recuperação. No entanto, a capacidade desses modelos de processar linguagens históricas permanece pouco compreendida. As avaliações atuais frequentemente tratam a "dificuldade histórica" como uma barreira monolítica, confluindo três fatores distintos: variação ortográfica, distância linguística e exposição ao pré-treinamento. Essa confluência obscurece se os modelos enfrentam dificuldades devido a ineficiências mecânicas de codificação (tokenização) ou déficits genuínos de compreensão (incerteza preditiva). Além disso, a dependência de textos históricos canônicos (ex: I Promessi Sposi, de Manzoni) como parâmetros de referência pode gerar resultados excessivamente otimistas devido à alta exposição nos corpora de treinamento, falhando em representar os desafios impostos por materiais arquivísticos não canônicos e pré-padronizados.

Metodologia

Os autores propõem um framework de diagnóstico que decompõe a dificuldade histórica em quatro dimensões distintas:

1. Custo de Tokenização: Medir a "inflação de tokens" (o aumento relativo na contagem de tokens em comparação com uma base modernizada) para quantificar a ineficiência de codificação.
2. Incerteza Preditiva (Surprisal): Medir a perplexidade ($PPL$) para avaliar a incerteza do modelo na predição do próximo token, servindo como um proxy para a dificuldade de compreensão.
3. Robustez Semântica: Calcular a similaridade de cosseno entre embeddings de pares de sentenças históricas e modernas para determinar se formas superficiais arcaicas mapeiam para espaços semânticos estáveis.
4. Sensibilidade ao Contexto: Avaliar o impacto de prompts de contexto temporal mínimo (ex: "texto italiano de 1687") na redução da perplexidade.

Datasets:
O estudo avalia três datasets abrangendo três séculos para isolar fontes específicas de dificuldade:

• Italiano do Século XVII (1610–1689): Um corpus recém-curado de cinco textos não canônicos (tratados religiosos, prosa acadêmica, etc.) digitalizados a partir de imagens de páginas originais. Este dataset apresenta ortografia arcaica (ex: o s longo ſ), sintaxe influenciada pelo latim e baixa probabilidade de exposição de verbatismo no pré-treinamento.
• Italiano do Século XIX (I Promessi Sposi, edição Quarantana): Uma condição de controle de alta exposição. Como um texto canônico, serve como uma linha de base de "melhor caso" para ilustrar o comportamento do modelo quando a ortografia é padronizada e a familiaridade lexical é alta.
• Livros de Impressão Civil Russa do Século XVIII: Um teste de estresse contrastivo apresentando divergência ortográfica extrema (caracteres obsoletos como yat, fita), mas com distância lexical e sintática comparativamente limitada em relação ao russo moderno.

Modelos:

• Tokenização: Tokenizadores o200k_base (família GPT-4o/5) e Qwen 2.5.
• Perplexidade: Qwen 2.5-1.5B (checkpoint base) para garantir distribuições de probabilidade puras.
• Embeddings: OpenAI text-embedding-3-large, Google LaBSE e estados ocultos do Qwen 2.5-1.5B.

Resultados Principais

1. Dissociação entre Custo de Codificação e Compreensão

O estudo revela um desacoplamento distinto entre a eficiência de tokenização e a dificuldade preditiva.

• Imposto de Tokenização: Tanto o russo do século XVIII quanto o italiano do século XVII incorrem em penalidades de tokenização comparáveis (inflação de aproximadamente 25–30%). No russo, isso é impulsionado pelo fallback de nível de byte para caracteres obsoletos; no italiano, é impulsionado principalmente pelo s longo (ſ), que causa fragmentação de subpalavras apesar de estar presente no vocabulário.
• Dificuldade Preditiva: Apesar dos custos de codificação semelhantes, as razões de perplexidade divergem drasticamente.
  • Russo: Mostra apenas um aumento modesto na perplexidade (1.25× a base moderna), indicando que a interrupção ortográfica sozinha não confunde significativamente as capacidades preditivas do modelo.
  • Italiano do Século XVII: É, em média, 2.4× mais surpreendente que seu equivalente moderno, com a prosa acadêmica atingindo 3.2×.
• Conclusão: O custo de tokenização é um pobre proxy para a complexidade histórica. Alta inflação de tokens não implica necessariamente alta dificuldade de compreensão, e vice-versa.

2. Gênero e Registro Superam a Cronologia

A dificuldade histórica não é uma função linear do tempo.

• Dentro do corpus do século XVII, o texto mais difícil (Prefácio Acadêmico, 1687) e o mais fácil (Retratos Descritivos, 1689) foram publicados com apenas dois anos de diferença.
• O texto acadêmico exibiu uma razão de perplexidade de 3.22×, enquanto o texto descritivo foi de 1.81×.
• Achado: O registro (ex: fragmentação estrutural na prosa acadêmica vs. redundância rítmica na narrativa teológica) é um determinante mais forte do desempenho do modelo do que a idade cronológica. Textos canônicos do século XIX comportam-se como bases de alta exposição, mascarando os desafios estruturais de materiais não canônicos.

3. Robustez Semântica apesar da Instabilidade Generativa

Alta perplexidade não implica degradação representacional.

• A similaridade de embedding entre sentenças históricas e modernas permanece robusta em todos os datasets (Similaridade de Cosseno $\ge$ 0.85).
• O modelo Qwen 2.5 alcançou uma similaridade de 0.938 para o italiano do século XVII, apesar da alta perplexidade observada em tarefas de geração.
• Implicação: Os modelos podem mapear com sucesso formas superficiais arcaicas para o espaço semântico correto, mesmo quando carecem da confiança probabilística para gerá-las token por token.

4. Mitigação via Contexto Temporal

Uma intervenção mínima e agnóstica ao modelo reduz significativamente a dificuldade.

• Preceder um prompt de contexto temporal curto (ex: "texto italiano de 1687") reduziu o surprisal histórico em aproximadamente 60% para o italiano do século XVII.
• O efeito foi menos pronunciado para o russo (redução de 17%), sugerindo que o priming de contexto é mais crítico para textos com alta divergência distributiva (deriva lexical/sintática) do que para aqueles com ruído primordialmente ortográfico.

Significância e Alegações

O artigo argumenta que a "dificuldade histórica" não é um problema único e insolúvel, mas um composto de fatores interagentes que devem ser avaliados separadamente:

1. Métricas de Desacoplamento: O estudo demonstra que a eficiência de tokenização (um imposto mecânico) não é correlacionada com a robustez semântica. Bibliotecas digitais podem implantar LLMs com segurança para tarefas de recuperação semântica (busca, agrupamento, classificação), mesmo quando lidam com textos que incorrem em altos custos de tokenização e alta perplexidade, pois os modelos mantêm representações internas estáveis.
2. Validade de Benchmarks: A dependência de textos canônicos de alta exposição (como Manzoni) leva a uma subestimação sistemática dos desafios impostos pela "cauda longa" dos materiais de arquivo. As avaliações devem incluir textos não canônicos e pré-padronizados para avaliar com precisão a adequação do modelo.
3. Implantação Estratégica:
   • Recuperação: Pode ser implantada com normalização mínima, já que o alinhamento semântico permanece alto.
   • Geração: Tarefas como correção de OCR ou sumarização permanecem sensíveis ao alto surprisal e requerem estratégias de mitigação específicas.
4. Mitigação de Baixo Custo: Os autores demonstram que o prompting temporal simples é uma estratégia altamente eficaz e de baixo custo para reduzir a lacuna entre as expectativas do modelo e os registros históricos, reduzindo o erro preditivo pela metade sem a necessidade de fine-tuning ou normalização agressiva de texto.

Em conclusão, o artigo defende uma mudança nos frameworks de avaliação: ir além de métricas superficiais como contagens de tokens para distinguir entre o custo mecânico de codificação, a incerteza de predição e a estabilidade da representação semântica. Isso permite que as bibliotecas digitais utilizem LLMs efetivamente como "leitores capazes" da história, mesmo que ainda não sejam "falantes perfeitos" dela.