Approaches to Analysing Historical Newspapers Using LLMs

Resumo Técnico: Abordagens para Análise de Jornais Históricos usando LLMs

1. Problema e Contexto

O estudo aborda o desafio de analisar grandes corpora de jornais históricos em língua eslovena, especificamente os periódicos Slovenec (orientação conservadora-católica) e Slovenski narod (orientação liberal-progressista), publicados entre o final do século XIX e o início do século XX.

• Desafios Principais:
  • Qualidade dos Dados: O texto foi extraído via OCR (Reconhecimento Óptico de Caracteres), resultando em ruído e degradação textual.
  • Complexidade Semântica: A necessidade de analisar "identidades coletivas" (grupos étnicos, nacionais, regionais) e seus sentimentos associados (positivo, negativo, neutro) em contextos históricos específicos.
  • Escalabilidade vs. Precisão: A dificuldade de aplicar métodos de leitura distante (computacional) sem perder a nuance necessária para a análise crítica de discurso, especialmente com modelos treinados em textos modernos e limpos.
  • Falta de Recursos: Escassez de dados anotados supervisionados para esloveno histórico, tornando o fine-tuning tradicional inviável.

2. Metodologia

Os autores adotaram uma abordagem de métodos mistos, combinando análise computacional escalável com interpretação qualitativa crítica.

• Corpus: Extraído do corpus sPeriodika (1771–1914), focando em Slovenec (137M tokens) e Slovenski narod (183M tokens).
• Lexicografia: Criação de um léxico manual e automatizado de lemas que denotam identidades coletivas (substantivos e adjetivos), mapeando variações morfológicas para categorias unificadas.
• Modelagem de Tópicos (Topic Modelling):
  • Uso do BERTopic com embeddings paraphrase-multilingual-MiniLM-L12-v2.
  • Agrupamento hierárquico manual dos 500 tópicos mais frequentes em 20 temas curados (ex: "Vida Política", "Administração Estatal", "Religião").
• Análise de Sentimento (Aspect-Level):
  • Tarefa: Classificação de sentimento direcionada a menções específicas de identidades coletivas dentro de uma janela de contexto (frase alvo + 2 anteriores + 2 posteriores).
  • Modelos Testados: Quatro LLMs instrucionais (GaMS3-12B-Instruct, Gemma-3-12B-IT, Llama-3.1-8B-Instruct, DeepSeek-R1-Distill-Qwen-7B).
  • Configuração: Few-shot prompting em esloveno, sem fine-tuning supervisionado.
  • Seleção: O modelo GaMS3-12B-Instruct (adaptado para esloveno) foi selecionado para a análise em larga escala devido ao seu melhor desempenho geral.
• Visualização e Análise de Rede:
  • Construção de grafos de entidades (NER) conectando Tópicos, Identidades, Locais e Sentimentos.
  • Espessura das arestas = frequência de co-ocorrência; Tamanho dos nós de identidade = proporção de sentimento não-neutro.
• Análise de Discurso Crítica: Leitura próxima (close reading) de segmentos textuais extraídos dos grafos para interpretar padrões de "outro" (othering), pertencimento e construção de identidade nacional.

3. Resultados Principais

• Desempenho dos Modelos (LLMs):

  • O GaMS3 alcançou a maior acurácia global (0,695) e F1 ponderado (0,708).
  • Viés de Classe: O modelo é altamente eficaz em detectar sentimento neutro (F1=0,794), mas sofre com a detecção de positivo (F1=0,343) e tende a superestimar o negativo em contextos ambíguos (alta sensibilidade, baixa precisão).
  • Impacto Gramatical e Referencial:
    • Desempenho superior em menções adjetivais vs. nominais.
    • Dificuldade maior em menções referenciais a grupos (ex: "os alemães") comparado a referências não-grupo (ex: "política alemã").
    • Conclusão: O modelo tende a subestimar avaliações positivas e superestimar negativas em contextos de grupos coletivos.

• Padrões de Sentimento nas Identidades Coletivas:

  • Identidades Neutras: Grupos regionais amplos (ex: "Mediterrâneos", "Adriáticos") aparecem predominantemente em contextos descritivos/neutros.
  • Identidades Não-Neutras: Grupos políticos ou étnicos salientes (ex: "Alemães", "Hungaros", "Italianos") aparecem frequentemente em contextos avaliativos ou de conflito.
  • Diferenças Ideológicas:
    • Ambos os jornais mostram sentimento negativo em relação aos Alemães (refletindo conflitos nacionalistas).
    • Slovenec tende a tratar os Croatas de forma positiva (como "irmãos"), enquanto Slovenski narod foca mais na crítica ao nacionalismo alemão e ao catolicismo político.
    • O sentimento em relação aos Áustriacos é majoritariamente neutro, alinhado com a lealdade ao Estado imperial na época.

• Análise de Rede e Discurso:

  • A visualização de redes revelou que Slovenec possui uma rede de co-ocorrências mais diversificada e densa em temas de administração estatal e identidade.
  • A análise qualitativa confirmou estratégias de construção de identidade nacional através do "outro" (othering), posicionando alemães e italianos como antagonistas, enquanto Croatas eram vistos como aliados.

4. Contribuições Chave

1. Validação de LLMs para Dados Históricos Degradados: Demonstra que LLMs instrucionais (especialmente adaptados para a língua) podem realizar classificação de sentimento em textos históricos com OCR, sem necessidade de fine-tuning massivo, embora com limitações específicas de classe.
2. Benchmark para Esloveno Histórico: Fornece uma avaliação empírica detalhada do desempenho de modelos em esloveno histórico, destacando a assimetria na detecção de sentimentos (neutro > negativo > positivo).
3. Abordagem de Métodos Mistos: Propõe um fluxo de trabalho robusto onde a análise de rede computacional guia a leitura crítica humana, permitindo a análise de corpora que seriam impossíveis de analisar apenas com leitura próxima.
4. Recursos Abertos: Disponibilização do léxico de identidades coletivas, conjunto de dados anotado e prompts no repositório GitLab, facilitando a reprodutibilidade.

5. Significado e Implicações

• Para as Humanidades Digitais (DH): O estudo reforça que métricas técnicas (como F1) não são suficientes; a validade interpretativa e a compreensão das limitações do modelo (ex: viés para o negativo) são cruciais para a pesquisa histórica.
• Para a História Eslovena: Oferece evidências em larga escala sobre a polarização nacionalista no final do século XIX, validando narrativas historiográficas existentes e revelando nuances na construção discursiva de identidades (ex: a relação complexa com a Áustria e a Alemanha).
• Futuro: A metodologia abre caminho para a criação de grafos de entidades temporais para observar a evolução de atitudes e a construção de narrativas ao longo do tempo.

Em suma, o artigo demonstra que a combinação de LLMs escaláveis com análise crítica humana é uma ferramenta poderosa para desvendar padrões sociopolíticos e ideológicos em arquivos históricos ruidosos, desde que as limitações técnicas dos modelos sejam compreendidas e mitigadas durante a interpretação.