Measuring Social Integration Through Participation: Categorizing Organizations and Leisure Activities in the Displaced Karelians Interview Archive using LLMs

1. Problema e Motivação

O estudo aborda o desafio de analisar grandes volumes de dados históricos não estruturados para responder a questões sociológicas e de saúde pública. Os autores utilizam o arquivo "Siirtokarjalaisten tie" (O Caminho dos Karelianos Deslocados), uma coleção de 89.339 entrevistas realizadas entre 1968 e 1970 com cerca de 160.000 refugiados finlandeses deslocados da região da Carélia após a Segunda Guerra Mundial.

• O Desafio: Embora trabalhos anteriores tenham extraído automaticamente mais de 350.000 menções de atividades de lazer e membros de organizações, esses dados brutos contêm 71.874 entidades únicas. A simples extração de entidades não é suficiente para medir a "integração social", pois:
  • Existem variações linguísticas massivas para a mesma entidade (ex: "Martta", "Marttayhdistys", "Marttakerho" referem-se ao mesmo clube de donas de casa).
  • Falta metadados contextuais essenciais (ex: frequência, tamanho do grupo, intensidade física) que determinam o impacto social e na saúde da atividade.
  • A categorização manual de dezenas de milhares de itens é inviável.

O objetivo central é desenvolver um framework de categorização que capture dimensões multidimensionais da participação social e avaliar se Modelos de Linguagem de Grande Escala (LLMs) podem replicar o julgamento de especialistas humanos para escalar essa análise.

2. Metodologia

A pesquisa segue um pipeline rigoroso que combina processamento de linguagem natural (PLN), engenharia de prompts e validação humana.

A. Pré-processamento e Normalização

• Extração de Hierarquias: Um LLM (Llama-3.3) foi usado para separar cargos individuais e estruturas hierárquicas de nomes de organizações (ex: transformar "Presidente do Conselho Administrativo da Sociedade Carélia" em "Conselho Administrativo" como entidade e "Presidente" como cargo), reduzindo o número de entidades únicas de 64.200 para 52.982.
• Desafio de Variação: O estudo identificou que padrões simples de correspondência falham devido a dialetos, abreviações e variações morfológicas no finlandês.

B. Framework de Classificação (Esquema de Anotação)

Em colaboração com sociólogos, foi desenvolvido um esquema de anotação de rótulo múltiplo baseado em quatro dimensões críticas para a saúde e integração social:

1. Q1 - Categorias: Tipo geral da organização/atividade (ex: Religioso, Esportivo, Administrativo, Cultural).
2. Q2 - Tamanho do Grupo: Solitário, Pequeno grupo, Grande grupo.
3. Q3 - Regularidade: Frequência de participação (Regular, Ocasional, Contínua, Baseada em eventos).
4. Q4 - Intensidade Física: Nível de atividade física (Intenso, Contínuo, Leve, Estacionário).

C. Processo de Anotação Humana

• Quatro anotadores (dois especialistas de domínio e dois especialistas em ML) realizaram 5 rodadas iterativas de anotação em 50 entidades cada, refinando as diretrizes.
• Foi criado um conjunto de verdade de base (gold-standard) com 150 entidades de teste e 50 de desenvolvimento.
• A concordância inter-anotadores (Kappa de Cohen) foi moderada a substancial (média de 0,70 no conjunto de teste), indicando que as tarefas são desafiadoras mesmo para humanos.

D. Avaliação de LLMs

• Modelos Testados: Foram avaliados seis modelos de peso aberto (open-weight) de última geração, incluindo Qwen2.5/3, DeepSeek-R1, Llama-3.3/4 e Mistral-Large.
• Estratégia de Prompting:
  • Comparação entre prompts que fazem todas as 4 perguntas de uma vez vs. prompts separados.
  • Uso de Engenharia de Prompt Automatizada (usando o3 e Claude 4 Opus) para gerar variações de prompts baseadas em erros.
  • Votação em Ensemble: Execução múltipla do mesmo prompt ou de prompts otimizados, com votação majoritária para estabilizar a saída estocástica do modelo.

3. Resultados Principais

Desempenho dos Modelos

• O modelo Mistral-Large-Instruct-2407 obteve o melhor desempenho individual, alcançando 74,6% de F-score no conjunto de avaliação.
• Modelos com capacidades de "Chain-of-Thought" (como Qwen3 e DeepSeek-R1) não superaram o Mistral-Large nesta tarefa específica.
• Humanos vs. Máquinas: Os anotadores humanos atingiram 78,6% de F-score. O melhor ensemble de LLMs (7 prompts otimizados com votação) atingiu 73,7%, o que equivale a 93,8% do desempenho humano na granularidade total.

Impacto da Granularidade (Esquema "Coarse")

Ao simplificar as categorias (ex: agrupar "Pequeno" e "Grande" grupo em "Social"; "Intenso" e "Leve" em "Ativo"), o desempenho do ensemble de LLMs subiu para 76,8% de F-score, atingindo 93,9% do baseline humano. Isso sugere que, para muitas aplicações de pesquisa, uma categorização ligeiramente menos granular é suficiente e mais robusta.

Análise do Conjunto de Dados Completo

O método foi aplicado a 60.647 entidades únicas (totalizando 424.529 consultas ao LLM), gerando um recurso estruturado massivo.

• Padrões Descobertos:
  • Organizações: Dominadas por grupos grandes (96,1% das menções) e atividades estacionárias (68,2%), com foco em grupos sociais gerais e administrativos.
  • Hobbies: Mais diversificados, com forte presença de atividades solitárias (43,4%) e de pequeno grupo (40,7%), além de alta intensidade física ou leve (55,5% leve).
  • Multi-rótulo: 29,2% das entidades receberam múltiplos rótulos na categoria Q1, validando a necessidade de uma abordagem de múltiplas classes em vez de classificação única.

Análise de Erros

• Concordância Perfeita: 63% das entidades tiveram concordância perfeita ou baixa discordância entre humanos e LLM.
• Pontos Cegos do Modelo: O LLM falhou consistentemente em:
  • Abreviações culturais específicas sem contexto (ex: siglas militares finlandesas).
  • Termos que exigem conhecimento histórico profundo (ex: atividades da "Lotta Svärd").
  • Tendência a "adivinhar" em vez de marcar "Não definível" quando a ambiguidade era alta.

4. Contribuições Chave

1. Validação de LLMs para História Digital: Demonstra que LLMs de peso aberto podem replicar o julgamento de especialistas humanos em tarefas complexas de classificação sociocultural com alta precisão (~94% do desempenho humano), viabilizando a análise de grandes arquivos históricos.
2. Framework de Integração Social Multidimensional: Propõe um esquema de anotação que vai além da simples extração de entidades, capturando dimensões críticas (tamanho, frequência, intensidade) necessárias para estudos de saúde e longevidade.
3. Recurso de Dados Estruturado: Produz um conjunto de dados rotulado de 350.000 menções de atividades e organizações, transformando texto não estruturado em dados quantitativos analisáveis para estudos demográficos e epidemiológicos.
4. Método de Ensemble e Otimização: Mostra que a combinação de múltiplas execuções de prompts (ensemble voting) e a simplificação de rótulos (coarse schema) são estratégias eficazes para maximizar a confiabilidade em tarefas de classificação histórica.

5. Significado e Conclusão

Este trabalho representa um avanço significativo na Humanidades Computacionais. Ao superar a barreira da escala na análise de dados históricos, os autores permitem que sociólogos e epidemiologistas investiguem correlações entre a estrutura da vida social (participação em grupos, tipos de lazer) e desfechos de saúde (mortalidade, longevidade) em uma escala populacional sem precedentes.

A descoberta de que LLMs podem ser confiáveis para esta tarefa, desde que acompanhados de validação humana e análise de incerteza, abre caminho para a aplicação similar em outros arquivos históricos globais, transformando narrativas individuais em dados estruturados para a ciência social quantitativa. O estudo também destaca a importância de considerar o contexto cultural e linguístico específico (neste caso, o finlandês pós-guerra) ao treinar ou instruir modelos de IA.