Measuring Social Integration Through Participation: Categorizing Organizations and Leisure Activities in the Displaced Karelians Interview Archive using LLMs

Título: Medición de la Integración Social a través de la Participación: Categorización de Organizaciones y Actividades de Ocio en el Archivo de Entrevistas de los Karelianos Desplazados utilizando LLMs

1. El Problema

Los archivos históricos digitalizados ofrecen una oportunidad única para estudiar la vida social a gran escala. Sin embargo, extraer información directamente de textos históricos (como menciones de organizaciones y actividades de ocio) no es suficiente para responder preguntas de investigación sociológicas o históricas de manera cuantitativa.

• Desafío de la Normalización: En el corpus estudiado ("Siirtokarjalaisten tie", entrevistas a refugiados de la Segunda Guerra Mundial), se extrajeron 354,302 menciones de entidades, resultando en 71,874 nombres únicos. Estos nombres presentan variaciones dialectales, ortográficas y de formato (ej. "Marthas" vs. "Marttayhdistys") que dificultan el análisis directo.
• Falta de Metadatos: Las menciones crudas carecen de contexto sobre la naturaleza de la participación (¿qué tan social es?, ¿con qué frecuencia ocurre?, ¿qué nivel de actividad física requiere?). Sin esta información, es imposible utilizar los datos como un proxy fiable para medir la integración social y sus efectos en la salud y la longevidad.
• Limitación de la Extracción Simple: La mera extracción de entidades no permite agruparlas en categorías funcionales comparables entre individuos y comunidades.

2. Metodología

Los autores desarrollaron un marco de clasificación multi-etiqueta diseñado específicamente para la investigación sociológica, combinando la experiencia de expertos humanos con la escalabilidad de los Modelos de Lenguaje Grandes (LLMs).

• Datos: Se utilizaron 89,339 entrevistas familiares (aprox. 160,000 individuos) de refugiados de Carelia. Se pre-procesaron las entidades para separar roles y jerarquías, reduciendo las organizaciones únicas de 64,200 a 52,982.
• Marco de Clasificación (Esquema de Anotación): Se definieron cuatro dimensiones clave para cada entidad, basadas en factores de salud conocidos:
  1. Categorías (Q1): Tipo de organización/actividad (ej. Religiosa, Deportiva, Administrativa). Permite múltiples etiquetas.
  2. Tamaño del Grupo (Q2): ¿Solo, grupo pequeño o grupo grande?
  3. Regularidad (Q3): Frecuencia de participación (Regular, Ocasional, Continua, Basada en eventos).
  4. Intensidad Física (Q4): Nivel de actividad física (Intensa, Continua, Ligera, Estacionaria).
• Proceso de Anotación Humana: Cuatro anotadores (dos expertos en dominio y dos especialistas en ML) realizaron cinco rondas iterativas para refinar las directrices. Se estableció un "ground truth" mediante votación mayoritaria (2 de 4 anotadores). La concordancia inter-anotadores (Kappa de Cohen) fue moderada a sustancial (0.704 en el conjunto de evaluación).
• Evaluación de LLMs: Se probaron seis modelos de código abierto de última generación (incluyendo Qwen2.5, Qwen3, DeepSeek-R1, Llama-3.3, Llama-4 y Mistral-Large).
  • Se comparó la instrucción de todas las preguntas en un solo prompt vs. preguntas individuales.
  • Se utilizó ingeniería de prompts automatizada (con modelos optimizadores) para refinar las instrucciones basándose en errores.
  • Se evaluó el uso de ensambles (votación mayoritaria de múltiples ejecuciones o prompts) para compensar la naturaleza estocástica de los LLMs.

3. Contribuciones Clave

• Marco de Clasificación Sociológica: Creación de un esquema de anotación multidimensional específico para estudiar la integración social y sus vínculos con la salud, adaptado a la cultura finlandesa de posguerra.
• Validación de LLMs para Tareas Históricas: Demostración de que los LLMs pueden replicar el juicio de expertos humanos en la categorización de entidades históricas culturales específicas con una precisión cercana a la humana.
• Estrategia de Ensamble y Granularidad: Se identificó que los ensambles de prompts mejoran el rendimiento, y que reducir la granularidad de las etiquetas (ej. agrupar "grupo pequeño" y "grande" en "social") aumenta significativamente la precisión del modelo sin perder utilidad analítica.
• Recurso de Datos Estructurado: Se procesaron y etiquetaron 60,647 entidades únicas (generando 424,529 consultas a LLM), creando un recurso estructurado listo para estudios posteriores sobre resultados de salud y mortalidad.

4. Resultados

• Rendimiento del Modelo:
  • El modelo humano alcanzó un F-score promedio de 78.6% en el conjunto de prueba.
  • El mejor modelo individual (Mistral-Large-Instruct-2407) alcanzó un 74.6%.
  • Mediante el uso de un ensamble de 7 prompts optimizados, el rendimiento subió al 76.8% (93.9% del rendimiento humano en etiquetas "gruesas" o simplificadas).
  • La reducción de granularidad (etiquetas "Coarse") mejoró el F-score del ensamble de 73.7% a 76.8%, acercándose aún más a la línea base humana.
• Análisis de Errores:
  • El 63% de las entidades mostraron acuerdo perfecto o baja discrepancia entre el modelo y los humanos.
  • Los errores sistemáticos del modelo se debieron principalmente a la falta de conocimiento cultural específico (abreviaturas locales, danzas folclóricas raras) y a la tendencia de los modelos a "adivinar" en lugar de seleccionar "No determinable" cuando había ambigüedad.
  • La dimensión Q4 (Actividad Física) fue la más difícil de predecir consistentemente, especialmente en categorías artísticas.
• Hallazgos Sociológicos Preliminares:
  • Las organizaciones tienden a ser de "grupo grande" (96.1%) y "estacionarias" (68.2%), mientras que los hobbies se dividen entre actividades solitarias y de grupo pequeño, con mayor intensidad física.
  • La mayoría de las menciones de organizaciones son "ocasionales" (reuniones periódicas), mientras que los hobbies son mayoritariamente "continuos".

5. Significado e Impacto

• Viabilidad a Gran Escala: Este trabajo demuestra que es posible automatizar la clasificación de miles de entidades históricas complejas utilizando LLMs, superando la barrera de la necesidad de anotación manual exhaustiva.
• Puente entre Humanidades y Ciencias de Datos: Proporciona un método robusto para transformar datos históricos cualitativos (textos de entrevistas) en datos cuantitativos estructurados, permitiendo a los historiadores y sociólogos realizar análisis estadísticos sobre patrones de integración social.
• Aplicabilidad en Salud: La estructura de datos resultante permite investigar directamente cómo los diferentes tipos de participación social (frecuencia, grupo, actividad física) influyen en la mortalidad y la salud de las poblaciones desplazadas, un área de estudio antes limitada por la falta de datos cuantitativos a gran escala.
• Reproducibilidad: El esquema de clasificación y las directrices pueden adaptarse a otros contextos históricos o culturales para estudiar la participación social, sirviendo como referencia para futuras investigaciones en humanidades digitales.

En conclusión, el artículo establece un nuevo estándar para el procesamiento de archivos históricos masivos, demostrando que la combinación de esquemas de anotación bien diseñados y LLMs avanzados puede extraer insights sociológicos profundos de manera eficiente y fiable.