CitiLink-Minutes: A Multilayer Annotated Dataset of Municipal Meeting Minutes

1. El Problema

Las actas de las reuniones de los concejos municipales son una fuente rica de información cívica que documenta procesos de toma de decisiones, debates de políticas y resultados de votaciones. Sin embargo, este dominio ha recibido poca atención en las áreas de Recuperación de Información (IR) y Procesamiento del Lenguaje Natural (NLP) debido a varias limitaciones:

• Falta de datos anotados: No existen conjuntos de datos públicos y anotados para actas municipales escritas (a diferencia de los registros parlamentarios o transcripciones de video).
• Complejidad estructural: Las actas son documentos largos, heterogéneos y con estructuras variables entre municipios, lo que dificulta la extracción de información relevante (temas, propuestas, votaciones).
• Barreras legales y de privacidad: El uso de datos raspados de la web a menudo conlleva problemas de derechos de autor y privacidad, y carece de las anotaciones de alta calidad necesarias para el análisis lingüístico profundo.
• Dominio lingüístico: La mayoría de los recursos existentes están en inglés, dejando un vacío significativo para el portugués europeo.

2. Metodología

Para abordar estas carencias, los autores desarrollaron el conjunto de datos CitiLink-Minutes mediante un proceso riguroso:

• Recopilación de Datos: Se establecieron acuerdos de colaboración con seis municipios portugueses (Alandroal, Campo Maior, Covilhã, Fundão, Guimarães y Porto) para obtener actas oficiales del periodo 2021-2024. De un total de 479 actas, se seleccionó una muestra representativa de 120 actas (20 por municipio) basándose en criterios de diversidad de sesiones, número de puntos del orden del día y relevancia pública.
• Esquema de Anotación Multicapa: Se diseñó un marco de anotación modular basado en ISO 24617, estructurado en cuatro capas conceptuales:
  1. L1: Información Personal (PI): Identificación de nombres propios y datos que pueden identificar a una persona.
  2. L2: Metadatos: Información sobre la reunión (fecha, hora, ubicación, tipo de sesión, participantes).
  3. L3: Tema de Discusión: Codificación de los temas principales, subtemas y la estructura de los puntos del orden del día.
  4. L4: Votación: Resultados de las votaciones, incluyendo votantes, abstenciones, votos en contra, evidencia de votación y conteo global.
• Proceso de Anotación:
  • Cuatro lingüistas anotaron los documentos utilizando la plataforma INCEpTION.
  • Se implementó un proceso de doble anotación (dos anotadores por documento) seguido de validación por un curador experto para resolver discrepancias.
  • Se realizó una fase piloto para evaluar el uso de LLMs para pre-anotación de metadatos, lo cual redujo el tiempo de anotación.
  • Privacidad: Todos los identificadores personales (PI) fueron manualmente anonimizados antes de la publicación para cumplir con las normativas de protección de datos.
• Estructura del Dataset: Los datos se entregan en formato JSON, organizado por municipio, con un total de más de 1 millón de tokens, 20,375 entidades y 11,162 relaciones.

3. Contribuciones Clave

El artículo presenta tres contribuciones principales:

1. CitiLink-Minutes: El primer conjunto de datos anotado densamente en portugués europeo para actas municipales, con más de 38,000 anotaciones individuales en cuatro capas. Cumple con los principios FAIR (Findable, Accessible, Interoperable, Reusable) y se publica bajo una licencia Creative Commons (CC-BY-NC-ND).
2. Dashboard Interactivo: Una herramienta web que permite a los usuarios explorar la estructura del dataset y sus anotaciones en detalle.
3. Definición de Tareas y Líneas Base (Baselines): Se definieron y evaluaron tres tareas NLP específicas para este dominio:
   • Identificación de Metadatos (Extracción de entidades).
   • Identificación de Votantes (Extracción de span de texto relacionada con votaciones).
   • Clasificación de Temas (Clasificación multietiqueta).
   • Se proporcionan modelos de referencia (baselines) y métricas de evaluación en Hugging Face.

4. Resultados

Los autores evaluaron modelos basados en codificadores (BERTimbau Large) frente a modelos generativos (Gemini-2.5-Pro) en las tareas definidas:

• Identificación de Metadatos: El modelo fine-tuned de BERTimbau alcanzó un F1-micro de 0.959, superando significativamente al modelo generativo (F1-micro de 0.273), que mostró alta precisión pero muy bajo recall.
• Identificación de Votación: BERTimbau logró un F1-micro de 0.705, demostrando ser más robusto para la extracción estructurada de entidades de votación. El modelo generativo obtuvo un F1-micro de 0.584.
• Clasificación de Temas (Multietiqueta): En esta tarea desbalanceada, BERTimbau obtuvo un F1-micro de 0.822 y una pérdida de Hamming (HL) de 0.029, mientras que el modelo generativo tuvo un rendimiento inferior (F1-micro de 0.525, HL de 0.070).
• Concordancia Inter-anotador (IAA): Se alcanzó un acuerdo consistente (medido con el alfa de Krippendorff) en la mayoría de las capas, aunque se observó menor acuerdo en atributos de texto abierto como "tema" (theme) debido a la subjetividad de la descripción.

5. Significado e Impacto

• Avance en NLP para Gobierno: Este dataset llena un vacío crítico al proporcionar recursos de alta calidad para el análisis computacional de la gobernanza local, permitiendo el desarrollo de modelos para la transparencia y el acceso a la información pública.
• Benchmarking: Establece un punto de referencia sólido para futuras investigaciones en extracción de información estructurada y clasificación en textos administrativos complejos.
• Privacidad y Ética: Demuestra que es posible crear recursos de investigación de alta calidad respetando estrictamente la privacidad y los derechos de autor mediante la anonimización manual y acuerdos legales.
• Futuro: El trabajo sienta las bases para tareas avanzadas como el resumen automático de actas, el seguimiento de políticas públicas y el análisis comparativo entre diferentes municipios, con planes futuros para expandir el dataset a más municipios y crear una versión alineada en inglés.

En resumen, CitiLink-Minutes es un recurso pionero que transforma datos administrativos no estructurados en un corpus analizable, facilitando la investigación en IR y NLP aplicada a la democracia local.