CitiLink-Summ: Summarization of Discussion Subjects in European Portuguese Municipal Meeting Minutes

A continuación presento un resumen técnico detallado del artículo "CitiLink-Summ: A Dataset of Discussion Subjects Summaries in European Portuguese Municipal Meeting Minutes", estructurado según los puntos solicitados:

1. Problema Identificado

Las actas de las reuniones municipales son registros formales esenciales para la transparencia y la rendición de cuentas gubernamental. Sin embargo, presentan desafíos significativos para los ciudadanos:

• Complejidad y Volumen: Son documentos extensos, densos y altamente formales, divididos en múltiples temas de discusión.
• Dificultad de Acceso: La estructura compleja hace que sea difícil para los ciudadanos navegar y comprender los puntos clave sin leer el documento completo.
• Escasez de Recursos en Lenguas de Bajos Recursos: Aunque la resumen automática de texto (ATS) ha avanzado, existe una carencia crítica de conjuntos de datos de alta calidad y resúmenes manuales en idiomas como el portugués europeo, especialmente en el dominio administrativo. Esto limita el desarrollo y la evaluación de modelos efectivos para este contexto específico.

2. Metodología

El equipo de investigación desarrolló un enfoque riguroso para crear el corpus y evaluar los modelos:

• Construcción del Dataset (CitiLink-Summ):

  • Fuente de Datos: Se recolectaron 120 actas de reuniones municipales de seis municipios portugueses (Alandroal, Campo Maior, Covilhã, Fundão, Guimarães y Porto) correspondientes al periodo administrativo 2021-2024.
  • Segmentación: Los documentos se dividieron manualmente en "temas de discusión" (unidades de resumen).
  • Annotación: Un equipo de cuatro anotadores (estudiantes de doctorado en lingüística) supervisados por dos expertos lingüísticos redactó resúmenes manuales.
  • Proceso de Calidad: Se siguió un flujo de trabajo de tres fases (pre-escritura, escritura y evaluación) con directrices estrictas. Los resúmenes se revisaron iterativamente basándose en cinco parámetros: relevancia, cohesión, coherencia, longitud y claridad.
  • Privacidad: Se anonimizó manualmente toda la información sensible.
  • Estructura: El corpus final contiene 2.880 resúmenes manuales, uno por cada tema de discusión.

• Análisis de Abstracción:

  • Se midió el nivel de abstracción utilizando las métricas Coverage (cobertura) y Density (densidad).
  • Los resultados mostraron una densidad baja y una cobertura media-alta, indicando que los resúmenes son predominantemente abstractivos (requieren reformulación sustancial) en lugar de extractivos, lo que aumenta la dificultad para los modelos.

• Evaluación de Modelos (Benchmark):

  • Se dividió el dataset en entrenamiento (60%), validación (20%) y prueba (20%).
  • Se utilizaron modelos de estado del arte (SOTA) y Grandes Modelos de Lenguaje (LLM):
    • Modelos Encoder-Decoder (Fine-tuning): BART, BART Large, PTT5, LED y PRIMERA.
    • LLMs (Few-shot prompting): Qwen2.5-1.5B y Gemini-2.5-flash.
  • Métricas de Evaluación: Se emplearon métricas léxicas (ROUGE-1/2/L, BLEU, METEOR) y semánticas (BERTScore).
  • Limitación: Los modelos se evaluaron solo con el texto del tema de discusión, sin acceso al "tema" (etiqueta) que los anotadores humanos sí conocían, estableciendo un límite inferior de rendimiento realista.

3. Contribuciones Clave

1. Creación del Primer Corpus Específico: Lanzamiento de CitiLink-Summ, el primer dataset de resúmenes de temas de discusión en actas municipales en portugués europeo, con 2.880 resúmenes manuales de alta calidad.
2. Establecimiento de Líneas Base (Baselines): Presentación de resultados comparativos utilizando modelos SOTA y LLMs, proporcionando un punto de referencia para futuras investigaciones en este dominio y lengua.
3. Recursos Abiertos: Liberación pública del corpus, las directrices de resumen, una muestra del dataset y el código de reproducibilidad en GitHub.

4. Resultados

• Rendimiento General: Los modelos demostraron capacidad para generar resúmenes abstractivos coherentes, aunque con margen de mejora.
• Mejores Modelos: Como era de esperar, los modelos más grandes obtuvieron los mejores resultados. PRIMERA, BART Large y Gemini-2.5-flash lideraron en todas las métricas.
  • Ejemplo: PRIMERA alcanzó un ROUGE-1 de 66.17 y un BERTScore F1 de 85.79.
  • Comparativa: Los modelos de lenguaje grandes (LLMs) como Gemini mostraron un rendimiento competitivo incluso con few-shot prompting, acercándose a los modelos fine-tuned.
• Desafíos: Las puntuaciones absolutas, aunque consistentes, indican que la tarea sigue siendo difícil debido a la alta abstracción requerida y la complejidad del lenguaje administrativo.

5. Significado e Impacto

• Avance en PLN para Lenguas de Bajos Recursos: CitiLink-Summ llena un vacío crítico en los recursos de Procesamiento de Lenguaje Natural (PLN) para el portugués europeo, un idioma con menos datos disponibles en comparación con el inglés.
• Transparencia Democrática: Facilita el acceso de los ciudadanos a la información pública, permitiendo una comprensión rápida de las decisiones municipales sin necesidad de leer documentos legales extensos.
• Fundamento para Futuras Investigaciones: Establece una base sólida para desarrollar sistemas de resumen automatizado más avanzados. Los autores planean futuras expansiones, incluyendo evaluaciones humanas adicionales, el uso de información de temas para mejorar los modelos y la creación de una versión en inglés del dataset para fomentar la investigación multilingüe.

En resumen, este trabajo no solo proporciona un recurso de datos valioso, sino que también demuestra la viabilidad y los desafíos actuales de aplicar técnicas de resumen automático al complejo dominio de las actas municipales en un contexto lingüístico específico.