CitiLink-Summ: Summarization of Discussion Subjects in European Portuguese Municipal Meeting Minutes

1. Problema e Contexto

As atas de reuniões municipais são registos formais essenciais para a transparência e accountability governamental, mas apresentam desafios significativos para os cidadãos: são documentos extensos, densos, altamente formais e segmentados em múltiplos tópicos de discussão. A dificuldade em navegar nestes documentos limita o acesso à informação pública.
Embora a Sumarização Automática de Texto (SAT) possa mitigar este problema, a investigação neste domínio específico (atas municipais) é escassa, especialmente em línguas de recursos limitados como o Português Europeu. As principais barreiras são:

• A complexidade inerente dos documentos administrativos.
• A escassez de conjuntos de dados (datasets) com resumos de alta qualidade, criados manualmente.
• A falta de benchmarks para avaliar modelos de sumarização neste domínio e língua.

2. Metodologia e Construção do Dataset (CitiLink-Summ)

O artigo apresenta o CitiLink-Summ, o primeiro corpus de resumos de tópicos de discussão em atas municipais em Português Europeu.

• Origem dos Dados: O dataset foi construído a partir de 120 atas municipais coletadas entre 2021 e 2024, provenientes de seis municípios portugueses (Alandroal, Campo Maior, Covilhã, Fundão, Guimarães e Porto).
• Estrutura: O corpus contém 2.880 segmentos de tópicos de discussão, cada um com um resumo manualmente escrito.
• Processo de Anotação:
  • Envolveu quatro anotadores (doutorandos em Linguística) supervisionados por dois linguistas especialistas.
  • Seguiu um fluxo rigoroso de três fases: pré-escrita, escrita e avaliação.
  • Os anotadores definiram o tema, identificaram a ideia principal e produziram resumos concisos, evitando a simples extração de texto (favorecendo a sumarização abstrativa).
  • Controlo de Qualidade: Os resumos foram revistos e avaliados com base em cinco parâmetros (relevância, coesão, coerência, comprimento, etc.). Apenas resumos com pontuação máxima em todos os parâmetros foram aceites.
  • Privacidade: Dados sensíveis foram anonimizados manualmente.
• Divisão dos Dados: O conjunto foi dividido aleatoriamente, mantendo a proporção por município: 60% para treino, 20% para validação e 20% para teste.
• Análise de Abstração: A análise das métricas Coverage e Density revelou que os resumos têm baixa densidade (poucas extrações contíguas) e média-alta cobertura, indicando um alto nível de abstração e reformulação linguística, o que torna a tarefa desafiadora para os modelos.

3. Avaliação e Resultados (Benchmark)

Os autores estabeleceram uma linha de base (baseline) para a sumarização neste domínio, avaliando vários modelos de última geração:

• Modelos Testados:
  • Modelos Encoder-Decoder (Fine-tuned): BART, BART Large, PTT5, LED e PRIMERA.
  • Modelos de Linguagem Grandes (LLMs): Qwen2.5-1.5B e Gemini-2.5-flash (avaliados via few-shot prompting).
• Métricas de Avaliação:
  • Lexicais: ROUGE (R-1, R-2, R-L), BLEU e METEOR.
  • Semânticas: BERTScore (F1, Precisão, Recall).
• Principais Resultados:
  • Os modelos maiores obtiveram os melhores resultados. O PRIMERA destacou-se consistentemente, seguido pelo BART Large e pelo Gemini-2.5-flash.
  • O PRIMERA alcançou, por exemplo, um ROUGE-1 de 66.17 e um BERTScore F1 de 85.79.
  • O BART Large também teve desempenho superior ao BART padrão (ROUGE-1 de 68.96).
  • Os modelos LLMs (como o Qwen) tiveram desempenho inferior aos modelos fine-tuned específicos, embora o Gemini tenha mostrado resultados competitivos.
  • Limitação: Os resultados representam um limite inferior de desempenho, pois os modelos foram avaliados apenas com o texto do tópico, sem acesso ao "tema" que os anotadores humanos utilizaram durante a criação dos resumos.

4. Contribuições Principais

1. Criação do Dataset CitiLink-Summ: Um novo corpus de domínio específico em Português Europeu com 2.880 resumos manuais de alta qualidade, focado em tópicos de discussão de atas municipais.
2. Estabelecimento de Baselines: Resultados de referência utilizando modelos state-of-the-art (SOTA) e LLMs, avaliados com métricas léxicas e semânticas.
3. Disponibilização de Recursos: Publicação do corpus, das diretrizes de sumarização, de uma amostra do dataset e do código de reprodutibilidade no GitHub, tornando-se um recurso vital para a comunidade de PLN.

5. Significado e Impacto

O trabalho preenche uma lacuna crítica na investigação de PLN para línguas de recursos limitados e domínios administrativos.

• Avanço Científico: Fornece a primeira base sólida para o desenvolvimento e avaliação de modelos de sumarização abstrativa em Português Europeu para documentos governamentais.
• Impacto Social: Facilita o acesso dos cidadãos à informação pública, permitindo que compreendam as decisões municipais sem a necessidade de ler documentos longos e complexos, promovendo a transparência democrática.
• Futuro: Os autores planeiam expandir o corpus, incluir avaliações humanas dos resumos gerados pelos modelos e explorar o uso de informações de "tema" para melhorar a precisão, além de criar uma versão em inglês do dataset para pesquisa multilingue.