MiNER: A Two-Stage Pipeline for Metadata Extraction from Municipal Meeting Minutes

1. O Problema

As atas de reuniões municipais são documentos oficiais cruciais para a governança local, contendo decisões, participantes e resultados de votações. No entanto, a recuperação de informação (RI) eficaz nestes documentos é dificultada pela sua heterogeneidade de formatos e estilos de escrita.

• Desafio Principal: A extração automática de metadados estruturados (número da reunião, data, local, participantes, horários de início/fim) é complexa.
• Limitação Atual: Modelos de Reconhecimento de Entidades Nomeadas (NER) pré-treinados, embora eficazes em categorias gerais (pessoas, organizações), falham na captura de metadados específicos e de granularidade fina típicos deste domínio. Além disso, não existem modelos dedicados a este domínio específico, e as secções de metadados nem sempre são pré-segmentadas ou padronizadas.

2. Metodologia (Pipeline MiNER)

Os autores propõem o MiNER, um pipeline de duas etapas projetado para transformar documentos brutos em entidades de metadados rotuladas. O processo formal é decomposto da seguinte forma:

Etapa 1: Detecção de Limites de Metadados (MBD - Metadata Boundary Detection)

• Objetivo: Identificar automaticamente os segmentos de texto de abertura e encerramento de cada ata onde os metadados se encontram, reduzindo o ruído do documento completo.
• Abordagem: Utilização de um modelo de Resposta a Perguntas (QA) baseado em extração (estilo SQuAD v2).
• Funcionamento: O modelo recebe o documento inteiro e duas prompts (uma para o segmento de abertura, outra para o de encerramento) e prevê as posições das primeiras e últimas frases desses segmentos.
• Saída: Um subconjunto reduzido do texto ($R$) que contém apenas as regiões relevantes.

Etapa 2: Reconhecimento de Entidades de Metadados (MER - Metadata Entity Recognition)

• Objetivo: Identificar e classificar as entidades específicas dentro do texto reduzido ($R$).
• Modelos: Utilização de modelos baseados em Transformers (BERTimbau para português e XLM-RoBERTa para inglês), com e sem uma camada CRF (Conditional Random Field).
• Técnica de Generalização (Deslexicalização): Para melhorar a generalização entre diferentes municípios, aplica-se uma função de deslexicalização antes do treino:
  • Nomes de participantes e locais são substituídos por valores sintéticos (usando a biblioteca Faker) com 60% de probabilidade.
  • Datas e horários são variados aleatoriamente.
  • Menções a municípios são substituídas por um token placeholder (@MUNICIPIO).
• Formação: Classificação ao nível do token (BIO ou CRF) restrita apenas à região $R$.

3. Principais Contribuições

1. Pipeline Inovador: Proposta de uma arquitetura de duas etapas que combina segmentação baseada em QA com NER baseado em Transformers, superando a necessidade de metadados pré-segmentados.
2. Novo Dataset (CitiLink): Lançamento de um dataset de 120 atas municipais portuguesas (de 6 municípios), anotadas manualmente com 8 categorias de metadados (incluindo presença de vereadores), totalizando 180 segmentos de metadados. O dataset inclui uma versão traduzida para inglês para testes multilingues.
3. Benchmarking Completo: Estabelecimento do primeiro benchmark para extração de metadados em atas municipais, comparando modelos especializados com LLMs de grande porte (Phi e Gemini), avaliando desempenho, custo de inferência e pegada de carbono.
4. Modelos e Código: Disponibilização dos modelos ajustados e do código fonte para reprodução e pesquisa futura.

4. Resultados

Os experimentos foram realizados num conjunto de dados com 120 atas, utilizando métricas como F1-score, Precisão, Recall, Match Exato (EM), custo de inferência e emissões de carbono.

• Desempenho do Pipeline (MiNER):

  • Etapa 1 (MBD): O modelo XLM-RoBERTa superou significativamente baselines não supervisionados (BM25 e Dense Retriever), atingindo um F1-score de 0,826 (PT) e 0,714 (EN).
  • Etapa 2 (MER): Os modelos transformadores alcançaram desempenho robusto. O BERTimbau + Deslex obteve o melhor resultado em português (F1 = 0,96) e o XLM-RoBERTa + Deslex em inglês (F1 = 0,94).
  • Categorias Específicas: Alta precisão em datas, horários e números de reunião (F1 ≈ 1,00). Entidades relacionadas a participantes (presença/ausência) e tipos de reunião mostraram maior variabilidade devido a desequilíbrios nos dados.

• Generalização (Leave-One-Out):

  • Ao treinar em 5 municípios e testar no 6º, o desempenho caiu (F1 = 0,80 em PT e 0,72 em EN), indicando que a variabilidade estilística entre municípios ainda é um desafio, embora a deslexicalização ajude a mitigar parcialmente este problema.

• Comparação com LLMs (Phi e Gemini):

  • Desempenho: Os LLMs de propósito geral tiveram desempenho inferior (Gemini: F1 = 0,27), frequentemente falhando na estruturação correta da saída.
  • Eficiência: O pipeline MiNER foi >1.800 vezes mais rápido (0,4s vs 737s) e emitiu ~400 vezes menos carbono que os LLMs, demonstrando superioridade em eficiência e custo para esta tarefa específica.

• Avaliação Incremental: Com apenas 3 atas anotadas por município, o modelo atingiu F1-scores acima de 0,95, sugerindo que a supervisão local mínima é suficiente para especialização rápida.

5. Significado e Conclusão

O trabalho MiNER demonstra que modelos especializados e ajustados (fine-tuned) superam os Grandes Modelos de Linguagem (LLMs) genéricos em tarefas de extração de metadados estruturados em domínios específicos, oferecendo uma solução mais rápida, barata e ecológica.

Embora o pipeline seja altamente eficaz dentro do domínio de treino, a generalização entre diferentes municípios permanece um desafio devido à variabilidade linguística e estrutural dos documentos. O estudo estabelece uma base sólida para futuras investigações em gestão de informação governamental, sugerindo direções para estratégias de ajuste adaptativo e representações agnósticas ao domínio.