VotIE: Information Extraction from Meeting Minutes

Resumo Técnico: VotIE – Extração de Informação de Atas de Reuniões

Problema
O artigo aborda a dificuldade de extrair informações estruturadas de atas de reuniões municipais. Diferente de documentos parlamentares ou jurídicos, que seguem formatos padronizados, as atas municipais são textos narrativos altamente heterogêneos, onde os resultados de votações estão inseridos em descrições procedimentais livres e variam significativamente de um município para outro. O desafio central é a falta de fronteiras explícitas e a variação de estilos de escrita administrativa, o que dificulta a automação da análise do comportamento de votação local.

Metodologia
Os autores introduzem a tarefa VotIE (Voting Information Extraction), formulada como um problema de identificação de argumentos de eventos. O objetivo é extrair spans de texto que correspondam a:

• Subject (Assunto): O tema em deliberação.
• Voter Roles (Papéis dos Votantes): Identificação de participantes com base na sua posição (favor, contra, abstenção ou ausente).
• Voting Evidence (Evidência de Votação): A ação de decisão (ex: "aprovado").
• Counting Expressions (Expressões de Contagem): Agregação de votos (ex: "por maioria", "unanimemente").

Para testar a tarefa, os autores utilizaram o corpus CitiLink, contendo 120 atas de seis municípios portugueses. A metodologia experimental comparou dois paradigmas:

1. Sequence Labeling (Rotulagem de Sequência): Utilizando codificação BIO e modelos baseados em encoders (como BERTimbau, mDeBERTa e XLM-RoBERTa) com camadas CRF (Conditional Random Fields).
2. Generative Extraction (Extração Generativa): Utilizando o modelo de linguagem de grande escala (LLM) Gemini 2.5 Pro em configurações zero-shot e few-shot para gerar estruturas JSON.

A avaliação foi feita através de dois cenários: um benchmark padrão (in-domain) e um teste de generalização entre municípios (cross-municipality) usando a técnica Leave-One-Municipality-Out (LOMO).

Principais Contribuições

• Formalização da tarefa VotIE: Definição de um novo framework para extração de eventos de votação em registros deliberativos narrativos.
• Criação de um Benchmark: Estabelecimento do primeiro benchmark padronizado para esta tarefa, incluindo protocolos de avaliação de robustez a variações de estilo administrativo.
• Liberação de Recursos: Disponibilização pública do benchmark, modelos treinados, código de treinamento e scripts de avaliação para promover a pesquisa em NLP administrativo.

Resultados
Os experimentos revelaram dois achados fundamentais:

1. Desempenho In-Domain: Os encoders ajustados (fine-tuned), especificamente o XLM-R-CRF, alcançaram o melhor desempenho, atingindo 93,2% de F1 macro (Exact Match). Os modelos generativos (LLMs) tiveram um desempenho significativamente inferior neste cenário, pois têm dificuldade em alinhar fronteiras de tokens de forma estrita.
2. Generalização e Robustez: No cenário de transferência para municípios não vistos (cross-municipality), os encoders sofreram uma degradação substancial de performance devido ao overfitting aos estilos de escrita locais. Em contraste, os LLMs demonstraram maior robustez, apresentando uma queda de performance muito menor, o que sugere que capturam melhor o significado semântico do que as pistas lexicais superficiais.

Significância
O trabalho é significativo por preencher uma lacuna na aplicação de NLP para a governança local. Ele estabelece um trade-off claro para implementações reais: para aplicações de larga escala onde há dados anotados, os encoders leves (como XLM-R) são a opção mais prática e precisa; contudo, para regiões com poucos recursos ou sem dados de treinamento, os LLMs oferecem uma capacidade de generalização superior. Além disso, o estudo levanta questões éticas cruciais sobre o risco de desinformação caso sistemas automatizados cometam erros de atribuição de votos, recomendando o uso de ferramentas de "humano no circuito" (human-in-the-loop).