Evaluating LLM-Driven Summarisation of Parliamentary Debates with Computational Argumentation

1. O Problema

A compreensão de como as políticas são debatidas e justificadas no parlamento é fundamental para o processo democrático. No entanto, o volume e a complexidade dos debates parlamentares dificultam o engajamento do público. Embora os Grandes Modelos de Linguagem (LLMs) permitam a geração automatizada de resumos em escala, existe um desafio crítico na avaliação da fidelidade (ou consistência factual) desses resumos.

• Limitação Atual: Métricas automáticas tradicionais de sumarização (como ROUGE ou BERTScore) baseiam-se em sobreposição léxica ou similaridade semântica. Elas correlacionam-se mal com julgamentos humanos sobre a consistência factual, especialmente em textos argumentativos.
• Risco: LLMs podem gerar resumos que parecem semanticamente coerentes, mas que distorcem a lógica dos argumentos, omitindo oposições cruciais ou alterando o equilíbrio de evidências, o que é problemático quando esses resumos servem de ponte entre cidadãos e representantes.

2. Metodologia

Os autores propõem um framework formal baseado em Argumentação Computacional para avaliar a fidelidade de resumos de debates parlamentares. A abordagem não foca apenas no conteúdo textual, mas na estrutura lógica dos argumentos.

Representação Formal (QBAF)

O método utiliza Quadros de Argumentação Bipolar Quantitativos (QBAF) para representar tanto o debate original quanto o resumo.

• Estrutura: Um QBAF é definido como $\langle X, A, S, \tau \rangle$, onde:
  • $X$: Conjunto de argumentos (dividido em argumentos de proposta/provisões e argumentos de discurso).
  • $A$: Relação de ataque (direta).
  • $S$: Relação de suporte (direta).
  • $\tau$: Pontuação base (força inicial) de cada argumento.
• Ancoragem: As "propostas" (provisões políticas contestadas) servem como pontos de ancoragem para alinhar o quadro do debate original com o quadro extraído do resumo.

Propriedades de Avaliação

O framework define cinco propriedades formais para medir a fidelidade do resumo ($Q^*$) em relação ao original ($Q$):

1. Relevância dos Argumentos de Discurso ($\pi_{sar}$): Mede a proporção de argumentos de discurso conectados a pelo menos uma proposta.
2. Razão Pró-Contra ($\pi_{pcr}$): Avalia se o equilíbrio de evidências (ataques vs. suportes) para uma proposta específica foi mantido.
3. Consistência de Preferência ($d$-preferability): Verifica se o status de aceitação das propostas (baseado na semântica de extensão $d$-preferred) permanece consistente entre o original e o resumo.
4. Consistência de Equilíbrio (Balance-consistency): Avalia se propostas que tinham suporte líquido (força > 0.5) ou oposição líquida (força < 0.5) mantêm essa direção no resumo.
5. Precisão $\epsilon$-accurate: Mede a precisão numérica das forças dos argumentos, verificando se as pontuações no resumo permanecem dentro de uma margem de erro ($\epsilon$) das originais.

Estudo de Caso e Mineração de Argumentos

• Dados: Debates do Parlamento Europeu (EP) de 2006-2008.
• Mineração: Utilização de modelos de LLM (Claude Sonnet, Claude Haiku, Qwen, Llama) para classificação de relações de argumento (ataque, suporte ou nenhum) entre pares de frases.
• Comparação: Os resumos gerados por LLMs foram comparados com os transcritos originais usando as novas propriedades formais e métricas tradicionais (ROUGE, BERTScore, NLI).

3. Contribuições Chave

1. Novo Framework de Avaliação: Introdução de uma estrutura formal baseada em QBAFs para avaliar resumos de debates, focando na preservação da estrutura argumentativa em vez de apenas similaridade textual.
2. Propriedades Formais Específicas: Definição de métricas graduais que quantificam a fidelidade lógica (ex: manutenção da razão pró-contra e precisão das forças dos argumentos).
3. Demonstração Empírica: Aplicação do método em dados reais do Parlamento Europeu, mostrando como as métricas tradicionais falham em detectar distorções argumentativas que as novas métricas capturam.
4. Análise de Modelos: Evidência de que modelos de raciocínio maiores (zero-shot/few-shot) superam modelos menores ajustados (fine-tuned) em tarefas de mineração de argumentos em novos domínios.

4. Resultados

• Falha das Métricas Tradicionais: Métricas como ROUGE e BERTScore indicaram que os resumos eram abstrativos e semanticamente coerentes, mas não conseguiram discriminar entre resumos que preservavam a estrutura argumentativa e aqueles que a distorciam.
• Desempenho dos LLMs:
  • Os resumos gerados pelo Claude Haiku falharam em preservar o equilíbrio pró-contra das propostas, apresentando distorções significativas.
  • O modelo Claude Sonnet (maior) teve desempenho superior em todas as propriedades, mas ainda assim apresentou degradação na precisão das forças dos argumentos.
• Distorção de Forças: A análise revelou que argumentos contestados no original (força próxima de 0.5) foram frequentemente apresentados nos resumos como tendo suporte esmagador (força $\gg$ 0.5), omitindo a argumentação crítica que os enfraquecia.
• Eficácia da Semântica Gradual: A propriedade baseada em semântica gradual (Propriedade 5) mostrou-se mais discriminativa do que a baseada apenas em extensões (Propriedade 3), capturando nuances na força dos argumentos que a lógica booleana de aceitação/rejeição ignorava.

5. Significado e Conclusão

O trabalho demonstra que a Argumentação Computacional oferece uma base estruturada e interpretável para avaliar a qualidade de resumos de debates políticos.

• Transparência Democrática: O método permite identificar se um resumo está a comunicar fielmente as motivações e oposições por trás de decisões políticas, essencial para a transparência.
• Superação de Limitações Atuais: Ao focar na preservação das relações de ataque e suporte e nas forças dos argumentos, o framework supera as limitações das métricas de similaridade semântica, que podem mascarar "alucinações" lógicas ou viéses na sumarização.
• Trabalho Futuro: Os autores planeiam desenvolver métodos para mapear argumentos semelhantes entre fontes e resumos, permitindo uma análise de precisão-recall mais granular e a identificação de argumentos omitidos ou inventados.

Em suma, o artigo propõe uma mudança de paradigma na avaliação de resumos automáticos: de "o que foi dito" (similaridade de palavras) para "o que foi argumentado" (estrutura lógica e força dos argumentos).