Resumo Técnico: ParliaBench

Declaração do Problema

Gerar discursos parlamentares autênticos apresenta desafios distintos das tarefas padrão de geração de texto. Embora os grandes modelos de linguagem (LLMs) tenham demonstrado utilidade em aplicações políticas, como análise de sentimento, previsão eleitoral e geração de pesquisas sintéticas, eles enfrentam dificuldades com os requisitos específicos do discurso parlamentar. Diferente do texto geral, os discursos parlamentares exigem não apenas qualidade linguística, mas também autenticidade política e consistência ideológica. Um discurso de um deputado do Partido Trabalhista deve diferir fundamentalmente de um de um homólogo Conservador, não apenas em sua posição política, mas em sua abordagem de governança.

Os métodos atuais de avaliação para geração de texto baseiam-se em métricas de similaridade de superfície (ex: BLEU, ROUGE) ou abordagens de incorporação semântica (ex: BERTScore, MoverScore). Estas falham em capturar a autenticidade política. Além disso, embora existam benchmarks específicos de domínio para sumarização legislativa ou alinhamento de opinião, não há um framework estabelecido para avaliar simultaneamente a consistência ideológica e as convenções parlamentares em tarefas generativas.

Metodologia

Os autores propõem o ParliaBench, um framework abrangente que compreende um conjunto de dados, um protocolo de avaliação e o desempenho de modelos de linha de base (baselines).

1. Construção do Conjunto de Dados (Dataset ParliaBench)

• Fonte: Derivado do subconjunto do Reino Unido do corpus ParlaMint, retendo arquivos XML brutos para controle granular.
• Pipeline de Processamento:
  • Ingestão e Parsing: Isolou discursos individuais preservando a hierarquia.
  • Enriquecimento de Metadados: Extraiu identidade do orador, filiação política, câmara e datas de sessões. Crucialmente, foi aplicada a alinhamento temporal para cruzar as datas dos discursos com o histórico de filiações, uma vez que os deputados frequentemente mudam de função.
  • Filtragem: Distinguiu conteúdo substantivo de ruído procedimental. Foi aplicado um limiar mínimo de 1.000 discursos para filiações políticas, reduzindo o conjunto de 28 para 11 grupos estáveis para treinamento.
  • Classificação Temática: Mapeou o conteúdo para o EuroVoc (padrão para sistemas parlamentares europeus) em vez da classificação CAP original, utilizando regras de mapeamento híbridas para categorias complexas.
• Estatísticas: O conjunto de dados final contém 447.778 discursos de 1.901 oradores únicos através de 11 filiações políticas, totalizando aproximadamente 99,94 milhões de palavras. Cobre diversos contextos políticos, incluindo o Brexit e a pandemia de COVID-19.

2. Desenvolvimento do Modelo

• Arquiteturas: Cinco LLMs distintos foram selecionados: Mistral 7B v0.3, Llama 3.1 8B, Gemma 2 9B, Qwen2 7B e YI 6B.
• Fine-Tuning: Os modelos foram ajustados usando QLoRA (Quantized Low-Rank Adaptation) com $r=16, \alpha=16$ durante 2 épocas. As entradas de treinamento foram estruturadas com metadados políticos (partido, tópico, orientação, seção, casa).
• Geração: Um total de 27.560 discursos foram gerados usando amostragem de núcleo (nucleus sampling) ($T=0.7, p=0.85$) entre modelos de linha de base e ajustados, garantindo prompts de entrada idênticos para uma comparação justa.

3. Framework de Avaliação

O framework avalia a qualidade da geração através de três dimensões usando uma abordagem de via dupla: Métricas Computacionais e avaliações de LLM-as-a-Judge (LLM como Juiz).

• Qualidade Linguística:
  • Computacional: Perplexidade (PPL), Distinct-n (Dist-N), Self-BLEU.
  • LLM-Judge: Coerência (J_Coh), Concisão (J_Conc).
• Coerência Semântica:
  • Computacional: GRUEN, BERTScore, MoverScore (comparados com os 5 principais discursos humanos no conjunto de treinamento).
  • LLM-Judge: Relevância (J_Rel).
• Autenticidade Política (Métricas Novas):
  • Computacional:
    • Alinhamento do Espectro Político (PSA): Mede o posicionamento ideológico em uma escala Esquerda-Direita (-6 a +6). Combina a similaridade semântica com um centroide de orientação política com a distância dessa orientação em relação à esperada.
    • Alinhamento Partidário (Party Align): Mede a similaridade de cosseno entre o discurso gerado e um centroide específico do partido.
  • LLM-Judge: Autenticidade (J_Auth), Adequação Política (J_PolApp), Qualidade Geral (J_Qual).
• Consistência: A Estabilidade de Contexto Cruzado é medida via coeficiente de variação entre partidos políticos, tópicos e orientações.

Principais Resultados

A avaliação de 27.560 discursos gerados rendeu os seguintes achados:

1. Impacto do Fine-Tuning: Modelos ajustados superaram consistentemente os modelos de linha de base. Testes t pareados confirmaram melhorias estatisticamente significativas em 45 de 70 comparações de métricas.
   • Llama 3.1 8B e YI 6B mostraram as melhorias mais notáveis (79% das métricas para YI).
   • Gemma 2 e Qwen2 exibiram trocas (trade-offs), melhorando em algumas categorias enquanto declinavam em outras.
2. Validação das Novas Métricas: As métricas propostas PSA e Party Align demonstraram forte poder discriminativo. Todos os cinco modelos mostraram melhorias significativas em PSA ($p < 0.001$) e Party Align após o ajuste fino, validando que estas métricas baseadas em incorporação (embeddings) capturam dimensões políticas inacessíveis às métricas convencionais de NLP.
3. Desempenho Contextual:
   • Partidos: Partidos majoritários (Conservador, Trabalhista) alcançaram desempenho estável devido à abundância de dados de treinamento. Partidos menores mostraram maior variabilidade.
   • Tópicos: Ciência e Geografia foram os domínios mais difíceis, provavelmente devido à especialização terminológica. Tópicos de Economia e União Europeia renderam as pontuações mais altas.
   • Ideologia: Posições centristas dominaram o conjunto de dados e alcançaram pontuações mais altas. Posições extremas exigiram abordagens de treinamento especializadas.
4. Estabilidade: Modelos ajustados mantiveram alta estabilidade de contexto cruzado (91.4–96.2), com o Mistral alcançando a maior consistência, apesar de trocas de desempenho absoluto.

Significância e Alegações

O artigo afirma apresentar o primeiro recurso de benchmark especificamente desenhado para avaliar a geração de discursos parlamentares. Sua significância reside em:

• Padronização: Fornecer um conjunto de dados curado de 448 mil discursos e um framework de avaliação reprodutível.
• Avanço Metodológico: Introduzir o Alinhamento do Espectro Político e o Alinhamento Partidário como métricas inovadoras que quantificam o posicionamento ideológico, abordando a lacuna nos métodos de avaliação existentes que focam na similaridade de superfície.
• Evidência Empírica: Demonstrar que o ajuste fino específico de domínio é essencial para gerar discursos politicamente autênticos e que escolhas arquiteturais (ex: tamanho da janela de contexto) impactam significativamente a consistência do desempenho.

Os autores declaram explicitamente que seu trabalho é destinado a fins de pesquisa e educacionais para auxiliar especialistas humanos, não para implementação em processos democráticos reais. Eles reconhecem limitações, incluindo a falta de validação humana para estrutura de argumentos ou precisão factual, e o viés inerente da abordagem LLM-as-a-Judge. Trabalhos futuros são propostos para incluir avaliação multilíngue, protocolos de validação humana e avaliação sistemática de viés político.