Graph-Augmented LLMs for Swiss MP Ideology Prediction

Resumo Técnico: LLMs Aumentados por Grafos para Previsão de Ideologia de Deputados Suíços

Enunciado do Problema
A aproximação das posições ideológicas de membros do parlamento (deputados) é uma tarefa fundamental na ciência política, tradicionalmente alcançada pela análise do comportamento legislativo, discursos e registros de votação. Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham demonstrado potencial na estimativa dessas posições a partir de fontes textuais, as abordagens existentes sofrem de duas limitações primárias:

1. Hipótese de Independência: Elas tipicamente tratam os deputados como geradores de texto independentes, ignorando a rica estrutura relacional dos sistemas parlamentares (por exemplo, redes de co-patrocínio, membros de comissões, blocos partidários).
2. Restrições de Dados e Dependência: Métodos baseados em LLMs frequentemente lutam em cenários de poucos dados ou quando dependências de longo prazo através de múltiplas sessões parlamentares são necessárias.

Os métodos atuais falham em aproveitar a "imagem mais ampla e informativa" fornecida pela interação complexa de atores e elementos dentro de um parlamento, apesar de evidências de que informações relacionais podem enriquecer substancialmente as representações.

Metodologia: Framework PG-RAG
Os autores propõem o PG-RAG (Geração Aumentada por Recuperação de Grafo Político), um framework projetado para integrar conhecimento estruturado em grafos em pipelines de previsão de LLMs. A metodologia prossegue em três etapas:

1. Construção do Grafo de Conhecimento Político (KG):
   O sistema utiliza um KG construído a partir do Boletim do Parlamento Suíço, codificando o processo de formulação de políticas. O esquema inclui entidades como Proposta (propostas legislativas) e Discurso, vinculadas por dependências temporais e enriquecidas com metadados sobre deputados, partidos e comissões.

2. Extração de Subgrafos:
   Para um deputado-alvo, o sistema extrai subgrafos específicos do KG com base em três paradigmas, ordenados por complexidade:

   • Centrado no Discurso (SP): Recupera todos os discursos vinculados ao deputado. Isso serve como uma linha de base textual.
   • Centrado no Deputado (MP): Extrai um subgrafo de 1-hop capturando relações institucionais, incluindo filiação partidária, grupo parlamentar, membros de comissões e representação geográfica.
   • Centrado na Proposta (PR): Extrai um subgrafo de 2-hop focando em iniciativas legislativas patrocinadas ou co-patrocinadas pelo deputado.

3. Codificação de Contexto e Geração:
   Os subgrafos extraídos são codificados no contexto do LLM usando duas estratégias:

   • Resumo (S): Os triplets do subgrafo são serializados em declarações em linguagem natural e resumidos por um LLM (GPT-5) para criar uma representação textual estruturada do contexto político do deputado.
   • Grafo-Bruto (R): O subgrafo é fornecido diretamente como um conjunto bruto de nós e relações (formato JSON do Neo4j), preservando tipos de relacionamento explícitos e atributos sem resumo.

O framework avalia essas combinações (por exemplo, MP-S, MP-R, SP-R) contra linhas de base padrão para prever pontuações de ideologia (mapeadas em uma escala esquerda-direita) com base na identidade do deputado, partido e informações de grupo.

Configuração Experimental

• Conjunto de Dados: Dados do Conselho Nacional Suíço (câmara baixa) cobrindo o 50º período legislativo (2015–2019), compreendendo 225 deputados únicos.
• Verdade Terrena: Pontuações de ideologia derivadas de uma amostra aleatória de 1.000 votos registrados, escalonadas usando um modelo de Teoria de Resposta ao Item (IRT) de dois parâmetros.
• Linhas de Base:
  • Ingênua: Média Global, Média do Partido, Média do Bloco Partidário.
  • LLMs: GPT-5, Qwen3-8B, Qwen3-32B e Apertus-8B (LLM Suíço), testados em configurações zero-shot e few-shot.
• Métricas: Erro Absoluto Médio (MAE), Erro Quadrático Médio (MSE), Raiz do Erro Quadrático Médio (RMSE) e Correlação de Rango de Spearman (RC).

Resultados Principais

• Melhoria de Desempenho: Incorporar conhecimento derivado de grafos melhora significativamente a precisão da previsão. Na configuração zero-shot, o subgrafo centrado no deputado com resumo (MP-S) reduziu o MAE de 0,75 (linha de base GPT-5) para 0,72.
• Redução de Erro: A abordagem aumentada por grafos reduziu notavelmente o MSE (de 1,06 para 0,74 para MP-R em zero-shot), demonstrando a capacidade de corrigir previsões que se desviam substancialmente da verdade terrena.
• Sensibilidade ao Tamanho do Modelo: Os benefícios da augmentação por grafos foram mais pronunciados para modelos de menor escala. O Qwen-8B mostrou melhorias percentuais no RMSE variando de 16,4% a 22,4% através das configurações RAG, comparado a 8,7% a 16,5% para o GPT-5. Isso sugere que modelos menores dependem mais fortemente de orientação estruturada externa.
• Eficácia do Subgrafo: O subgrafo centrado no deputado produziu os melhores resultados em todos os cenários. O subgrafo centrado na proposta teve desempenho inferior, provavelmente devido ao seu tamanho e complexidade maiores, com os quais os LLMs lutaram para aproveitar efetivamente.
• Desafios Específicos de Partido: Embora o modelo tenha melhorado a coerência geral, lutou especificamente com os Social-Democratas (SP). O modelo tendeu a prever membros do SP como mais à direita do que seu comportamento de votação indicava e falhou em capturar a diversidade dentro do partido tão efetivamente quanto fez para outros blocos.

Significado e Alegações
O artigo alega que integrar informações relacionais específicas do domínio através de um pipeline RAG aumentado por grafos aprimora a modelagem do comportamento político. Especificamente:

1. Valor dos Dados Relacionais: Os resultados destacam que codificar informações sobre diferentes entidades e relações (além do texto bruto) melhora o desempenho de previsão, particularmente para modelos menores.
2. Além do Texto: A abordagem demonstra que capturar relações entre deputados e contextos institucionais permite que os LLMs compreendam melhor a complexa rede que define o comportamento legislativo.
3. Direções Futuras: Os autores observam modestamente que, embora o método melhore o desempenho geral, a dificuldade persistente em prever partidos de esquerda (especificamente os Social-Democratas) sugere a necessidade de investigação adicional sobre se isso decorre de ações heterogêneas dos deputados ou de vieses inerentes aos LLMs em relação à retórica política.

O trabalho estabelece uma fundação para pesquisas futuras sobre a extensão desses métodos para conjuntos de dados mais amplos e o refinamento da modelagem de nuances ideológicas específicas dentro de sistemas parlamentares.