PolicyLLM: Towards Excellent Comprehension of Public Policy for Large Language Models

Resumo Técnico: PolicyLLM

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais integrados em processos de tomada de decisão do mundo real, incluindo a análise e geração de políticas públicas. No entanto, a capacidade desses modelos de compreender e raciocinar sobre conteúdo relacionado a políticas permanece subexplorada. O campo da política pública apresenta desafios únicos:

• Natureza Interdisciplinar e Contextual: As políticas dependem fortemente de contexto, valores sensíveis e raciocínio lógico complexo.
• Falta de Benchmarks Rigorosos: Não existia uma avaliação padronizada e abrangente para medir a compreensão de políticas pelos LLMs, dificultando a comparação objetiva e a melhoria direcionada.
• Desafios Diagnósticos: Métricas agregadas ocultam onde os modelos falham (ex: memória factual vs. raciocínio abstrato) e quais domínios ou contextos linguísticos são mais problemáticos.
• Limitações de Adaptação: Modelos de propósito geral frequentemente lutam com as demandas específicas de tarefas de análise de políticas, como a necessidade de precisão factual combinada com julgamento de valor.

2. Metodologia

A abordagem do artigo divide-se em três pilares principais: a construção de um benchmark, a análise experimental e o desenvolvimento de um modelo especializado.

A. PolicyBench (O Benchmark)
Os autores criaram o PolicyBench, o primeiro benchmark em larga escala e multi-sistema (EUA e China) para avaliar a compreensão de políticas públicas.

• Dados: Coletou e curou 721 políticas chinesas e 603 políticas dos EUA (período 2000-2025), além de materiais suplementares (comentários oficiais, notícias, entrevistas).
• Taxonomia (Baseada em Bloom): As tarefas foram categorizadas em três níveis cognitivos:
  1. Memorização (Level 1): Recuperação factual (datas, terminologia, organizações).
  2. Compreensão (Level 2): Raciocínio conceitual e contextual (Ideias, Interesses e Instituições - framework 3I).
  3. Aplicação (Level 3): Resolução de problemas em cenários reais (cálculos numéricos, tomada de decisão baseada em cenários, implementação procedural).
• Diversidade: O conjunto de dados contém 21.000 casos, cobrindo 10 sub-tarefas específicas, com questões em inglês e chinês.

B. PolicyMoE (O Modelo Proposto)
Para superar as limitações dos modelos gerais, os autores propuseram o PolicyMoE, um modelo de Mixture-of-Experts (MoE) especializado em domínio.

• Arquitetura: Baseado em uma arquitetura MoE, o modelo utiliza três módulos de especialistas treinados com LoRA (Low-Rank Adaptation):
  1. Memory Expert: Especializado em fatos, regulamentos e linguagem exata.
  2. Understanding Expert: Focado em intenção, implicações e racionalidade da política.
  3. Application Expert: Especializado em aplicar políticas a cenários e prever resultados.
• Mecanismo de Roteamento: Um roteador simples (camada linear) analisa a entrada e direciona a consulta para o especialista mais relevante, permitindo uma adaptação dinâmica às necessidades da tarefa.

C. Avaliação

• Foram testados 11 modelos de ponta (GPT-4o, Claude-3.7, Gemini, DeepSeek, Llama, etc.).
• Utilizou-se a metodologia LLM-as-a-Judge para questões abertas, com validação humana e análise de viés multi-avaliador para garantir robustez.

3. Contribuições Principais

1. Construção do PolicyBench: Um benchmark abrangente e cross-sistema (EUA-China) que avalia a compreensão de políticas em múltiplos níveis cognitivos e domínios, preenchendo uma lacuna crítica na avaliação de IA governamental.
2. Diagnóstico de Limitações: Identificação de padrões de desempenho que revelam que os LLMs atuais são fortes em raciocínio estruturado, mas fracos em conceitos abstratos e em textos de políticas chinesas (devido à densidade sintática e semântica).
3. Proposta do PolicyMoE: Demonstração de que uma arquitetura de especialistas especializados (MoE) treinada especificamente para domínios de política supera modelos gerais e abordagens de fine-tuning padrão (LoRA único), especialmente em tarefas de aplicação e memorização.

4. Resultados Chave

• Desempenho por Nível: Os modelos mostram uma melhoria progressiva da Memorização para a Aplicação. Curiosamente, os modelos performam melhor em tarefas de Aplicação (Level 3) (ex: cálculos numéricos, decisões baseadas em cenários) do que em Memorização (Level 1) ou Compreensão Abstrata (Level 2). Isso sugere que o fine-tuning e o RLHF otimizaram o raciocínio estruturado, mas não a recuperação precisa de fatos específicos de domínio.
• Viés Linguístico: A maioria dos modelos performou melhor em políticas dos EUA do que na China. O modelo QwQ-32B foi uma exceção, performando significativamente melhor em chinês.
• Eficácia do PolicyMoE:
  • O modelo PolicyMoE (baseado em Qwen2.5-7B) superou modelos muito maiores e modelos baselines padrão.
  • Houve ganhos significativos na Memorização (aumento de ~51% no nível 1 dos EUA) e na Aplicação (aumento de ~23% no nível 3 dos EUA).
  • O roteador aprendeu a distribuir pesos adequadamente: tarefas de nível 1 ativaram fortemente o Memory Expert, enquanto tarefas complexas exigiram uma distribuição mais equilibrada entre os especialistas.
• Correlação com Outros Benchmarks: O PolicyBench mostrou uma correlação negativa com benchmarks de raciocínio geral (MMLU-Pro) e quase nenhuma correlação com benchmarks jurídicos (LegalBench), provando que a compreensão de políticas é uma habilidade distinta e não coberta por avaliações existentes.

5. Significado e Impacto

O trabalho estabelece um novo padrão para a avaliação de IA em governança e políticas públicas.

• Segurança e Ética: Demonstra a necessidade crítica de modelos confiáveis para evitar consequências sociais tangíveis (ex: alocação incorreta de fundos rurais devido a erros de cálculo ou interpretação).
• Direção Futura: Sugere que o caminho para modelos de IA mais robustos em governança não é apenas aumentar o tamanho do modelo, mas sim a adaptação de domínio especializada (como o MoE) e o foco em raciocínio estruturado e contextual.
• Recurso Aberto: O dataset e o código foram liberados, permitindo que a comunidade de pesquisa desenvolva e avalie futuros modelos focados em políticas públicas de forma transparente.

Em suma, o artigo argumenta que, embora os LLMs sejam promissores, eles ainda carecem de uma compreensão profunda e matizada de políticas públicas, e que soluções arquitetônicas especializadas, como o PolicyMoE, são essenciais para fechar essa lacuna.