PolicyLLM: Towards Excellent Comprehension of Public Policy for Large Language Models

Resumen Técnico: PolicyLLM

1. Planteamiento del Problema

Los Grandes Modelos de Lenguaje (LLM) están siendo integrados cada vez más en la toma de decisiones del mundo real, incluyendo el ámbito de las políticas públicas. Sin embargo, su capacidad para comprender y razonar sobre contenido político sigue siendo insuficientemente explorada. El campo de las políticas públicas presenta desafíos únicos:

• Naturaleza interdisciplinaria y dependencia contextual: Requiere no solo conocimiento fáctico, sino también razonamiento contextual y juicios sensibles a los valores.
• Falta de benchmarks rigurosos: No existía un marco de evaluación estandarizado para medir sistemáticamente las capacidades de los LLM en la comprensión de políticas, lo que dificulta la comparación objetiva y la mejora dirigida.
• Desafíos diagnósticos: Las métricas agregadas ocultan dónde fallan específicamente los modelos (ej. en conceptos abstractos vs. hechos concretos).
• Adaptación insuficiente: Los LLM de propósito general luchan con las demandas específicas de tareas de análisis de políticas.

2. Metodología

El trabajo se aborda mediante tres componentes principales: la construcción de un benchmark, el desarrollo de un modelo especializado y una evaluación exhaustiva.

A. PolicyBench: El Primer Benchmark Trans-Sistema
Se introduce PolicyBench, el primer benchmark a gran escala que evalúa la comprensión de políticas públicas en dos sistemas de gobernanza distintos: China (CN) y Estados Unidos (US).

• Datos: Se recopilaron y curaron 721 políticas chinas y 603 políticas de EE. UU. (2000-2025), junto con materiales suplementarios (comentarios oficiales, noticias, entrevistas).
• Taxonomía (Basada en la Taxonomía de Bloom): Las tareas se dividen en tres niveles cognitivos:
  1. Memorización (Nivel 1): Recuperación de hechos fácticos (fechas, terminología, organizaciones).
  2. Comprensión (Nivel 2): Razonamiento conceptual y contextual. Se utiliza el marco 3I (Ideas, Intereses, Instituciones) para evaluar la comprensión de motivaciones, partes interesadas y lógica institucional.
  3. Aplicación (Nivel 3): Resolución de problemas en escenarios reales. Incluye razonamiento numérico basado en políticas, toma de decisiones en escenarios y explicación de lógica de valores.
• Generación de Distractores: Para evitar sesgos, se utiliza un enfoque heterogéneo con múltiples LLMs para generar opciones incorrectas plausibles.

B. PolicyMoE: Modelo Especializado de Mezcla de Expertos (MoE)
Para superar las limitaciones de los modelos generales, se propone PolicyMoE, un modelo MoE diseñado específicamente para dominios de políticas.

• Arquitectura: Se basa en un modelo base (Qwen2.5-7B) con tres módulos de expertos especializados, cada uno adaptado mediante LoRA (Low-Rank Adaptation):
  1. Experto de Memoria: Especializado en hechos, regulaciones y lenguaje exacto.
  2. Experto de Comprensión: Enfocado en la interpretación de intenciones, implicaciones y racionalidad.
  3. Experto de Aplicación: Destacado en aplicar políticas a escenarios, predecir resultados y recomendar estrategias.
• Enrutamiento Dinámico: Un módulo de enrutamiento (router) analiza la entrada y selecciona el experto más relevante (o combina pesos) para cada tarea, permitiendo un manejo eficiente de la diversidad de tareas cognitivas.

C. Evaluación y Métricas

• Se evaluaron 11 modelos de última generación (incluyendo GPT-4o, Claude-3.7, Gemini-2.5, DeepSeek-R1, etc.).
• Se utilizó un mecanismo de puntuación "LLM-as-a-Judge" para preguntas abiertas, validado contra expertos humanos.
• Se establecieron líneas base humanas (estudiantes universitarios) para comparar el rendimiento de los modelos.

3. Contribuciones Clave

1. Construcción de PolicyBench: Un benchmark exhaustivo y trans-sistema (China-EE. UU.) que cubre un amplio espectro de dominios políticos y niveles cognitivos, permitiendo una evaluación granular.
2. Descubrimientos Empíricos: Identificación de fortalezas y debilidades específicas de los LLMs actuales en la comprensión de políticas, revelando brechas significativas en el razonamiento abstracto y la comprensión institucional.
3. Propuesta de PolicyMoE: Un modelo MoE que demuestra que la especialización de dominio mediante arquitecturas modulares puede superar a los modelos generales de gran tamaño en tareas de políticas, ofreciendo una ruta viable hacia modelos más eficientes y precisos sin necesidad de arquitecturas prohibitivamente grandes.

4. Resultados Principales

• Tendencia de Rendimiento: Los modelos muestran un rendimiento que mejora progresivamente desde la Memorización hacia la Aplicación. Curiosamente, los modelos tienen un mejor rendimiento en tareas de aplicación estructurada (cálculos numéricos, decisiones basadas en escenarios) que en la recuperación de hechos exactos o la comprensión conceptual abstracta.
  • Explicación: Las tareas de aplicación se alinean mejor con las capacidades de razonamiento estructurado y seguimiento de instrucciones que se afinan durante el entrenamiento post-entrenamiento (RLHF), mientras que la recuperación precisa de hechos depende de la memoria implícita del pre-entrenamiento, que puede ser menos fiable.
• Desempeño por Dominio:
  • Los modelos generalmente tienen un mejor rendimiento en preguntas de políticas de EE. UU. que en las de China (promedio global: ~62.4% vs ~61.0%), probablemente debido a la dominancia del inglés en los datos de pre-entrenamiento y la mayor densidad semántica de los textos chinos.
  • DeepSeek-R1 obtuvo el mejor rendimiento general entre los modelos evaluados (66.34%).
• Eficacia de PolicyMoE:
  • El modelo fine-tuned de 7B (PolicyMoE) superó a varios modelos base mucho más grandes.
  • Logró mejoras significativas en tareas de Aplicación (hasta +23.22% en EE. UU.) y Memorización (+51.73% en EE. UU. Nivel 1), demostrando que la especialización de expertos es crucial.
  • El análisis del enrutador mostró una clara especialización: el experto de memoria se activa fuertemente (>80%) en tareas de Nivel 1, mientras que las tareas de Nivel 2 y 3 requieren una distribución más equilibrada de los expertos.
• Limitaciones Detectadas:
  • Los modelos fallan frecuentemente en conceptos abstractos (Ideas, Instituciones) y en la interpretación de matices legales o institucionales complejos.
  • Existe una brecha significativa entre el rendimiento de los modelos y el de los expertos humanos en tareas de comprensión profunda (Nivel 2 y 3).

5. Significado e Impacto

Este trabajo es fundamental para el desarrollo de IA en el sector público y la gobernanza:

• Diagnóstico Preciso: Proporciona la primera herramienta rigurosa para identificar dónde fallan los LLMs en políticas, guiando el desarrollo futuro.
• Hacia Modelos Especializados: Demuestra que la adaptación de dominio mediante arquitecturas modulares (MoE) es una estrategia superior a simplemente escalar modelos generales para tareas complejas de gobernanza.
• Seguridad y Ética: Al mejorar la comprensión de políticas, se reduce el riesgo de errores con consecuencias sociales tangibles (ej. asignación incorrecta de fondos o malinterpretación de regulaciones).
• Base para Futuras Investigaciones: Establece un estándar para la evaluación de IA en contextos de alta responsabilidad, sugiriendo que la "alineación general" no es suficiente y se necesita una "alineación de borde" (edge alignment) específica para dominios críticos.

En conclusión, PolicyLLM no solo expone las limitaciones actuales de los LLMs en el ámbito de las políticas públicas, sino que ofrece una solución arquitectónica viable (PolicyMoE) y un marco de evaluación robusto (PolicyBench) para construir sistemas de IA más confiables, precisos y éticos para la administración pública.