Privacy-Aware Predictions in Participatory Budgeting

Resumen Técnico: Predicciones con Conciencia de la Privacidad en Presupuestos Participativos

Planteamiento del Problema
El presupuesto participativo (PP) es un proceso democrático donde los ciudadanos proponen y votan proyectos de inversión pública. Mientras que la investigación en elección social computacional se ha centrado extensamente en optimizar la fase de votación (por ejemplo, el diseño de reglas de selección), la fase de consolidación —donde los organizadores deben preseleccionar un gran volumen de propuestas antes de la votación— permanece en gran medida opaca y a menudo depende de decisiones de comités manuales sin objetivos claros. Esta fase plantea desafíos significativos de escalabilidad debido al alto volumen de datos textuales (títulos y descripciones de proyectos). Además, los enfoques de IA existentes en este dominio a menudo dependen de la demografía de los votantes o de información de identificación personal (PII) para crear "personas de votantes", lo que plantea preocupaciones de privacidad y limita la aplicabilidad en contextos donde dichos datos no están disponibles o están legalmente restringidos.

Metodología
Los autores proponen un marco de preservación de la privacidad para predecir el éxito de los proyectos (medido por el recuento de votos) utilizando únicamente datos públicamente disponibles: descripciones textuales de proyectos y registros históricos de votación anónimos. El estudio utiliza dos conjuntos de datos multianuales de ciudades europeas: Toulouse, Francia (campañas de 2022 y 2024) y Wroclaw, Polonia (campañas de 2016 y 2017). Estos conjuntos de datos se construyeron fusionando los datos de votación de la base de datos Pabulib.org con las descripciones de proyectos extraídas de sitios web municipales.

La metodología compara dos enfoques distintos:

1. Aprendizaje Automático Clásico (ML):

   • Modelos: ElasticNet (regresión) y XGBoost (bosques aleatorios).
   • Características: Datos tabulares (distrito, categoría, costo) combinados con tres estrategias de preprocesamiento de texto: TF-IDF, Sentence-BERT (SBERT) y BGE-M3.
   • Entrenamiento/Evaluación: Los modelos fueron entrenados en la campaña más antigua disponible en cada ciudad y evaluados en la más reciente. Se aplicó el Análisis de Componentes Principales (PCA) para reducir la dimensionalidad.
   • Línea Base: Una configuración "Sin Texto" entrenada únicamente con datos tabulares.

2. Modelos de Lenguaje de Gran Escala (LLMs):

   • Modelos: GPT-4 Turbo y Llama 3.3 70B.
   • Estrategias de Prompting: Se probaron tres variantes para proporcionar un contexto progresivamente más rico:
     • Zero-Shot (Cero disparos): Sin datos históricos proporcionados.
     • Full Context (Contexto completo): Lista de proyectos anteriores (títulos, categorías, costos, distritos, votos) sin descripciones textuales debido a los límites de la ventana de contexto.
     • Retrieval-Augmented Generation (RAG - Generación Aumentada por Recuperación): El modelo recibe el proyecto objetivo más los 20% de proyectos más similares semánticamente del conjunto de datos histórico (basado en la similitud de coseno), incluyendo sus descripciones completas y recuentos de votos.
   • Salvaguardas de Privacidad: Los autores verificaron que los LLMs no tuvieran exposición previa a los resultados de votación específicos o a las descripciones completas de los proyectos de las campañas de prueba, asegurando que las predicciones no se basaran en datos memorizados del entrenamiento.

Contribuciones Clave

• Conjuntos de Datos: La construcción y publicación de dos nuevos conjuntos de datos de PP que fusionan los resultados de votación con descripciones textuales ricas para Toulouse y Wroclaw.
• Predicción con Preservación de la Privacidad: Una demostración de que se puede lograr un ranking preciso de proyectos sin utilizar la demografía de los votantes o PII, basándose únicamente en datos públicos de proyectos y resultados electorales históricos.
• Análisis Comparativo: Una evaluación sistemática de los modelos de ML clásicos frente a las estrategias de prompting de LLM (Zero-shot, Full Context, RAG) para predecir recuentos de votos y rankings ordinales.
• Utilidad de la Preselección: Un análisis de cómo estos predictores se desempeñan específicamente para la tarea de "preselección" (identificar los proyectos top-k que probablemente pasarán una regla de selección codiciosa), en lugar de solo la predicción del recuento exacto de votos.

Resultados

• Rendimiento vs. Línea Base: Todos los modelos propuestos superaron significativamente a una línea base aleatoria (Cultura Imparcial).
• Ranking Ordinal vs. Conteos Exactos: Los LLM demostraron una mayor precisión al predecir el ranking ordinal de los proyectos (Kendall's $\tau$) que al predecir los recuentos exactos de votos (Error Absoluto Medio).
• LLM vs. ML: Los enfoques basados en LLM, particularmente con RAG, lograron un rendimiento comparable a, y en algunos casos superando, a los mejores modelos de ML clásicos.
  • En Toulouse, GPT-4 Turbo (RAG) logró un Kendall's $\tau$ de 0.35, comparable a la mejor variante de ElasticNet (0.36).
  • En Wroclaw, Llama 3.3 (RAG) logró un $\tau$ de 0.51, superando a la mejor variante de XGBoost (0.44).
• Importancia del Contexto: Los prompts Zero-shot funcionaron deficientemente, confirmando que el conocimiento previo de la ciudad es insuficiente sin datos históricos específicos. RAG produjo consistentemente los resultados más estables y precisos entre las estrategias de LLM.
• Eficacia de la Preselección: Al evaluar la superposición del top 30% de los proyectos predichos con los proyectos realmente financiados (usando el índice de Jaccard), los modelos mostraron una utilidad sustancial. Para Wroclaw, las variantes de LLM RAG alcanzaron un índice de Jaccard cercano a 0.5, lo que indica una fuerte alineación con los proyectos que pasarían una regla de selección codiciosa.
• Eficiencia de Datos: La inclusión de descripciones textuales fue esencial para superar las líneas base aleatorias y los modelos de solo datos tabulares.

Significación y Reivindicaciones
El artículo afirma que su metodología ofrece una herramienta de apoyo práctica y consciente de la privacidad para que los organizadores de PP gestionen grandes volidades de propuestas durante la fase de consolidación. Al depender únicamente de datos públicos, el enfoque genera confianza y fomenta la participación.

Los autores enfatizan que su herramienta está diseñada para asistir a los organizadores, no para reemplazar el proceso de votación. Declaran explícitamente que los LLM no deben usarse como herramientas de preselección "listas para usar" sin una configuración técnica (por ejemplo, implementación de RAG) y que el resultado debe servir como un ranking inicial para la revisión humana. El estudio destaca que los datos electorales históricos de la misma ciudad pueden reemplazar eficazmente los datos demográficos para la predicción, abordando una limitación clave en la investigación previa de "personas de votantes".

Finalmente, los autores reconocen limitaciones, incluyendo la posibilidad de manipulación estratégica de las descripciones de los proyectos, la naturaleza de "caja negra" de los LLM y el riesgo de sesgo de costo (donde se favorecen los proyectos de mayor costo). Concluyen que, si bien el enfoque es prometedor para la democracia digital, requiere un mayor escrutinio y debe implementarse como parte de un proceso de asistencia por IA con intervención humana (human-in-the-loop).