Privacy-Aware Predictions in Participatory Budgeting

Sintesi Tecnica: Previsioni Consapevoli della Privacy nel Bilancio Partecipativo

Definizione del Problema
Il bilancio partecipativo (BP) è un processo democratico in cui i cittadini propongono e votano progetti di investimento pubblico. Mentre la ricerca sulla scelta sociale computazionale si è concentrata ampiamente sull'ottimizzazione della fase di voto (ad esempio, progettando regole di selezione), la fase di consolidamento — in cui gli organizzatori devono preseleggere un grande volume di proposte prima del voto — rimane in gran parte opaca e spesso si affida a decisioni manuali dei comitati senza obiettivi chiari. Questa fase presenta significative sfide di scalabilità a causa dell'alto volume di dati testuali (titoli e descrizioni dei progetti). Inoltre, gli approcci di IA esistenti in questo dominio spesso si affidano alle caratteristiche demografiche degli elettori o a informazioni identificative personali (PII) per creare "persona degli elettori", sollevando preoccupazioni sulla privacy e limitandone l'applicabilità in contesti in cui tali dati non sono disponibili o sono legalmente ristretti.

Metodologia
Gli autori propongono un framework che preserva la privacy per prevedere il successo dei progetti (misurato dal numero di voti) utilizzando solo dati pubblicamente disponibili: descrizioni testuali dei progetti e record storici di voto anonimi. Lo studio utilizza due dataset pluriennali provenienti da città europee: Tolosa, Francia (campagne 2022 e 2024) e Breslavia, Polonia (campagne 2016 e 2017). Questi dataset sono stati costruiti fondendo i dati di voto dal repository Pabulib.org con le descrizioni dei progetti estratte dai siti web municipali.

La metodologia confronta due approcci distinti:

1. Machine Learning (ML) Classico:

   • Modelli: ElasticNet (regressione) e XGBoost (foreste casuali).
   • Feature: Dati tabulari (distretto, categoria, costo) combinati con tre strategie di pre-elaborazione testuale: TF-IDF, Sentence-BERT (SBERT) e BGE-M3.
   • Addestramento/Valutazione: I modelli sono stati addestrati sulla prima campagna disponibile in ogni città e valutati sulla più recente. L'Analisi delle Componenti Principali (PCA) è stata applicata per ridurre la dimensionalità.
   • Baseline: Una configurazione "No-Text" addestrata esclusivamente su dati tabulari.

2. Large Language Models (LLM):

   • Modelli: GPT-4 Turbo e Llama 3.3 70B.
   • Strategie di Prompting: Sono state testate tre varianti per fornire un contesto progressivamente più ricco:
     • Zero-Shot: Nessun dato storico fornito.
     • Full Context: Elenco dei progetti precedenti (titoli, categorie, costi, distretti, voti) senza descrizioni testuali a causa dei limiti della finestra di contesto.
     • Retrieval-Augmented Generation (RAG): Il modello riceve il progetto target insieme al 20% dei progetti più semanticamente simili dal dataset storico (basato sulla similarità del coseno), inclusi le loro descrizioni complete e il numero di voti.
   • Salvaguardie della Privacy: Gli autori hanno verificato che gli LLM non avessero avuto esposizione precedente ai risultati di voto specifici o alle descrizioni complete dei progetti delle campagne di test, garantendo che le previsioni non fossero basate su dati memorizzati durante l'addestramento.

Contributi Chiave

• Dataset: La costruzione e il rilascio di due nuovi dataset di BP che fondono gli esiti del voto con ricche descrizioni testuali per Tolosa e Breslavia.
• Previsione Consapevole della Privacy: Una dimostrazione che è possibile ottenere una classificazione accurata dei progetti senza utilizzare la demografia degli elettori o PII, basandosi esclusivamente sui dati pubblici dei progetti e sugli esiti elettorali storici.
• Analisi Comparativa: Una valutazione sistematica dei modelli di ML classico rispetto alle strategie di prompting degli LLM (Zero-shot, Full Context, RAG) per prevedere il numero di voti e le classifiche ordinali.
• Utilità di Shortlisting: Un'analisi di come questi predittori si comportano specificamente per il compito di "shortlisting" (identificare i primi k progetti probabili che supereranno una regola di selezione greedy), piuttosto che solo per la previsione del numero esatto di voti.

Risultati

• Performance vs Baseline: Tutti i modelli proposti hanno superato significativamente un baseline casuale (Impartial Culture).
• Classifica Ordinale vs Conteggi Esatti: Gli LLM hanno dimostrato una maggiore accuratezza nella previsione della classifica ordinale dei progetti (Kendall's $\tau$) rispetto alla previsione dei conteggi esatti (Mean Absolute Error).
• LLM vs ML: Gli approcci basati su LLM, in particolare con RAG, hanno ottenuto prestazioni comparabili e, in alcuni casi, superiori ai migliori modelli di ML classico.
  • A Tolosa, GPT-4 Turbo (RAG) ha raggiunto un Kendall's $\tau$ di 0,35, comparabile alla migliore variante di ElasticNet (0,36).
  • A Breslavia, Llama 3.3 (RAG) ha raggiunto un $\tau$ di 0,51, superando la migliore variante di XGBoost (0,44).
• Importanza del Contesto: I prompt Zero-shot hanno performato scarsamente, confermando che la conoscenza pregressa della città è insufficiente senza dati storici specifici. Il RAG ha prodotto costantemente i risultati più stabili e accurati tra le strategie LLM.
• Efficacia dello Shortlisting: Valutando la sovrapposizione dei primi 30% dei progetti previsti con i progetti effettivamente finanziati (usando l'indice di Jaccard), i modelli hanno mostrato una sostanziale utilità. Per Breslavia, le varianti LLM RAG hanno raggiunto un indice di Jaccard vicino a 0,5, indicando un forte allineamento con i progetti che supererebbero una regola di selezione greedy.
• Efficienza dei Dati: L'inclusione delle descrizioni testuali è stata essenziale per superare i baseline casuali e i modelli basati solo su dati tabulari.

Significatività e Rivendicazioni
L'articolo sostiene che la sua metodologia offra uno strumento di supporto pratico e consapevole della privacy per gli organizzatori del BP per gestire grandi volumi di proposte durante la fase di consolidamento. Basandosi solo su dati pubblicamente disponibili, l'approccio costruisce fiducia e incoraggia la partecipazione.

Gli autori sottolineano che il loro strumento è progettato per assistere gli organizzatori, non per sostituire il processo di voto. Affermano esplicitamente che gli LLM non dovrebbero essere utilizzati come strumenti di shortlisting "chiavi in mano" senza una configurazione tecnica (ad esempio, l'implementazione di RAG) e che l'output dovrebbe servire come una classifica iniziale per la revisione umana. Lo studio evidenzia come i dati elettorali storici della stessa città possano efficacemente sostituire gli input demografici per la previsione, affrontando una limitazione chiave della ricerca precedente sulle "persona degli elettori".

Infine, gli autori riconoscono i limiti, tra cui il potenziale di manipolazione strategica delle descrizioni dei progetti, la natura "black box" degli LLM e il rischio di bias dei costi (dove i progetti con costi più elevati sono favoriti). Concludono che, sebbene l'approccio sia promettente per la democrazia digitale, richiede un ulteriore scrutinio e dovrebbe essere implementato come parte di un processo assistito dall'IA con intervento umano (human-in-the-loop).