Prompts to Proxies: Emulating Human Preferences via a Compact LLM Ensemble

Sintesi Tecnica: Prompts to Proxies (P2P)

Definizione del Problema
I Large Language Models (LLM) vengono sempre più utilizzati come proxy di soggetti umani nella ricerca nelle scienze sociali per simulare risposte a sondaggi e modellare le dinamiche delle comunità. Tuttavia, la validità esterna di questi agenti sintetici è compromessa da una sfida fondamentale di allineamento: garantire che l'aggregato delle preferenze di un ensemble sintetico rifletta fedelmente l'eterogeneità di una popolazione umana target. Gli approcci esistenti affrontano trade-off significativi. Il Supervised Fine-Tuning (SFT) e il Reinforcement Learning from Human Feedback (RLHF) spesso collassano verso tendenze centrali, oscurando la diversità delle preferenze. Al contrario, i metodi di condizionamento demografico richiedono dati personali sensibili e una costruzione di profili laboriosa, pur non riuscendo comunque a garantire la fedeltà distributiva. Inoltre, molti ricercatori mancano delle risorse computazionali o dell'accesso ai dati necessari per questi approcci pesanti.

Metodologia: Teoria della Ricostruzione delle Preferenze
Il documento introduce la Teoria della Ricostruzione delle Preferenze, che formalizza l'allineamento delle preferenze di popolazione come un problema di apprendimento di rappresentazione ispirato alla teoria delle preferenze rivelate in economia. L'intuizione centrale è che le preferenze a livello di popolazione possono essere ricostruite non cercando un singolo "agente rappresentativo", ma costruendo una base funzionale di agenti proxy diversificati e recuperando le preferenze della popolazione attraverso un'aggregazione ponderata.

Gli autori operazionalizzano questa teoria tramite Prompts to Proxies (P2P), un sistema modulare a due stadi basato sull'inferenza che non richiede fine-tuning e non richiede l'accesso a dati demografici sensibili:

1. Stadio 1: Generazione Attiva di Dotazioni (Costruzione di un Pool di Agenti Diversificati)

   • Prompting Strutturato: Il sistema utilizza una "banca di attributi" gerarchica contenente fattori interpretabili (ad es., ideologia, tratti della personalità, disposizioni economiche) derivati dalle discipline delle scienze sociali.
   • Campionamento Adattivo: Invece di una enumerazione esaustiva, P2P impiega una strategia di campionamento adattivo basata sull'entropia. Monitora l' "entropia della domanda" (variabilità della risposta) attraverso diversi modi di attributi.
   • Patching delle Domande: Per affrontare le domande a bassa diversità, il sistema inferisce dinamicamente nuovi attributi specifici per le domande a bassa entropia e genera "modi misti" per iniettare diversità.
   • Obiettivo: Costruire un pool diversificato di agenti (dotazioni) che copra lo spazio latente delle preferenze del dominio tematico, massimizzando la variabilità delle risposte.

2. Stadio 2: Aggregazione Basata su Regressione (Selezione di un Ensemble Compatto)

   • Selezione delle Variabili: Dato il pool diversificato di agenti, il sistema impiega una regressione con regolarizzazione L1 (Lasso Vincolato) per selezionare un sottoinsieme compatto di agenti.
   • Ottimizzazione: L'algoritmo risolve un problema di ottimizzazione vincolata per trovare i pesi per gli agenti selezionati, tali che la loro distribuzione aggregata delle risposte minimizzi la perdita rispetto ai dati reali osservati (set di addestramento).
   • Generalizzazione: L'ensemble selezionato viene validato su un set di test tenuto separato per garantire che i pesi appresi si generalizzino a domande non viste, prevenendo l'overfitting.

Contributi Chiave

• Formalizzazione del Problema: Il documento formalizza l'allineamento delle preferenze di popolazione come un problema di apprendimento di rappresentazione, introducendo il concetto che le preferenze di popolazione apprendibili possono essere rappresentate da una base funzionale di agenti proxy con appropriati pesi di aggregazione.
• Sistema di Allineamento Modulare (P2P): Un sistema a due stadi che combina il campionamento adattivo guidato dall'entropia per la generazione di agenti e il Lasso vincolato per la selezione dell'ensemble. Opera senza fine-tuning, senza dati demografici e senza risorse computazionali significative.
• Validazione Empirica: Gli autori validano P2P attraverso 14 ondate dell'American Trends Panel (ATP) e del World Values Survey (WVS), dimostrando prestazioni robuste attraverso diversi temi e località.

Risultati

• Prestazioni su ATP: Attraverso 14 ondate di sondaggi, P2P ha raggiunto un errore quadratico medio (MSE) medio di test di 0,014, superando sia il baseline di prompting "Vanilla" (0,026) che il baseline "PERSONA" condizionato demograficamente (0,029). Ciò rappresenta un miglioramento del 43% rispetto al miglior baseline.
• Diversità e Costo: Il pool di agenti P2P ha mostrato un'entropia media più elevata (0,53) rispetto ai baseline (0,43–0,45), confermando che la diversità di risposta supporta la ricostruzione delle preferenze. Il costo per sondaggio è stato di circa 0,80 $, paragonabile al baseline Vanilla e significativamente più economico di PERSONA (1,30 $+).
• Generalizzazione Cross-Locale: Testato sul World Values Survey (USA, Gran Bretagna, Hong Kong), P2P ha ottenuto prestazioni comparabili ai risultati USA sulle località occidentali (MSE ~0,014–0,015). Le prestazioni su Hong Kong sono state inferiori (MSE ~0,024), il che gli autori attribuiscono al bias dei dati di addestramento degli LLM verso le popolazioni occidentali. L'analisi degli errori ha mostrato che, mentre il trasferimento cross-locale sfrutta la diversità, la generazione specifica per località cattura preferenze culturalmente distinte che una base straniera non può ricostruire completamente.
• Stress Test: In uno stress test contro un modello SFT calibrato sulla distribuzione e addestrato su dati aggregati da 46 paesi, P2P ha ottenuto una competenza competitiva in termini di Jensen-Shannon Divergence (1-JSD) e Majority-Class Prediction Accuracy (MCPA) utilizzando meno del 3% dei dati di addestramento e senza fine-tuning.

Significato e Rivendicazioni
Il documento sostiene di offrire una piattaforma pratica ed efficiente dal punto di vista delle risorse per la ricerca interdisciplinare nella simulazione delle scienze sociali. Trattando l'allineamento come un problema di ricostruzione piuttosto che come un compito di ottimizzazione di un singolo agente, P2P affronta la "barriera delle risorse invisibili" affrontata dalle istituzioni accademiche e dai ricercatori indipendenti. Gli autori posizionano il lavoro come un passo verso un allineamento pluralistico, dimostrando che gli agenti sintetici possono riprodurre fedelmente l'eterogeneità della popolazione senza fare affidamento su dati individuali sensibili o su costosi riaddestramenti del modello. Lo studio suggerisce che, sebbene gli LLM abbiano bias intrinseci, una base funzionale correttamente costruita può mitigare questi problemi per emulare efficacemente i modelli di scelta umana. Gli autori notano con modestia che futuri lavori saranno necessari per affrontare le preferenze non stazionarie nel tempo, estendere il framework ai risultati di testo libero e investigare ulteriormente la generalizzazione attraverso diversi design di sondaggi per evitare l'apprendimento di scorciatoie (shortcut learning).