Sintesi Tecnica: Cosa aiuta i modelli linguistici a prevedere le credenze umane: demografia o posizioni pregresse?

Problema

Poiché i Large Language Models (LLM) stanno diventando onnipresenti, la loro capacità di comprendere e ragionare sulle credenze umane ha implicazioni significative per la privacy, la persuasione personalizzata e lo stereotipizzazione. Sebbene le credenze formino reti complesse e interrelate modellate da dipendenze logiche e processi sociali, rimane poco chiaro come gli LLM standard catturino questa struttura correlazionale. Nello specifico, quando si prevede la posizione di un individuo su una nuova proposizione, non è certo se le informazioni demografiche (chi sono) o le posizioni espresse in precedenza (cosa crede altro) forniscano un valore predittivo maggiore, o se una combinazione di entrambe sia ottimale. I benchmark esistenti spesso si concentrano su contesti sociopolitici ristretti o si affidano al fine-tuning, lasciando un vuoto nella comprensione di come i modelli base sfruttino le informazioni sociali senza adattamento specifico al compito.

Metodologia

Lo studio valuta le capacità di previsione delle credenze di nove LLM open-weight (che variano da 3B a 14B di parametri) utilizzando un dataset derivato da Debate.org (DDO), che spazia da ottobre 2007 a settembre 2018.

Costruzione dei Dati

• Fonte: Il dataset DDO fornisce la demografia degli utenti, argomenti di dibattito con argomentazioni opposte e voti sulla posizione dell'utente ("accordo" o "disaccordo").
• Estrazione delle Credenze: I voti sulla posizione sono stati combinati con i titoli dei dibattiti per generare dichiarazioni di credenza strutturate (es. "Sono d'accordo con il seguente: [Argomento]"). GPT-4 è stato utilizzato per filtrare i titoli che non potevano essere interpretati come credenze umane coerenti.
• Pre-elaborazione: Gli utenti con meno di cinque dichiarazioni di credenza totali sono stati esclusi. I dati sono stati suddivisi cronologicamente per ogni utente: l'80% più vecchio fungeva da credenze di contesto (addestramento), e il restante 20% fungeva da credenze di test. Per prevenire la fuga di dati (data leakage), le credenze di contesto con una similarità del coseno >0,8 rispetto alle credenze di test (tramite Sentence-BERT) sono state rimosse.
• Dataset Finale: 119.118 dichiarazioni di credenza uniche provenienti da 5.775 utenti unici.

Disegno Sperimentale

Il compito è stato inquadrato come classificazione binaria (prevedere "accordo" o "disaccordo") sotto quattro distinte condizioni informative:

1. Blind (Al buio): Nessuna informazione sull'utente (facendo affidamento esclusivamente sui priori a livello di popolazione).
2. Solo Demografia: Attributi dell'utente (età, genere, etnia, reddito, ideologia politica/religiosa, ecc.).
3. Solo Credenze di Contesto: Le posizioni espresse in precedenza dall'utente.
4. Combinata: Sia demografia che credenze di contesto.

Implementazione

• Modelli: Sono stati valutati nove modelli open-weight, inclusi varianti di DeepSeek R1 Distill, Gemma 3, Llama 3.1/3.2, Mistral, Phi-4 e Qwen3.
• Prompting: Lo studio ha utilizzato DSPy per l'ingegneria dei prompt strutturati, incorporando il Chain-of-Thought (CoT) reasoning per generare passaggi intermedi prima della previsione binaria finale.
• Valutazione: Le prestazioni sono state misurate utilizzando i punteggi Macro F1. I risultati sono stati aggregati tramite due metodi: la media dei punteggi dei singoli modelli e un voto di maggioranza (ensemble) tra tutti i modelli.

Risultati Chiave

Lo studio rivela che, sebbene sia la demografia che le credenze pregresse migliorino la previsione rispetto a una baseline "blind", la loro utilità relativa varia significativamente tra i domini di credenza. I risultati categorizzano i domini di credenza in tre gruppi distinti in base alla condizione di input ottimale:

1. Gruppo 1 (Demografia + Credenze): Categorie come Religione, Politica e Società ottengono le migliori prestazioni quando vengono fornite entrambi i tipi di informazione. Per questi domini legati all'identità, le prestazioni migliorano generalmente nell'ordine: Blind → Demografia → Credenze di Contesto → Combinata.
2. Gruppo 2 (Solo Credenze di Contesto): Domini idiosincratici come Sport, Intrattenimento, Auto e Luoghi/Viaggi raggiungono il picco di prestazione solo con le credenze di contesto. In queste categorie, l'aggiunta di informazioni demografiche spesso degrada le prestazioni rispetto all'uso delle sole credenze pregresse, sebbene la demografia superi comunque la baseline blind.
3. Gruppo 3 (Solo Demografia): Un set più piccolo di categorie ottiene le migliori prestazioni solo con la demografia, sebbene l'ordine delle altre condizioni vari.

Risultati Quantitativi:

• Prestazioni Complessive: La condizione combinata ha prodotto il punteggio Macro F1 più alto per 8 modelli su 9. Il modello con le migliori prestazioni, Phi-4, ha raggiunto un punteggio del 63,5% nella condizione combinata.
• Guadagni Relativi: In media, la demografia ha migliorato la baseline blind di 6 punti percentuali, le credenze di contesto di 6,5 punti e la condizione combinata di 7,8 punti.
• Non-monotonicità: L'aggiunta di una seconda fonte di informazione non sempre migliora l'accuratezza. In alcuni casi (es. "Divertente" o "Musica"), la demografia ha performato peggio della baseline blind, e l'aggiunta della demografia alle credenze di contesto ha ridotto l'accuratezza in domini specifici.
• Prestazioni dell'Ensemble: L'aggregazione tramite voto di maggioranza ha costantemente superato l'aggregazione tramite media, suggerendo che i diversi modelli commettono errori complementari.

Significato e Rivendicazioni

L'articolo sostiene di far avanzare la comprensione di come gli LLM off-the-shelf ragionino sulle credenze umane senza fine-tuning specifico per il compito. I contributi chiave e le implicazioni includono:

• Ragionamento Specifico per Dominio: I risultati suggeriscono che gli LLM sfruttano diversi tipi di informazioni sociali a seconda della natura della credenza. Le credenze strettamente accoppiate con l'identità sociale (Politica, Religione) si affidano fortemente ai priori demografici, mentre le preferenze idiosincratiche (Sport, Intrattenimento) si affidano maggiormente alla storia individuale (posizioni pregresse).
• Sistemi di Credenze Coerenti: La variazione dell'accuratezza supporta il concetto teorico di sistemi di credenze coerenti. Gli LL much performano meglio nei domini in cui le credenze formano reti densamente interconnesse e mutuamente rinforzanti (es. Religione, Scienza) e faticano di più dove le associazioni sono più lasche.
• Limitazioni degli Attuali Modelli: Nonostante i miglioramenti, l'accuratezza assoluta rimane moderata. L'articolo attribuisce questo limite al rumore nei dati degli utenti (incoerenza tra posizioni registrate e vere credenze), ai gap temporali nel dataset (2007–2018) e ai bias intrinseci nei corpora di addestramento che possono privilegiare i punti di vista della maggioranza.
• Considerazioni Etiche: La capacità di inferire attitudini da indizi limitati comporta rischi riguardanti la privacy e lo stereotipizzazione. Gli autori mettono in guardia contro inferenze eccessivamente sicure che potrebbero rappresentare erroneamente gli individui, enfatizzando la necessità di trasparenza sull'incertezza e vincoli chiari per il dispiegamento degli strumenti di previsione delle credenze.

Lo studio conclude che, sebbene gli LLM possano efficacemente sfruttare le informazioni sociali per prevedere le credenze, le loro prestazioni non sono uniformi e sono profondamente influenzate dalla coerenza strutturale del dominio di credenza e dal tipo specifico di segnale sociale fornito. È necessario ulteriore lavoro per stabilire baseline umane ed esplorare la direzionalità dell'inferenza delle credenze attraverso diversi domini.