Generating Place-Based Compromises Between Two Points of View

1. Enunciazione del Problema

I Large Language Models (LLM) eccellono nel ragionamento accademico ma faticano con l'intelligenza sociale, in particolare nella generazione di compromessi empaticamente neutrali tra punti di vista opposti. Sebbene i LLM possano produrre dichiarazioni di consenso o risposte empatiche, spesso falliscono nell'agire come mediatori neutrali che propongono risoluzioni accettabili per entrambe le parti senza favorire un lato.

• Il Divario: I metodi esistenti si concentrano spesso su un consenso ampio o su una semplice empatia, ma generare un compromesso richiede di proporre una soluzione in cui entrambe le parti stanno meglio rispetto all'assenza di compromesso, richiedendo un equilibrio di empatia verso posizioni conflittuali.
• La Sfida: I LLM tendono ad ancorarsi a un punto di vista o a non bilanciare il peso emotivo di argomenti opposti, portando a risultati distorti o inaccettabili.

2. Metodologia

Gli autori propongono un framework in due fasi: (1) Prompt Engineering per generare dati sintetici di alta qualità utilizzando un modello proprietario di grandi dimensioni, e (2) Model Alignment per distillare queste capacità in modelli open-source più piccoli, senza richiedere feedback esterno durante l'inferenza.

A. Dataset: ContrastingViews

Lo studio utilizza un sottoinsieme del dataset EmpathyFromPerspectives (Chen et al., 2025), contenente 2.400 coppie di punti di vista contrastanti riguardanti spazi pubblici (ad esempio, parchi, sentieri).

• Vista A: Prospettiva positiva (sentirsi al sicuro/accolti).
• Vista B: Prospettiva negativa (sentirsi insicuri/esclusi).
• Ogni vista include una descrizione del luogo, una motivazione e miglioramenti suggeriti.

B. Fase 1: Prompt Engineering e Generazione dei Dati

Gli autori hanno valutato quattro strategie di prompting utilizzando Claude 3 Opus per generare compromessi:

1. Single Prompt: Istruzione di base per generare un compromesso.
2. Chain of Thought (CoT): Chiedere esplicitamente al modello di identificare le somiglianze prima di generare.
3. CoT + Autovalutazione LLM: Il modello genera un compromesso e poi si autovaluta sulla sua similarità empatica.
4. CoT + Feedback (Iterativo): Il metodo più efficace. Utilizza un Modello di Similarità Empatica esterno (basato sul modello di embedding e5-large) per valutare il compromesso generato contro sia la Vista A che la Vista B.
   • Meccanismo: Il sistema calcola la differenza assoluta tra i punteggi di similarità ($|score_A - score_B|$). Se la differenza è elevata, il modello viene invitato a rifinire la risposta per minimizzare questo divario, iterando fino a quando il compromesso non diventa empaticamente neutrale.

C. Fase 2: Valutazione Umana

Uno studio con 50 partecipanti ha valutato l'accettabilità dei compromessi generati dalle diverse strategie.

• Metodo: Ai partecipanti è stato assegnato un punto di vista specifico (o quello positivo o quello negativo) e sono stati invitati a valutare l'accettabilità dei compromessi da quella prospettiva.
• Metrica: Punteggio di accettabilità (1-100) e classificazione delle preferenze (Prima/Seconda scelta).

D. Fase 3: Allineamento di Modelli Più Piccoli

Per rendere il sistema efficiente ed eliminare la necessità del modello proprietario e della valutazione di similarità esterna durante l'inferenza, gli autori hanno addestrato modelli open-source più piccoli (Llama-3.1 8B e Mistral-7B).

• Approccio: Invece del fine-tuning standard (imitazione), hanno utilizzato un allineamento basato su Noise Contrastive Estimation (NCE).
• Razionale: Ispirato a come gli umani apprendono le norme sociali distinguendo tra comportamenti conformi e violazioni, il modello viene addestrato a discriminare tra compromessi "buoni" (validati dall'uomo) e output "cattivi" (del modello base).
• Funzione di Perdita: La perdita NCE massimizza la probabilità del compromesso target (buono) minimizzando al contempo la probabilità dell'output del modello base. Questo preserva la vasta conoscenza del mondo del modello (evitando l'oblio catastrofico) mentre interiorizza la preferenza per la neutralità.
• Alternativa: Hanno anche esplorato un allineamento basato su Task-Loss che incorpora i punteggi ROUGE per garantire la fedeltà semantica al compromesso target.

3. Contributi Chiave

1. Framework di Neutralità Empatica: Introduzione di un metodo innovativo per generare compromessi bilanciati non solo logicamente, ma anche emotivamente, minimizzando il divario empatico tra punti di vista opposti.
2. Prompt Engineering Iterativo: Dimostrazione che CoT + Feedback Esterno (utilizzando un modello di similarità empatica) supera significativamente i metodi standard CoT e di autovalutazione nella generazione di compromessi neutrali.
3. Allineamento Basato su NCE: Proposta di un metodo per allineare LLM più piccoli alla generazione di compromessi empaticamente neutrali senza richiedere modelli di ricompensa esterni o stimatori di similarità al momento dell'inferenza. Questo approccio supera il fine-tuning standard ed evita i problemi di oblio catastrofico associati all'ottimizzazione diretta delle preferenze (DPO) in questo contesto.
4. Creazione di Dataset Sintetici: Generazione di un dataset di alta qualità di oltre 2.400 compromessi basati sui luoghi, validato dalla preferenza umana, per addestrare e valutare l'intelligenza sociale nei LLM.

4. Risultati

Valutazione Umana (Prompt Engineering)

• Preferenza: Il metodo CoT+Feedback è stato il chiaro vincitore.
  • Prima Preferenza: CoT+Feedback 1 (37%) e CoT+Feedback 2 (40%).
  • Confronto: Ha superato significativamente CoT (18%) e Single Prompt (5%).
  • Significatività Statistica: La preferenza per CoT+Feedback rispetto a Single Prompt è stata statisticamente significativa ($p \le 0.002$).
• Accettabilità: I compromessi generati con feedback di neutralità empatica sono stati valutati come altamente accettabili sia dai detentori di punti di vista positivi che negativi.

Allineamento del Modello (Modelli Più Piccoli)

• Qualità di Generazione: I modelli allineati (Llama+NCE e Mistral+NCE) hanno ottenuto i più alti punteggi ROUGE (ad esempio, Llama NCE: 0,315 ROUGE-1 contro Base: 0,164), indicando un migliore allineamento semantico con i compromessi validati dall'uomo.
• Neutralità Empatica: I modelli allineati hanno prodotto compromessi con un divario di "neutralità" ($|score_A - score_B|$) significativamente più piccolo, avvicinandosi alle prestazioni degli output generati tramite prompt engineering iterativo.
• Ritenzione della Conoscenza: A differenza del DPO, che ha causato oblio catastrofico negli esperimenti iniziali, gli approcci NCE e Task-Loss hanno preservato la conoscenza pre-addestrata dei modelli (verificata tramite test di verosimiglianza logaritmica su WikiText).

5. Significato e Lavori Futuri

• Applicazione Pratica: Questo lavoro fornisce una pipeline scalabile per il dispiegamento di AI socialmente intelligente nella risoluzione dei conflitti, nel processo decisionale collaborativo e in scenari di mediazione dove l'imparzialità è critica.
• Efficienza: Distillando le capacità di un grande modello proprietario in modelli open-source più piccoli tramite allineamento NCE, il sistema diventa dispiegabile senza i costi computazionali di loop iterativi di feedback esterno.
• Limitazioni e Direzioni Future:
  • L'attuale dataset è limitato a conflitti basati sui luoghi (sicurezza/accoglienza). Il lavoro futuro mira ad espandersi a domini astratti come dibattiti politici e dilemmi etici.
  • Lo studio riconosce potenziali bias nei dati di addestramento e la necessità di affrontare le asimmetrie di potere nelle iterazioni future.
  • Gli autori intendono esplorare dialoghi multi-turno per simulare negoziati in corso piuttosto che compromessi in un singolo passaggio.

In conclusione, il documento stabilisce che il feedback empatico esterno è cruciale per addestrare i LLM a generare compromessi neutrali e che l'allineamento basato su NCE è un metodo efficace ed efficiente per trasferire queste capacità di intelligenza sociale a modelli open-source più piccoli.