Alignment Makes Language Models Normative, Not Descriptive

1. Il Problema

I Large Language Models (LLM) sono sempre più utilizzati come proxy per il comportamento umano in scienze sociali ed economiche (simulando agenti umani, prevedendo scelte di mercato, ecc.). Tuttavia, la maggior parte di questi studi utilizza modelli allineati (tramite tecniche come RLHF o DPO), assumendo implicitamente che l'allineamento sia neutrale o benefico per la fedeltà comportamentale.

L'ipotesi centrale degli autori è che l'allineamento, ottimizzando i modelli per risposte approvate dagli esseri umani (cooperative, eque, socialmente appropriate), introduca un bias normativo. Questo porta i modelli a predire come le persone dovrebbero agire (teoria normativa) piuttosto che come agiscono realmente (descrizione empirica), specialmente in contesti strategici complessi dove il comportamento è influenzato da storia, reciprocità, ritorsione e adattamento dinamico.

2. Metodologia

Gli autori hanno condotto un esperimento su larga scala per testare questa ipotesi confrontando direttamente modelli "base" (pre-allineamento) con le loro controparti "allineate".

• Dataset e Campione:

  • 120 coppie di modelli (base vs. allineato) provenienti da 23 famiglie diverse (es. Llama, Qwen, Gemma, Mistral, CodeLlama).
  • 10.050 decisioni umane reali raccolte in quattro famiglie di giochi strategici multi-round:
    1. Bargaining (Contrattazione): Offerte alternanti con sconto temporale.
    2. Persuasion (Persuasione): Gioco di "cheap talk" ripetuto con dinamiche di reputazione.
    3. Negotiation (Negoziazione): Negoziazione bilaterale con opzione esterna.
    4. Repeated Matrix Games (Giochi a matrice ripetuti): Dilemma del Prigioniero e Battle of the Sexes.
  • Dataset di confine (Boundary Conditions): Giochi a turno singolo (one-shot) e scelte di lotterie non strategiche, dove ci si aspetta che il comportamento umano segua più da vicino le previsioni normative.

• Metodo di Valutazione:

  • Il compito è stato formulato come estrazione di probabilità dei token (non generazione di testo).
  • Per ogni punto decisionale umano, è stato calcolato il log-probabilità assegnato dal modello ai token di decisione (es. "accetta" vs "rifiuta").
  • La metrica principale è la correlazione di Pearson tra la probabilità predetta dal modello e la scelta reale umana (codificata come 0 o 1).
  • I modelli sono stati valutati nel loro formato nativo (testo semplice per i base, template chat per gli allineati) per simulare condizioni di deployment reali.

3. Risultati Chiave

A. Vantaggio dei Modelli Base nei Giochi Multi-Round

Nei giochi strategici interattivi e ripetuti, i modelli base hanno superato nettamente quelli allineati nella previsione del comportamento umano.

• Rapporto di vittoria: I modelli base hanno vinto 213 volte contro 22 (rapporto 9.7:1) su tutte le famiglie di giochi.
• Robustezza: Questo vantaggio è stato coerente attraverso tutte le famiglie di modelli, formulazioni dei prompt e configurazioni di gioco.
• Dinamica temporale: L'analisi round-by-round rivela che nei Round 1 (prima che si accumuli la storia interattiva), i modelli allineati spesso vincono o sono in parità. Tuttavia, a partire dal Round 2, l'advantage si inverte drasticamente a favore dei modelli base, suggerendo che l'allineamento fallisce nel catturare dinamiche dipendenti dalla storia (reciprocità, ritorsione).

B. Inversione nei Contesti Normativi (Condizioni di Confine)

Il risultato si inverte quando il comportamento umano è più prevedibile tramite teorie normative o non strategiche:

• Giochi One-Shot: Nei giochi a matrice 2x2 a turno singolo, i modelli allineati vincono con un rapporto di 4.1:1.
• Scelte di Lotteria: Nelle decisioni non strategiche (lotterie binarie), i modelli allineati vincono con un rapporto di 2.2:1.
• Correlazione con l'Equilibrio di Nash: Nei giochi one-shot, le previsioni dei modelli allineati sono significativamente più vicine all'Equilibrio di Nash (che correla bene con il comportamento umano in questi contesti semplici) rispetto ai modelli base.

C. Scalabilità

L'effetto non diminuisce con la dimensione del modello; al contrario, il vantaggio dei modelli base cresce con la scala (da <3B a >14B parametri), indicando che le rappresentazioni pre-addestrate diventano più ricche di dinamiche comportamentali complesse che l'allineamento tende a sopprimere.

4. Contributi Principali

1. Dimostrazione del Trade-off Normativo-Descrittivo: Il paper fornisce la prima evidenza empirica sistematica che l'allineamento (RLHF/DPO) trasforma i LLM da modelli descrittivi (che catturano il comportamento reale, inclusi bluff e ritorsioni) a modelli normativi (che catturano il comportamento idealizzato).
2. Analisi Comparativa su Larga Scala: È lo studio più ampio che confronta direttamente coppie base/allineate (120 coppie) su dati umani reali in contesti strategici, superando i limiti di studi precedenti basati su opinioni o giudizi singoli.
3. Identificazione delle Condizioni al Contorno: Definisce chiaramente quando usare un modello base (interazioni strategiche complesse, multi-round) e quando un modello allineato è preferibile (decisioni one-shot, compiti non strategici).
4. Implicazioni Metodologiche: Mette in guardia la comunità scientifica sull'uso di modelli allineati come proxy per il comportamento umano in scienze sociali, avvertendo che tali studi potrebbero erroneamente riportare la "normatività" come "realtà comportamentale".

5. Significato e Implicazioni

I risultati suggeriscono che l'allineamento non degrada le capacità generali del modello in modo uniforme (come ipotizzato dal "catastrophic forgetting"), ma restringe la distribuzione delle risposte verso modalità comportamentali approvate dagli annotatori, eliminando la "coda" della distribuzione dove risiedono comportamenti strategici complessi come la reciprocità negativa o l'adattamento tattico.

• Per la Ricerca: Gli studi che simulano agenti umani (es. comportamento elettorale, dinamiche di mercato) utilizzando modelli allineati rischiano di produrre risultati distorti, riflettendo un comportamento umano idealizzato piuttosto che quello reale.
• Per le Applicazioni:
  • Per simulare interazioni umane complesse (negoziatori, agenti economici), è preferibile utilizzare modelli base.
  • Per assistere gli utenti o in compiti dove si desidera un comportamento etico e razionale (one-shot), i modelli allineati rimangono la scelta corretta.

In conclusione, la scelta tra modello base e allineato non è una semplice questione di formattazione, ma una assunzione sostanziale di modellazione che determina se un LLM funge da specchio del comportamento umano reale o da modello di come l'umanità dovrebbe comportarsi.