Value Entanglement: Conflation Between Different Kinds of Good In (Some) Large Language Models

Sintesi Tecnica: Entanglement dei Valori nei Large Language Models

Enunciato del Probleo
L'allineamento dei Large Language Models (LLM) con i valori umani richiede una comprensione empirica di come questi modelli rappresentino diverse tipologie di "bene". La valutazione umana è caratterizzata dalla capacità di distinguere tra categorie distinte di valore, come la bontà morale (ad es., un atto virtuoso), la bontà grammaticale (ad es., una frase ben formata) e la bontà economica (ad es., un oggetto costoso). Gli autori indagano se gli LLM distinguano similmente tra queste dimensioni di valore ortogonali o se soffrano di "entanglement dei valori" — una conflazione in cui la rappresentazione di un tipo di valore è eccessivamente influenzata da un altro. Questa confusione pone un rischio per l'allineamento dei valori, poiché un agente incapace di distinguere tra una "buona frase" e un "buon atto" può fallire nel rispondere in modo affidabile a obiettivi morali specifici.

Metodologia
Lo studio impiega un approccio multifasettico che combina valutazione comportamentale, analisi della geometria delle attivazioni interne e interventi causali attraverso un set diversificato di modelli a pesi chiusi e aperti (inclusi le famiglie Qwen, Gemma, Mistral, GPT e Claude).

1. Design degli Stimoli: I ricercatori hanno costruito due set di stimoli ortogonali:

   • MoralGrammar68: 68 frasi che variano indipendentemente nella valenza morale (da virtuosa a dannosa) e nella grammaticalità (da 0 a 4+ errori).
   • MoralEconomic68: 68 frasi che variano indipendentamente nella valenza morale e nel valore economico (inserendo oggetti di costo al dettaglio variabile, da basso ad alto).
     I partecipanti umani hanno validato tali stimoli, confermando che le valutazioni morali e grammaticali, così come quelle morali ed economiche, erano non correlate (ortogonali) nel giudizio umano.

2. Valutazione Comportamentale: I modelli sono stati sollecitati a valutare le frasi su scale Likert (-10 a +10) per moralità, grammaticalità e valore economico. Lo studio ha misurato la correlazione tra le valutazioni dei modelli su queste distinte dimensioni.

3. Geometria delle Attivazioni: Per i modelli a pesi aperti, gli autori hanno identificato "vettori di attributo" nello stream residuo utilizzando un approccio di differenza delle medie (contrapponendo le attivazioni per esempi positivi vs negativi di ciascun tipo di valore). Hanno poi proiettato le frasi target su questi vettori per misurare la rappresentazione interna di ciascuna dimensione di valore.

4. Ablazione Direzionale: Per stabilire la causalità, gli autori hanno eseguito un'ablazione direzionale durante l'inferenza. "Azzerando" o invertendo la varianza lungo specifici vettori di attributo (ad es., il vettore della moralità), hanno testato se la rimozione delle informazioni morali alterasse il comportamento del modello riguardo ai giudizi grammaticali o economici.

Risultati Chiave

• Entanglement Comportamentale: Molti modelli, in particolare le varianti open-source (ad es., Qwen2.5, Gemma-2/3, Mistral-Small), hanno mostrato correlazioni significative tra le valutazioni morali e grammaticali, e tra le valutazioni morali ed economiche. Ad esempio, in Qwen2.5 7B, una frase con contenuto moralmente errato ma grammatica perfetta riceveva una valutazione di grammaticalità inferiore rispetto a una frase neutra con errori. Questa "correlazione gonfiata" era ampiamente assente nei valutatori umani e in alcuni modelli a pesi chiusi (ad es., GPT-5.4, Claude Sonnet).
• Asimmetria: L'entanglement era asimmetrico. Mentre i giudizi morali rimanevano fedeli alle norme umane (alta correlazione con le valutazioni morali umane, bassa correlazione con grammatica/economia), i giudizi grammaticali ed economici erano pesantemente contaminati dal contenuto morale. I modelli spesso valutavano frasi grammaticalmente perfette come "non grammaticali" se descrivevano atti immorali.
• Rappresentazioni Interne: Le proiezioni delle attivazioni hanno confermato che i vettori interni per la grammaticalità e il valore economico erano altamente correlati con il vettore della moralità nello stream residuo. In molti modelli, la rappresentazione del valore grammaticale o economico era significativamente predetta dal livello morale dell'input, rispecchiando i risultati comportamentali.
• Intervento Causale: L'ablazione direzionale del vettore della moralità ha portato a un recupero delle prestazioni. Quando le informazioni morali venivano rimosse, la capacità dei modelli di giudicare la grammaticalità e il valore economico migliorava, mostrando una maggiore correlazione con le valutazioni umane reali. Ciò suggerisce che l'informazione morale interferisca attivamente con l'elaborazione di altre dimensioni di valore.
• Origini dell'Addestamento: L'entanglement è stato osservato sia nei modelli pre-addestrati (base) che in quelli istruiti (instruction-tuned), suggerendo che il fenomeno emerga durante il pre-addestramento, probabilmente a causa della natura polisemica del linguaggio valente (ad es., la parola "buono" che appare in contesti diversi), piuttosto che essere esclusivamente un prodotto del Reinforcement Learning from Human Feedback (RLHF).

Significato e Rivendicazioni
Il documento sostiene di fornire prove empiriche che molti LLM soffrano di entanglement dei valori, confondendo diversi tipi di "bene". Gli autori sostengono che questa conflazione rappresentativa sia problematica per l'allineamento dei valori perché distorce la valutazione rispetto alle norme umane. Se un modello non può distinguere tra una frase grammaticalmente corretta e un'azione moralmente virtuosa, il suo processo decisionale in compiti che richiedono una valutazione multidimensionale del valore potrebbe essere fondamentalmente errato.

Lo studio contribuisce alla sicurezza dell'IA:

1. Offrendo un metodo per misurare ed empiricamente rilevare l'entanglement dei valori.
2. Dimostrando che interventi mirati (ablazione) possono riparare queste conflazioni, suggerendo un potenziale percorso per mitigare tali problemi di allineamento.
3. Evidenziando che la radice del problema può risiedere nella fase di pre-addestramento, implicando che le future strategie di allineamento debbano affrontare le rappresentazioni fondamentali del valore, non solo il fine-tuning post-addestramento.

Gli autori mantengono un ambito modesto, notando che, sebbene l'entanglement sia pervasivo in molti modelli testati, non è universale (alcuni modelli chiusi hanno mostrato meno entanglement) e che le scoperte sono specifiche per le dimensioni di valore testate (morale, grammaticale, economica). Non pretendono di aver risolto il problema dell'allineamento, ma di aver identificato un modo specifico e misurabile in cui i modelli rappresentano il valore.