From Noise to Signal to Selbstzweck: Reframing Human Label Variation in the Era of Post-training in NLP

Titolo e Contesto

Il paper, scritto da Shanshan Xu, Santosh T.Y.S.S e Barbara Plank, si concentra sulla Variazione delle Etichette Umane (HLV - Human Label Variation). L'obiettivo è ridefinire il ruolo dell'HLV nell'era dei Grandi Modelli Linguistici (LLM) e dei metodi di post-addestramento (come l'allineamento basato sul feedback umano), spostando la percezione dell'HLV da un "rumore" da eliminare a un valore intrinseco (Selbstzweck) da preservare.

---

1. Il Problema

Nella storia del NLP, la divergenza tra annotatori è stata tradizionalmente trattata come errore o rumore da eliminare per raggiungere un'unica "etichetta aurea" (gold label).

• Limitazione attuale: Con l'avvento degli LLM e delle tecniche di allineamento (es. RLHF), i dataset di preferenze (preference datasets) continuano a collassare le molteplici annotazioni umane in un'unica etichetta aggregata (es. media o voto a maggioranza).
• Conseguenza: Questo processo appiattisce le prospettive umane diverse, cancellando la pluralità dei valori umani. Trattare ogni disaccordo come un errore porta a modelli che non sono allineati con la diversità della società, ma solo con una "consenso artificiale".
• Distinzione cruciale: Il paper distingue tra errori di annotazione (dovuti a negligenza o incomprensione delle istruzioni, eliminabili) e HLV (dovuto a ambiguità intrinseca del compito e soggettività umana, che riflette valori pluralistici e non deve essere eliminato).

2. Metodologia e Quadro Concettuale

Il paper non presenta nuovi risultati empirici, ma propone un quadro concettuale e prescrittivo basato su una revisione della letteratura esistente e sull'analisi critica dei dataset attuali.

A. Evoluzione Concettuale dell'HLV (I Tre Stadi)

Gli autori tracciano un'evoluzione in tre stadi della visione dell'HLV nel NLP, parallela all'integrazione dell'umano nei sistemi:

1. Human Adjacent (Umano Adiacente): (Pre-1990). L'HLV è visto come rumore da eliminare. I sistemi sono progettati per compiti oggettivi con una sola soluzione corretta. L'attenzione è sulla capacità tecnica (accuratezza, F1).
2. Human Aware (Umano Consapevole): (1990-2022). Si riconosce che l'HLV è spesso legittimo. L'attenzione si sposta sull'interazione uomo-macchina e sull'impatto sociale (bias, fairness), ma l'HLV è ancora spesso trattato come un problema da mitigare.
3. Human Centered (Umano al Centro): (Era LLM). L'HLV deve essere elevato a Selbstzweck (un fine in sé, un valore intrinseco). La diversità dei valori umani non è un difetto, ma una caratteristica fondamentale che i sistemi devono preservare per essere veramente allineati e sicuri in contesti sociotecnici.

B. Analisi dei Dataset di Preferenza

Il paper analizza criticamente i dataset di preferenze attuali (es. Multi-Pref, HelpSteer2), evidenziando che:

• Spesso nascondono la variabilità reale degli annotatori aggregando i dati.
• Il disaccordo sistematico (non casuale) è frequente e riflette differenze culturali, identitarie o di contesto.
• L'aggregazione in un'unica etichetta danneggia l'allineamento pluralistico, premiando i modelli che prendono decisioni "decise" anche quando gli umani sono in disaccordo.

3. Contributi Chiave e Strategie Proposte

Gli autori propongono strategie concrete per integrare l'HLV nei pipeline di allineamento:

1. Selezione Attenta del Pool di Annotatori:

   • Invece di cercare di eliminare la soggettività, bisogna modellare il pool di annotatori per riflettere la diversità della popolazione target (metodologia dei sondaggi: quote stratificate, inclusione di gruppi sottorappresentati).
   • È necessario raccogliere e pubblicare i metadati demografici degli annotatori per permettere correzioni post-hoc (es. ponderazione post-stratificata).

2. Rilascio delle Preferenze a Livello di Annotatore:

   • I dataset dovrebbero rilasciare le etichette individuali degli annotatori, non solo le medie aggregate.
   • Questo permette di addestrare modelli di ricompensa distribuzionali (distributional reward models) che catturano l'incertezza e l'eterogeneità, piuttosto che un singolo scalare.
   • Aumenta la trasparenza e permette di studiare le fonti del disaccordo.

3. Sfruttamento di Tipi di Feedback Diversificati:

   • Oltre alle comparazioni a coppie (relative feedback), che tendono a favorire risposte assertive, bisogna integrare feedback assoluti (scale Likert) e valutazioni descrittive.
   • La combinazione di protocolli eterogenei aiuta a catturare meglio la sfumatura dei valori umani.

4. Pluralismo come Ragionamento (Pluralism as Reasoning):

   • In contesti dove è necessaria una decisione operativa unica (es. sentenze legali), il sistema può preservare il pluralismo nel processo di ragionamento piuttosto che nel risultato finale.
   • Analogia con il sistema legale: una sentenza vincolante può essere emessa a maggioranza, ma le opinioni dissenzienti devono essere formalmente registrate per accountability e ragionamento futuro.
   • Proposta di usare l'AI come mediatore per sintetizzare punti di vista divergenti.

4. Risultati e Implicazioni

Sebbene il paper sia una "position paper" e non un esperimento empirico, le sue conclusioni sono basate su evidenze consolidate:

• Dimostrazione teorica: L'aggregazione delle etichette nei dataset di preferenza attuali (come Multi-Pref) nasconde che oltre il 30% degli esempi contiene disaccordo sistematico, di cui meno del 25% è attribuibile a errori puri.
• Implicazione per la sicurezza: Ignorare l'HLV compromette la valutazione della sicurezza sociotecnica, poiché il comportamento del modello deve essere valutato in relazione al contesto umano e alle strutture sociali, non solo alla capacità tecnica.
• Nuove Metriche: Gli autori suggeriscono metriche future come la Pluralism Fidelity (quanto la distribuzione dell'output del modello corrisponde alla distribuzione empirica delle risposte umane) e il Minority Regret (per valutare la perdita di utilità per i gruppi minoritari).

5. Significato e Rilevanza

Il contributo principale di questo lavoro è un cambio di paradigma filosofico e tecnico:

• Da Rumore a Valore Intrinseco: Spostare l'HLV dalla categoria di "problema da risolvere" a "risorsa da preservare" (Selbstzweck).
• Allineamento Pluralistico: Sostiene che un vero allineamento umano non può significare l'addestramento su un unico consenso, ma la creazione di sistemi capaci di navigare, rappresentare e mediare tra valori umani divergenti.
• Sicurezza Sociotecnica: Riconosce che la sicurezza degli AI non è solo una questione di capacità del modello, ma di come il modello interagisce con la diversità umana e le strutture sociali.
• Guida per la Ricerca: Fornisce una roadmap per la costruzione di dataset, la progettazione di algoritmi di allineamento (es. RLHF multi-obiettivo) e le metriche di valutazione, invitando la comunità a trattare la diversità umana come un requisito di primo ordine nel design dei sistemi AI.

In sintesi, il paper argomenta che per costruire AI veramente centrati sull'uomo, dobbiamo smettere di cercare di "pulire" i dati dalla diversità umana e iniziare a progettare sistemi che la incorporino come parte fondamentale della loro logica operativa.